WO2023176414A1 - 検出システム、検出方法、及び、検出プログラム - Google Patents
検出システム、検出方法、及び、検出プログラム Download PDFInfo
- Publication number
- WO2023176414A1 WO2023176414A1 PCT/JP2023/007168 JP2023007168W WO2023176414A1 WO 2023176414 A1 WO2023176414 A1 WO 2023176414A1 JP 2023007168 W JP2023007168 W JP 2023007168W WO 2023176414 A1 WO2023176414 A1 WO 2023176414A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- crowd
- information
- zone
- level
- setting
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
Definitions
- the present disclosure relates to a detection system, a detection method, and a detection program.
- biometric information it is possible to detect objects with high precision and obtain biological information such as breathing and heartbeat while maintaining privacy. Under these circumstances, it is desired to use biometric information to control cooperative devices placed in an environment in which the biometric information is obtained, but conventional techniques do not take this request into account.
- the purpose of the present disclosure is to provide a technology that can control linked devices by utilizing biometric information.
- a detection system includes at least one radar sensor installed in a monitoring area, and based on sensor data output from the sensor, a detection system detects a plurality of people present in a zone within the monitoring area. Biometric information of the plurality of people outputted from the biometric information detection device using a biometric information detection device that detects biometric information and crowd biometric degree determination information that determines the degree of the crowd condition in the zone. a management device that generates crowd biometric level information including a level related to the condition of the crowd in the zone based on the crowd biometric level information; and a terminal device that controls a cooperation device corresponding to the zone based on the crowd biometric level information. .
- a detection method detects biometric information of a plurality of people present in a zone within a monitoring area based on sensor data output from at least one radar sensor installed in the monitoring area. and, based on the biometric information of the plurality of people, using crowd biometric level determination information for determining the level related to the crowd condition in the zone, crowd biometric level information including the level related to the crowd condition in the zone. and control the linked devices corresponding to the zone based on the crowd biological degree information.
- a detection program detects biometric information of a plurality of people present in a zone within the monitoring area based on sensor data output from at least one radar-type sensor installed in the monitoring area. and, based on the biometric information of the plurality of people, using crowd biometric level determination information for determining the level related to the crowd condition in the zone, crowd biometric level information including the level related to the crowd condition in the zone.
- the computer generates the crowd biometric information, and controls the cooperative equipment corresponding to the zone based on the crowd biometric information.
- Block diagram showing a configuration example of a detection system according to Embodiment 1 A diagram showing a configuration example of sensor data according to Embodiment 1 A diagram showing a configuration example of biometric information according to Embodiment 1 Flowchart illustrating an example of a process for setting crowd living body level determination information and display setting information by the detection system according to Embodiment 1 Flowchart illustrating an example of monitoring processing of a monitoring area by the detection system according to Embodiment 1 A diagram showing an example of a selection screen for the event location “baseball viewing stand” according to the first embodiment A diagram illustrating an example of a setting screen for crowd biometric level determination information for the event location “baseball viewing stand” according to Embodiment 1.
- a diagram illustrating an example of a setting screen for display setting information for the event location “baseball viewing stand” according to Embodiment 1 A diagram illustrating an example of a setting screen of change display setting information for the event location "baseball viewing stand” according to the first embodiment
- FIG. 1 is a block diagram showing a configuration example of a detection system 10 according to the first embodiment.
- FIG. 2 is a diagram showing a configuration example of sensor data 20 according to the first embodiment.
- FIG. 3 is a diagram showing a configuration example of the biometric information 21 according to the first embodiment.
- the detection system 10 includes a sensor 11, a biological information detection device 12, a management device 13, and a terminal device 14. Furthermore, the detection system 10 may be configured to further include at least one of a camera 15, a microphone 16, an audio device 17 (for example, a speaker), and a lighting device 18, as examples of cooperative devices. Note that other examples of cooperative equipment include air conditioning equipment, video output equipment (for example, a large screen or a projector), and the like.
- the sensor 11, the biological information detection device 12, the management device 13, the terminal device 14, and the cooperation device may be able to transmit and receive data or information through a predetermined communication network.
- the communication network may be wired or wireless.
- a plurality of sensors 11 may be arranged within the monitoring area 8. Furthermore, the monitoring area 8 may include at least one zone 9, which is an area measured by the sensor 11. One zone 9 may be measured by one sensor 11 or by a plurality of sensors 11.
- the sensor 11 is a radar type sensor that emits radio waves in a predetermined frequency band and receives reflected waves reflected from an object (for example, a person 1) existing within the sensing range of the sensor 11.
- the sensor 11 compares the emitted radio wave and the received reflected wave to generate sensor data 20 shown in FIG. 2 .
- the sensor 11 may be a millimeter wave radar type sensor. Examples of millimeter wave radar systems include the FMCW (Frequency Modulated Continuous Wave) system and the step ICW (Interrupted Continuous Wave) system.
- time stamps, detection information, and signal information are associated with each other.
- the time stamp is information indicating the timing at which the sensor data 20 was obtained. Examples of timestamps include time information or frame numbers.
- the detection information includes, for example, information indicating a position in three-dimensional space where a reflected wave of a predetermined intensity or higher was obtained (hereinafter referred to as a reflection point), information indicating the distance from the sensor 11 to the reflection point, and information indicating the reflection point. Contains information indicating the reflection intensity at
- the signal information includes, for example, IQ data for each receiving antenna.
- the sensor data 20 is data indicating the position, shape, and temporal change in three-dimensional space of an object (for example, person 1) existing in the sensing range. Therefore, since the sensor data 20 does not have the same resolution as video data, it is not possible to identify each person 1 individually. In other words, the sensor 11 can acquire data while protecting the privacy of the person 1.
- the sensor 11 transmits the generated sensor data 20 to the management device 13 and the terminal device 14.
- the biological information detection device 12 generates biological information 21 shown in FIG. 3 based on the sensor data 20 received from each sensor 11.
- a time stamp, detected person information, vital value information, and reliability information are associated with each other.
- the time stamp is information indicating the timing at which the biometric information 21 was generated.
- An example of a timestamp is time information.
- the management device 13 sets the time when the biometric information 21 is generated as the time stamp.
- the detected person information is information regarding the detected person 1.
- the detected person information includes a person ID, a person position, and a person posture.
- the person ID is an ID for identifying the detected person 1.
- the person position indicates the position of the person 1 indicated by the person ID in the three-dimensional space in the monitoring area 8.
- the person posture indicates the posture of the person 1 indicated by the person ID.
- the biological information detection device 12 identifies a person's position and posture based on the detection information of the sensor data 20.
- the vital value information is information regarding the vital value of the detected person 1, which is the active state.
- Examples of vital values include breathing rate, depth of breathing, heart rate, and blood pressure.
- the biological information detection device 12 calculates vital values (for example, breathing rate, depth of breathing, heart rate, blood pressure, etc.) of the detected person 1 based on temporal changes in the detection information of the sensor data 20.
- Reliability information is information indicating the reliability (likelihood) of vital value information.
- the biological information detection device 12 calculates the reliability of the calculated vital value information based on the detection information and signal information of the sensor data 20. Note that the reliability information can be generated based on the noise level ratio of the radar signal that is the calculation source of the vital value information or the comparison result of the reliability information of a plurality of different vital value information candidates.
- the biological information detection device 12 transmits the generated biological information 21 to the management device 13 and the terminal device 14.
- the management device 13 generates crowd biometric information 22 regarding a crowd 2 made up of a plurality of people 1 existing in the zone 9 based on the plurality of biometric information 21 received from the biometric information detection device 12 .
- the crowd biological level information 22 is information indicating the degree (level) of the vital values of the crowd 2.
- the vital values of the crowd 2 may be calculated by combining the vital values of a plurality of people 1 making up the crowd 2, and may be a value having a distribution. For example, if the breathing rate of each person 1 making up crowd 2 is within the range of 10 to 25 (breaths/min), the vital values regarding the breathing rate of crowd 2 will have a distribution of 10 to 25 (breaths/min). may have a value of
- the management device 13 generates crowd biometric level information 22 based on the crowd biometric level determination information 23 .
- the crowd living body level determination information 23 includes information for determining the level from the vital values of the crowd 2.
- the user can operate the management device 13 to set the crowd biometric level determination information 23. Note that details of the crowd biometric level determination information 23 will be described later.
- the management device 13 transmits the generated crowd biometric level information 22 and crowd biometric level determination information 23 to the terminal device 14 .
- the terminal device 14 determines each zone 9 in the monitoring area 8 based on the plurality of biometric information 21 received from the biometric information detection device 12 and the crowd biometric level information 22 and crowd biometric level determination information 23 received from the management device 13.
- the state of the crowd 2 is estimated and displayed on the monitoring screen.
- the terminal device 14 determines the display mode of the state of the crowd 2 (for example, the display mode of zone 9) based on the display setting information 24.
- the display setting information 24 is information including settings for the display mode of the state of the crowd 2.
- the user can operate the terminal device 14 to set the display setting information 24. Note that details of the display setting information 24 will be described later.
- the detection system 10 detects the state of the crowd 2 using the radar type sensor 11 that senses the person 1 using radio waves. Thereby, the state of the crowd 2 can be detected while protecting the privacy of the individual people 1 making up the crowd 2.
- FIG. 4 is a flowchart illustrating an example of a process for setting the crowd living body level determination information 23 and display setting information 24 by the detection system 10 according to the first embodiment.
- the management device 13 displays a selection screen for event locations where the crowd 2 can participate. Note that a specific example of the selection screen will be described later.
- the user selects one event location from the selection screen (S11).
- the management device 13 reads and displays the default crowd biometric level determination information 23 for the event location selected in step S11.
- the user sets the displayed crowd biological degree determination information 23 (S12). Note that the details of how to set the crowd biometric level determination information 23 will be described later.
- the terminal device 14 displays the default display setting information 24 for the event location selected in step S11.
- the user sets the displayed display setting information 24 (S13). Note that the details of how to set the display setting information 24 will be described later.
- the management device 13 associates the crowd biometric level determination information 23 set in step S12 with the event location selected in step S11 and stores it in the storage 1003 (see FIG. 14).
- the terminal device 14 associates the display setting information 24 set in step S13 with the event location selected in step S11 and stores it in the storage 1003 (S14).
- FIG. 5 is a flowchart illustrating an example of monitoring processing of the monitoring area 8 by the detection system 10 according to the first embodiment.
- the terminal device 14 displays an event location selection screen. The user selects one event location from the selection screen (S21).
- the management device 13 acquires the crowd biometric level determination information 23 associated with the event location selected in step S21 from the storage 1003.
- the terminal device 14 acquires the display setting information 24 associated with the event location selected in step S21 from the storage 1003 (S22). Thereby, the detection system 10 can perform the monitoring process using the crowd biometric level determination information 23 and display setting information 24 that are appropriately set for the event location.
- the management device 13 uses the crowd biometric level determination information 23 to generate crowd biometric level information 22 for each zone 9 from the plurality of biometric information 21 received from the biometric information detection device 12 (S23).
- the management device 13 transmits the generated crowd living body level information 22 for each zone 9 to the terminal device 14 .
- the terminal device 14 estimates the movement of the crowd 2 in each zone 9 from the movement speed of the person position included in the plurality of biometric information 21 received from the biometric information detection device 12 (S24).
- the movements of the crowd 2 are not limited to horizontal movements such as walking, but also include vertical movements such as jumping.
- the terminal device 14 uses the display setting information 24 to estimate the state of the crowd 2 in each zone 9 from the crowd biometric information 22 and the movement of the crowd 2 (S25).
- the terminal device 14 displays information indicating the state of the crowd 2 in each zone 9 on the monitoring screen (S26). Then, the detection system 10 returns the process to step S22.
- the user can intuitively recognize the state of the crowd 2 in each zone 9 (for example, whether the crowd 2 is excited or not) by looking at the monitoring screen.
- FIG. 6 is a diagram showing an example of the selection screen 50A for the event location "baseball viewing stand" according to the first embodiment.
- step S21 of FIG. 5 the terminal device 14 displays the event location selection screen 50A shown in FIG. 6.
- the management device 13 displays the following setting screen 100A of crowd biometric level determination information 23 for the event location "baseball game stand.”
- FIG. 7 is a diagram illustrating an example of the setting screen 100A of the crowd biometric level determination information 23 for the event location "baseball viewing stand" according to the first embodiment.
- the setting screen 100A of the crowd biometric level determination information 23 for the event location "baseball viewing stand” includes a monitoring area setting area 101, a vital vital representative value setting area 102, and an excitement level threshold setting area 103. , an activity level threshold setting area 104, and a threshold value setting area 105 for the degree of change over time of vital representative values.
- the user inputs values indicating the X section, Y section, and Z section in the XYZ space (three-dimensional space) targeting the baseball stadium into the monitoring area setting area 101.
- the detection system 10 sets a three-dimensional space formed by the input X section, Y section, and Z section as the monitoring area 8.
- the management device 13 divides the set monitoring area 8 into a plurality of zones 9.
- the management device 13 may determine the classification of the zone 9 based on the installation position and sensing range of the sensor 11. For example, the management device 13 may set the range that can be sensed by at least one sensor 11 to one zone 9.
- the user selects a desired one from the plurality of vital representative value candidates displayed in the vital representative value setting area 102.
- vital representative value candidates include average value, median value, maximum value, minimum value, + ⁇ (standard deviation), and ⁇ (standard deviation).
- the vital representative value is calculated from the vital values of the crowd 2 having a distribution. For example, when "median value" is selected in the vital representative value setting area 102, the management device 13 calculates the median value from the vital values of the crowd 2 and sets it as the vital representative value of the crowd 2. For parameters such as the degree of excitement and the degree of activity, which will be described below, representative vital values of the crowd 2 are used.
- the user adjusts the threshold bar 120 included in the threshold value setting area 103 for the degree of excitement, and determines the threshold value for determining the degree of crowd living relative to the height of the degree of excitement based on the degree of excitement.
- the level of crowd activity regarding the level of excitement is referred to as the crowd excitement level.
- the degree of excitement is calculated based on the magnitude and time change of the representative vital values of the crowd 2 (for example, the representative vital value of heart rate and/or the representative vital value of respiratory rate) selected in the representative vital value setting area 102. It's okay to be.
- the user when setting two levels of crowd excitement, ⁇ relaxation'' and ⁇ excitement,'' the user sets a threshold value 1 that distinguishes between ⁇ relaxation'' and ⁇ excitement,'' as shown in FIG.
- the set threshold value 1 may be displayed as a numerical value.
- the number of crowd excitement levels is not limited to two levels, but may be three or more levels.
- the names of each stage of crowd excitement may be changeable by the user. Note that each stage of crowd excitement may be read as crowd excitement level.
- the user adjusts the threshold bar 120 included in the activity level threshold setting area 104 to determine the threshold value for determining the degree of crowd living relative to the level of activity based on the activity level.
- the degree of crowd activity related to the level of activity is referred to as crowd activity degree.
- the degree of activity may be calculated based on the movement speed of the positions of the plurality of people 1 making up the crowd 2. That is, the activity degree is a parameter representing the activeness of the movement of the crowd 2. For example, when setting two levels of crowd activity, ⁇ quiet'' and ⁇ active', the user sets a threshold value 1 that distinguishes between ⁇ quiet'' and ⁇ active,'' as shown in FIG.
- the set threshold value 1 may be displayed as a numerical value.
- the number of crowd activity levels is not limited to two stages, but may be three or more stages. Further, the names of each stage of crowd activity may be changeable by the user. Note that each stage of crowd activity level may be read as crowd activity level.
- the user adjusts the threshold bar 120 included in the threshold value setting area 105 for the degree of temporal change of the vital representative values to determine the degree of temporal change of the vital representative values of the crowd 2 from the degree of temporal change of the vital representative values of the crowd 2.
- the crowd biological degree regarding the temporal change degree of the vital representative value of the crowd 2 includes the degree in the upward direction and the degree in the downward direction.
- the degree in the upward direction is referred to as the degree of change in vital vitals.
- the degree in the downward direction is referred to as the degree of vital decline change. For example, if three levels are set as the degree of change in vitals: "no change,” “increase,” and “rapidly increase,” as shown in FIG.
- a threshold value 2 is set to distinguish between "increase” and "rapid rise". Note that each stage of the degree of increase in vitals may be read as a level of increase in vitals. For example, when setting three levels of vital signs such as “no change,” “declining,” and “sudden decline,” as shown in FIG. , and a threshold value 2 that distinguishes between “downward” and “sudden descent” is set. The set threshold value 1 and threshold value 2 may be displayed as numerical values. Note that each stage of the degree of decline in vitals may be read as a level of decline in vitals.
- FIG. 8 is a diagram showing an example of the setting screen 200A of the display setting information 24 for the event location "baseball viewing stand" according to the first embodiment.
- the setting screen 200A of the display setting information 24 for the event location "baseball viewing stand” has as items a state name, a setting name, and a setting value.
- the state name indicates the name of the state of crowd 2.
- the setting name indicates the name of the setting associated with the state name.
- One or more setting names are associated with one state name.
- the setting value indicates the value associated with the setting name.
- One setting value is associated with one setting name.
- a plurality of setting values may be associated with one setting name.
- a set of a setting name and a setting value may be referred to as a display setting parameter.
- the setting value of the setting name "excitement level condition” indicates the crowd excitement level for determining the state of the crowd 2 as “indifferent or distracted state”. For example, the user sets the crowd excitement level "relaxed” as the setting value of the setting name "excitement level condition” that is associated with the crowd 2's state "indifferent or distracted state”.
- the setting value of the setting name "activity level condition” indicates the level of crowd activity for determining the state of the crowd 2 as “indifferent or distracted state”. For example, the user sets the crowd activity level “active” as the setting value of the setting name "activity level condition” that is associated with the state of the crowd 2 "indifferent or distracted state”.
- the setting value of the setting name "icon name” indicates the file name of the icon to be used when the state of the crowd 2 is determined to be "indifferent or distracted”.
- the setting value of the setting name "icon color” indicates the color of the icon to be used when the state of the crowd 2 is determined to be “indifferent or distracted”. For example, the user sets the RGB value of purple as the setting value of the setting name "icon color” associated with the state of the crowd 2 "indifferent or distracted state”.
- the terminal device 14 determines that for a crowd 2 in a certain zone 9 within the monitoring area 8, the crowd excitement level is "relaxation” indicated by the setting value of the "excitement level condition", and the crowd activity level is the set value of the "activity level condition”.
- the terminal device 14 displays the zone 9 in purple, which is indicated by the setting value of the setting name "icon color,” using the icon with the file name indicated by the setting value of the setting name "icon name.”
- the setting value of the setting name "excitement level condition” indicates the crowd excitement level for determining the state of the crowd 2 as a "calm state”. For example, the user sets the crowd excitement level “relaxed” as the setting value of the setting name "excitement level condition" associated with the state of the crowd 2 "calm state”.
- the setting value of the setting name "activity level condition” indicates the level of crowd activity for determining the state of the crowd 2 as a "calm state”. For example, the user sets the crowd activity level "quiet” as the setting value of the setting name "activity level condition” associated with the state of the crowd 2 "calm state”.
- the setting value of the setting name "icon name” indicates the file name of the icon to be used when the state of the crowd 2 is determined to be "calm”.
- the setting value of the setting name "icon color” indicates the color of the icon to be used when the state of the crowd 2 is determined to be "calm”. For example, the user sets the RGB value of blue as the setting value of the setting name "icon color” associated with the state of the crowd 2 "calm state”.
- the terminal device 14 determines that for a crowd 2 in a certain zone 9 within the monitoring area 8, the crowd excitement level is "relaxation” indicated by the setting value of the "excitement level condition", and the crowd activity level is the set value of the "activity level condition”. If the crowd 2 is "active", the state of the crowd 2 is determined to be "calm”. In that case, the terminal device 14 displays the zone 9 in the blue color indicated by the setting value of the setting name "icon color” using the icon with the file name indicated by the setting value of the setting name "icon name”.
- the state name "tension or attention state” is associated with the setting names “excitement level condition", “activity level condition”, "icon name”, and "icon color”.
- the setting value of the setting name "excitement level condition” indicates the crowd excitement level for determining the state of the crowd 2 as "tension or attention state”. For example, the user sets the crowd excitement level “excitement” as the setting value of the setting name "excitement level state” associated with the state of the crowd 2 "tension or attention state”.
- the setting value of the setting name "activity level condition” indicates the level of crowd activity for determining the state of the crowd 2 as "tension or attention state”. For example, the user sets the crowd activity level "quiet” as a setting value of the setting name "activity level condition” associated with the state of the crowd 2 "tension or attention state”.
- the setting value of the setting name "icon name” indicates the file name of the icon to be used when the state of the crowd 2 is determined to be "tension or attention state.”
- the setting value of the setting name "icon color” indicates the color of the icon to be used when the state of the crowd 2 is determined to be "tension or attention state.” For example, the user sets the RGB value of light red as the setting value of the setting name "icon color” associated with the crowd state "tension or attention state”.
- the terminal device 14 determines that for a crowd 2 in a certain zone 9 within the monitoring area 8, the crowd excitement level is “excitement” indicated by the setting value of the "excitement level condition", and the crowd activity level is the set value of the "activity level condition”. If the crowd 2 is in a "wait and see” state, the state of the crowd 2 is determined to be a "tension or attention state". In that case, the terminal device 14 displays the zone 9 in light red, which is indicated by the setting value of the setting name "icon color,” using an icon with the file name indicated by the setting value of the setting name "icon name.”
- the state name "Excitement state” includes the setting names "Excitement level condition”, “Activity level condition”, “Icon name”, “Icon color”, “Camera control setting”, and ""Microphone control settings” are associated.
- the setting value of the setting name "excitement level condition” indicates the crowd excitement level for determining the state of the crowd 2 as “excitement state”. For example, the user sets the crowd excitement level “excitement” as the setting value of the setting name "excitement level condition" associated with the state of the crowd 2 "excitement state”.
- the setting value of the setting name "activity level condition” indicates the level of crowd activity for determining the state of the crowd 2 as "active state”. For example, the user sets the crowd activity level "active” as a setting value of the setting name "activity level condition” associated with the state of the crowd 2 "excited state”.
- the setting value of the setting name "icon name” indicates the file name of the icon used when the state of the crowd 2 is determined to be "exciting state”.
- the setting value of the setting name "icon color” indicates the color of the icon to be used when the state of the crowd 2 is determined to be "excited”. For example, the user sets the RGB value of red as the setting value of the setting name "icon color” associated with the state of the crowd 2 "excitement state”.
- the setting value of the setting name "camera control setting” indicates the setting regarding the control of the camera 15 when the state of the crowd 2 is determined to be "in a lively state”. For example, the user sets the camera 15 to "ON” as the setting value of the setting name "camera control setting” associated with the state of the crowd 2 "exciting state”. In this case, when a certain zone 9 becomes “swelled", the camera 15 that captures an image of the zone 9 is automatically turned on (or according to a user's instruction). Thereby, the camera 15 can easily image the scene of the crowd 2 getting excited in the baseball stadium.
- “camera control settings” is associated with the state name "exciting state” as an example, and “camera control settings” may be associated with any state name.
- the setting value of the setting name "microphone control setting” indicates the setting regarding the control of the microphone 16 when the state of the crowd 2 is determined to be “exciting state”. For example, the user sets the microphone 16 to "ON” as the setting value of the setting name "microphone control setting” associated with the state of the crowd 2 "exciting state”. In this case, when a certain zone 9 becomes “excited", the microphone 16 that collects sound from the zone 9 is automatically turned on (or according to a user's instruction). Thereby, the microphone 16 can easily collect the cheering sounds of the crowd 2 in the baseball stadium. Note that “microphone control settings” is associated with the state name "excitement state” as an example, and “microphone control settings” may be associated with any state name.
- the terminal device 14 determines that for a crowd 2 in a certain zone 9 within the monitoring area 8, the crowd excitement level is "excitement” indicated by the setting value of the "excitement level condition", and the crowd activity level is the set value of the "activity level condition".
- the terminal device 14 uses the icon with the file name indicated by the setting value of the setting name "icon name” to identify the zone 9 determined to be in the "exciting state", using the icon with the file name indicated by the setting value of the setting name "icon color”. Display in red.
- the terminal device 14 since the setting value of the "camera control setting” is "ON", the terminal device 14 performs control to turn ON the camera 15 that images the crowd 2 in the zone 9 determined to be in a "swell state”. Alternatively, the terminal device 14 may perform control to direct the camera 15 to the zone 9 that has been determined to be in a "swell state.” In addition, since the setting value of the "microphone control setting” is “ON”, the terminal device 14 controls to turn on the microphone 16 that collects the cheering sounds of the crowd 2 in the zone 9 determined to be "excited”. conduct. Alternatively, the terminal device 14 may perform control to direct the microphone 16 toward the zone 9 that has been determined to be in a "swell state.”
- FIG. 9 is a diagram showing an example of a setting screen 300A of change display setting information for the event location "baseball viewing stand" according to the first embodiment.
- the terminal device 14 may display a setting screen 300A for change display setting information shown in FIG. 9.
- the setting screen 300A of change display setting information has as items the degree of vital change, icon name, and size.
- the degree of vital change is set to ⁇ sudden increase'', ⁇ increase'', ⁇ no change'', ⁇ decrease'', or ⁇ sudden decline'', which correspond to the above-mentioned degree of increase in vitality change or decrease in vitality.
- FIG. 10 is a diagram illustrating an example of a monitoring screen 400A when monitoring the crowd condition at a baseball stadium according to the first embodiment.
- the terminal device 14 determines the condition of the crowd 2 in each zone 9 based on the representative vital values of the crowd 2 using the crowd biological condition determination information 23 and the display setting information 24. Based on the determination result, the terminal device 14 displays a monitoring screen 400A showing the state of the crowd 2 in each zone 9 of the event location "baseball stand" as shown in FIG.
- the monitoring screen 400A includes a map 401A of the venue of the baseball stadium stands, a sensor icon 501A that displays the position and sensing direction of the sensor 11, and a zone icon 502A that indicates the state of the crowd 2 in each zone 9. Is displayed.
- the zone icon 502A displays the state of the crowd 2 in the zone 9 using the icon name file and icon color that are associated with the state in the crowd living body level determination information 23. For example, the zone icon 502A of zone 9 in the "exciting state" is displayed in red.
- the terminal device 14 superimposes and displays a file with an icon name associated with the degree of vital change in the change display setting information on the zone icon 502A in a size associated with the file name. For example, the terminal device 14 displays a diagonally upward arrow icon 503A superimposed on the zone icon 502A of the zone 9 where the degree of change in the vitals of the crowd 2 is "rapidly increasing".
- the user can view the monitoring screen 400A and understand at a glance the state of the crowd 2 in each zone 9 in the baseball stadium and changes in the representative vital values.
- the terminal device 14 can control the camera 15 to photograph the zone 9 where the crowd 2 is in the "excited state”. Furthermore, the terminal device 14 can control the microphone 16 to collect cheering sounds from the zone 9 where the crowd 2 is in an "excited state”.
- FIG. 11 is a diagram showing an example of the selection screen 50B for the event location "live music event" according to the first embodiment.
- step S21 of FIG. 5 the terminal device 14 displays the event location selection screen 50B shown in FIG. 11.
- the management device 13 displays a setting screen for crowd biometric level determination information 23 for the event location "Live Music Event.” Note that the setting screen for the crowd biometric level determination information 23 may be the same as that shown in FIG. 6, so a description thereof will be omitted.
- FIG. 12 is a diagram showing an example of the setting screen 200B of the display setting information 24 for the event location "live music event" according to the first embodiment.
- the state name "Indifferent or Distracted State” includes the setting names "Excitement Level Condition”, “Activity Level Condition”, “Icon Name”, “Icon Color”, and “Audio Equipment Control Setting”. " is associated.
- the setting value of the setting name "Audio equipment control setting” indicates the setting regarding the control of the audio equipment 17 (for example, a speaker) when the state of the crowd 2 is determined to be “indifferent or distracted”.
- the user sets "ON” as the setting value of the setting name "audio equipment control setting” associated with the state of the crowd 2 "indifferent or distracted state”.
- the audio equipment 17 that outputs sound toward the zone 9 is automatically turned on (or according to a user's instruction). Thereby, the user can make the zone 9 more exciting by outputting sound to the zone 9 which is not so excited.
- “audio equipment control settings” is associated with the state name "indifferent or distracted state” as an example, and “audio equipment control settings” may be associated with any state name.
- the terminal device 14 determines that for a crowd 2 in a certain zone 9 within the monitoring area 8, the crowd excitement level is "relaxation” indicated by the setting value of the "excitement level condition", and the crowd activity level is the set value of the "activity level condition".
- the terminal device 14 uses the icon with the file name indicated by the setting value of the setting name "icon name” to identify the zone 9 that has been determined to be in an "indifferent or distracted state” using the setting value of the setting name "icon color”. Displayed in purple as indicated by .
- the terminal device 14 since the setting value of the "audio equipment control setting" is "ON", the terminal device 14 performs control to turn on the output of the audio equipment 17 for the zone 9 that has been determined to be in an "indifferent or distracted state". . Alternatively, the terminal device 14 may perform control to change (for example, increase) the volume of the audio equipment 17 for the zone 9 that has been determined to be in a "disinterested or distracted state".
- the setting value of the setting name "Lighting equipment control setting” indicates the setting related to the control of the lighting equipment 18 when the state of the crowd 2 is determined to be "in a lively state”. For example, the user sets "ON” as the setting value of the setting name "Lighting equipment control setting” associated with the state of the crowd 2 "Exciting state”. In this case, when a certain zone 9 becomes “swelled", the lighting device 18 that illuminates the zone 9 is automatically turned on (or according to a user's instruction). Thereby, the user can illuminate the excited zone 9 and make it even more exciting.
- “lighting equipment control settings” is associated with the state name "exciting state” as an example, and “lighting equipment control settings” may be associated with any state name.
- the terminal device 14 determines that for a crowd 2 in a certain zone 9 within the monitoring area 8, the crowd excitement level is "excitement” indicated by the setting value of the "excitement level condition", and the crowd activity level is the set value of the "activity level condition".
- the terminal device 14 uses the icon with the file name indicated by the setting value of the setting name "icon name” to identify the zone 9 determined to be in the "exciting state", using the icon with the file name indicated by the setting value of the setting name "icon color”. Display in red.
- the terminal device 14 since the setting value of the "lighting equipment control setting" is "ON", the terminal device 14 performs control to turn on the lighting equipment 18 that illuminates the zone 9 determined to be in the "swell state". Alternatively, the terminal device 14 may change the lighting color of the lighting device 18 that illuminates the zone 9 that has been determined to be in the "swell state.”
- FIG. 13 is a diagram illustrating an example of a monitoring screen 400B when monitoring the crowd condition of a live music event according to the first embodiment.
- the terminal device 14 determines the condition of the crowd 2 in each zone 9 based on the representative vital values of the crowd 2 using the crowd biological condition determination information 23 and the display setting information 24. Based on the determination result, the terminal device 14 displays a monitoring screen 400B showing the state of the crowd 2 in each zone 9 of the event location "Live Music Event", as shown in FIG.
- the monitoring screen 400B displays a map 401B of a venue for a music live event, a sensor icon 501B that displays the position and sensing direction of the sensor 11, and a zone icon 502B that indicates the state of the crowd 2 in each zone 9.
- the zone icon 502B displays the state of the crowd 2 in the zone 9 using the icon name file and icon color that are associated with the state in the crowd living body level determination information 23. For example, the zone icon 502B of zone 9 in the "exciting state" is displayed in red. For example, the zone icon for zone 9 in the "indifferent or distracted state” is displayed as 502B in purple.
- the terminal device 14 also superimposes a file with an icon name associated with the degree of vital change in the change display setting information (see FIG. 9) on the zone icon 502B in a size associated with the file name. indicate. For example, the terminal device 14 displays a diagonally downward arrow icon 503B superimposed on the zone icon 502B of zone 9 in which the degree of change in the vitals of the crowd 2 is "suddenly decreasing.”
- the user can view the monitoring screen 400B and grasp at a glance the state of the crowd 2 in each zone 9 and changes in the representative vital values at the music live event.
- the terminal device 14 can control the audio equipment 17 to output sound toward the zone 9 where the crowd 2 is in an "indifferent or distracted state” or change the volume. Furthermore, the terminal device 14 can control the lighting device 18 to illuminate the zone 9 where the crowd 2 is in the "excited state” or change the color of the illumination. In addition, when the state of the crowd 2 in many zones 9 is "excited" (that is, depending on the state of the crowd 2), the terminal device 14 is configured to use a large screen and/or a projector installed in the venue. The first video content being displayed may be changed to a second video content different from the first video content and displayed. For example, the second video content may be video content with a higher animation effect than the first video content. Thereby, the terminal device 14 can switch the video content to be displayed on the video output device according to the condition of the crowd 2, thereby further exciting the crowd 2 at the venue.
- FIG. 14 is a diagram showing the hardware configuration of a computer that implements the functions of each device according to the present disclosure using a computer program.
- the computer 1000 includes a processor 1001, a memory 1002, a storage 1003, an input device 1004, an output device 1005, a communication device 1006, a GPU (Graphics Processing Unit) 1007, a reading device 1008, and a bus 1009.
- a processor 1001 a memory 1002, a storage 1003, an input device 1004, an output device 1005, a communication device 1006, a GPU (Graphics Processing Unit) 1007, a reading device 1008, and a bus 1009.
- a processor 1001, a memory 1002, a storage 1003, an input device 1004, an output device 1005, a communication device 1006, a GPU 1007, and a reading device 1008 are connected to a bus 1009 and can send and receive data bidirectionally via the bus 1009.
- the processor 1001 is a device that executes a computer program stored in the memory 1002 and implements the functional blocks described above.
- Examples of the processor 1001 include a CPU (Central Processing Unit), MPU (Micro Processing Unit), controller, LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), and FPGA (Field-Programmable Gate). Array).
- the memory 1002 is a device that is composed of a volatile storage medium and stores computer programs and data handled by the computer 1000. However, at least a portion of memory 1002 may be configured with a nonvolatile storage medium.
- the storage 1003 is a device that is composed of a non-volatile storage medium and stores computer programs and data handled by the computer 1000.
- An example of the storage 1003 is an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
- the input device 1004 is a device that accepts data input to the processor 1001. Examples of input devices 1004 include a keyboard, mouse, touch pad, or microphone.
- the output device 1005 is a device that outputs data generated by the processor 1001. Examples of the output device 1005 include a display or a speaker.
- the communication device 1006 is a device that transmits and receives data to and from other devices via a communication network.
- the communication device 1006 may include a transmitter that transmits data and a receiver that receives data.
- the communication device 1006 may support either wired communication or wireless communication.
- An example of wired communication is Ethernet (registered trademark).
- Examples of wireless communication include IEEE802.11, Wi-Fi (registered trademark), Bluetooth (registered trademark), LTE, 4G, and 5G.
- the GPU 1007 is a device that processes image depiction at high speed. Note that the GPU 1007 may be used for AI (artificial intelligence) processing (for example, deep learning).
- AI artificial intelligence
- deep learning deep learning
- the reading device 1008 is a device that reads data from a recording medium such as a DVD-ROM (Digital Versatile Disk Read Only Memory) or a USB (Universal Serial Bus) memory.
- a recording medium such as a DVD-ROM (Digital Versatile Disk Read Only Memory) or a USB (Universal Serial Bus) memory.
- the detection system (10) includes at least one radar-based sensor (11) installed in the monitoring area (8); a biological information detection device (12) that detects biological information (21) of a plurality of people present in a zone (9) within the monitoring area based on sensor data output from the sensor; Based on the biometric information of the plurality of people output from the biometric information detection device, using the crowd biometric level determination information (23) for determining the level of the condition of the crowd (2) in the zone, a management device (13) that generates crowd biometric level information (22) including a level related to the condition of the crowd; A terminal device (14) is provided that displays the degree of the crowd condition in the zone based on the crowd biometric degree information. This allows the terminal device to display the extent of crowd conditions in zones within the monitoring area.
- the surveillance area is the location of an event attended by the crowd;
- the management device stores the crowd biometric level determination information in association with each location. Thereby, the management device can store appropriate crowd biometric level determination information for each location of an event in which a crowd participates.
- the biological information includes vital values of the person
- the management device calculates a representative vital value of the crowd in the zone based on the vital values of the plurality of people included in the crowd in the zone. Thereby, the management device can calculate the representative vital values of the crowd in the zone.
- the management device sets a threshold value for determining the degree of excitement of the crowd in the zone in the crowd biological degree determination information,
- the excitement level of the crowd is calculated based on representative vital values of the crowd.
- the management device can set a threshold value for determining the degree of excitement of the crowd in the zone in the crowd biological degree determination information.
- the management device sets a threshold value for determining the degree of activity of the crowd in the zone in the crowd biological degree determination information,
- the activity level of the crowd is calculated based on the movement speed of the positions of the plurality of people included in the crowd.
- the management device can set a threshold value for determining the degree of activity of the crowd in the zone in the crowd biological degree determination information.
- the management device sets a threshold value for determining the degree regarding the time change of the vital representative value of the crowd in the zone in the crowd biological degree determination information. Thereby, the management device can set a threshold value for determining the degree of time change of the vital representative value of the crowd in the zone in the crowd biological degree determination information.
- the terminal device sets, in display setting information, graphic information for graphically representing the degree of the crowd condition in the zone indicated by the crowd biometric degree information.
- the management device can set, in the display setting information, graphic information for graphically representing the extent of the crowd condition in the zone.
- ⁇ A-8> In the detection system described in A-7, a display setting parameter is associated with the crowd state, The graphic information is one of the display setting parameters. As a result, graphic information, which is one of the display setting parameters, is associated with the crowd state.
- the display setting parameters include conditions used to estimate the crowd state
- the terminal device estimates the state of the crowd based on the crowd biometric level information and the conditions of the display setting parameters. Thereby, the terminal device can estimate the state of the crowd based on the crowd biometric level information and the conditions of the display setting parameters.
- the detection method is Detecting biological information of a plurality of people present in a zone within the monitoring area based on sensor data output from at least one radar type sensor installed in the monitoring area, Using crowd biometric level determination information for determining the level of the crowd condition in the zone, crowd biometric level information including the level of the crowd condition in the zone is generated based on the biometric information of the plurality of people. death, Based on the crowd biometric level information, a level related to the condition of the crowd in the zone is displayed. By performing the above detection method, the degree of crowd status in a zone within the monitoring area can be displayed on, for example, a terminal device.
- the detection program is Detecting biological information of a plurality of people present in a zone within the monitoring area based on sensor data output from at least one radar type sensor installed in the monitoring area, Using crowd biometric level determination information for determining the level of the crowd condition in the zone, crowd biometric level information including the level of the crowd condition in the zone is generated based on the biometric information of the plurality of people. death, displaying a degree regarding the state of the crowd in the zone based on the crowd biological degree information; make a computer do something. This allows the computer running the detection program to display an indication of the degree of crowd status in zones within the surveillance area.
- the detection system (10) includes: at least one radar-based sensor (11) installed in the monitoring area (8); a biological information detection device (12) that detects biological information (21) of a plurality of persons (1) existing in a zone (9) within the monitoring area based on sensor data output from the sensor; The crowd biometric level determination information (23) for determining the level of the crowd status in the zone is used to detect the crowd in the zone based on the biometric information of the plurality of people output from the biometric information detection device.
- a management device (13) that generates crowd biometric level information including a level related to the state of the crowd; a terminal device that controls cooperation equipment (for example, a camera, a microphone 16, an audio equipment 17, or a lighting equipment 18) corresponding to the zone based on the crowd biometric level information; Thereby, the terminal device can control the cooperation device corresponding to the zone based on the crowd biometric level information.
- cooperation equipment for example, a camera, a microphone 16, an audio equipment 17, or a lighting equipment 18
- the biological information includes vital values of the person
- the management device calculates representative vital values of the crowd in the zone based on the vital values of the plurality of people included in the crowd in the zone, and determines the representative vital values of the crowd and the biological level of the crowd.
- the crowd biological degree information is generated based on the information. Thereby, the management device can generate crowd vitality level information based on the crowd vitality representative values and crowd vitality level determination information.
- the cooperation device is a camera (15),
- the terminal device controls the camera to image a zone where the crowd is in a predetermined state. Thereby, the terminal device can control the camera to image a zone where the crowd condition is a predetermined condition.
- the cooperation device is a microphone (16),
- the terminal device controls the microphone to collect sound in the zone where the crowd is in a predetermined state. Thereby, the terminal device can control the microphone to collect sound in a zone where the crowd condition is a predetermined condition.
- the cooperation device is an audio device (17)
- the terminal device controls the audio equipment to change the volume for the zone where the crowd condition is a predetermined condition. Thereby, the terminal device can control the audio equipment to change the volume for a zone where the crowd condition is a predetermined condition.
- the cooperation device is a lighting device (18),
- the terminal device controls the lighting equipment to change the lighting color of the lighting equipment that illuminates the zone where the crowd condition is a predetermined state. Thereby, the terminal device can control the lighting equipment to change the lighting color of the lighting equipment that illuminates a zone where the crowd condition is a predetermined state.
- the cooperation device is a video output device
- the terminal device controls the video output device to change video content according to the condition of the crowd. Thereby, the terminal device can control the video output device and change the video content according to the condition of the crowd.
- the detection method is Detecting biological information of a plurality of people present in a zone within the monitoring area based on sensor data output from at least one radar type sensor installed in the monitoring area, Using crowd biometric level determination information for determining the level of the crowd condition in the zone, crowd biometric level information including the level of the crowd condition in the zone is generated based on the biometric information of the plurality of people. death, Control equipment corresponding to the zone based on the crowd biometric information. By performing the above detection method, it is possible to control the cooperative devices corresponding to the zone based on the crowd biometric information.
- the detection program is Detecting biological information of a plurality of people present in a zone within the monitoring area based on sensor data output from at least one radar type sensor installed in the monitoring area, Using crowd biometric level determination information for determining the level of the crowd condition in the zone, crowd biometric level information including the level of the crowd condition in the zone is generated based on the biometric information of the plurality of people. death, controlling a cooperation device corresponding to the zone based on the crowd biological degree information; make a computer do something. Thereby, the computer that executes the detection program can control the cooperation devices corresponding to the zone based on the crowd living body level information.
- the technology of the present disclosure is useful for systems, methods, programs, etc. that detect the state of a person's biological body using a radar-type sensor.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Computer Networks & Wireless Communication (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Alarm Systems (AREA)
Abstract
検出システムは、監視エリアに設置された少なくとも1つのレーダ方式のセンサと、センサから出力されるセンサデータに基づき、監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、生体情報検出装置から出力される複数の人物の生体情報に基づいて、ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、群衆生体程度情報に基づいて、ゾーンに対応する連携機器を制御する。
Description
本開示は、検出システム、検出方法、及び、検出プログラムに関する。
従来、マイクロ波帯又はミリ波帯の変調波を送信し、この送信波と物体から反射された受信波を比較して、生体の呼吸、心拍等の微小な変動を検知するバイタルセンサが知られている(例えば特許文献2)。
従来の技術によれば、プライバシーを保ちながら、精度の高い物体検出と呼吸や心拍などの生体情報を取得することができる。こうした中、生体情報を利用して、当該生体情報の取得環境に配置された連携機器等を制御することが望まれるが、このような要望に対して、従来の技術は何ら配慮されていない。
本開示の目的は、生体情報を活用して連携機器を制御できる技術を提供することにある。
本開示の一態様に係る検出システムは、監視エリアに設置された少なくとも1つのレーダ方式のセンサと、前記センサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出する生体情報検出装置と、前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記生体情報検出装置から出力される前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成する管理装置と、前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する端末装置と、を備える。
本開示の一態様に係る検出方法は、監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する。
本開示の一態様に係る検出プログラムは、監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する、ことをコンピュータに実行させる。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、生体情報を活用して連携機器を制御できる技術を提供することができる。
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
(実施の形態1)
<システム構成>
図1は、実施の形態1に係る検出システム10の構成例を示すブロック図である。図2は、実施の形態1に係るセンサデータ20の構成例を示す図である。図3は、実施の形態1に係る生体情報21の構成例を示す図である。
<システム構成>
図1は、実施の形態1に係る検出システム10の構成例を示すブロック図である。図2は、実施の形態1に係るセンサデータ20の構成例を示す図である。図3は、実施の形態1に係る生体情報21の構成例を示す図である。
検出システム10は、センサ11と、生体情報検出装置12と、管理装置13と、端末装置14とを含んで構成される。また、検出システム10は、連携機器の一例として、カメラ15、マイク16、音響機器17(例えばスピーカ)、及び、照明機器18の少なくとも1つをさらに含んで構成されてよい。なお、連携機器の他の例として、空調機器、又は、映像出力機器(例えば大型スクリーン又はプロジェクタ)等が挙げられる。センサ11と、生体情報検出装置12と、管理装置13と、端末装置14と、連携機器とは、所定の通信ネットワークを通じて、データ又は情報を送受信できてよい。通信ネットワークは、有線又は無線のいずれであってもよい。
センサ11は、監視エリア8内に複数配置されてよい。また、監視エリア8内には、センサ11によって測定される領域であるゾーン9が少なくとも1つ含まれてよい。1つのゾーン9は、1つのセンサ11によって測定されてもよいし、複数のセンサ11によって測定されてもよい。
センサ11は、レーダ方式のセンサであり、所定の周波数帯の電波を照射し、当該センサ11のセンシング範囲に存在する物体(例えば人物1)から反射される反射波を受信する。センサ11は、照射した電波と受信した反射波とを比較して、図2に示すセンサデータ20を生成する。センサ11は、ミリ波レーダ方式のセンサであってよい。ミリ波レーダ方式の例として、FMCW(Frequency Modulated Continuous Wave)方式、又は、ステップICW(Interrupted Continuous Wave)方式等が挙げられる。
センサデータ20では、図2に示すように、タイムスタンプと、検知情報と、信号情報とが対応付けられている。
タイムスタンプは、センサデータ20を得たタイミングを示す情報である。タイムスタンプの例として、時刻情報又はフレーム番号が挙げられる。
検知情報は、例えば、所定強度以上の反射波が得られた3次元空間上の位置(以下、反射点と称する)を示す情報、センサ11から反射点までの距離を示す情報、及び、反射点における反射強度を示す情報を含む。
信号情報は、例えば、受信アンテナ毎のIQデータを含む。
すなわち、センサデータ20は、センシング範囲に存在する物体(例えば人物1)の3次元空間における位置、形状、及び、時間的変化を示すデータである。よって、センサデータ20は、映像データのような解像度は有していないため、各人物1の個人を特定することはできない。つまり、センサ11により、人物1のプライバシーを保護した状態でのデータ取得が可能である。
センサ11は、生成したセンサデータ20を管理装置13及び端末装置14へ送信する。
生体情報検出装置12は、各センサ11から受信したセンサデータ20に基づいて、図3に示す生体情報21を生成する。
生体情報21では、図3に示すように、タイムスタンプと、検出人物情報と、バイタル値情報と、信頼度情報とが対応付けられている。
タイムスタンプは、生体情報21が生成されたタイミングを示す情報である。タイムスタンプの例として、時刻情報が挙げられる。管理装置13は、生体情報21を生成した時刻を、当該タイムスタンプとする。
検出人物情報は、検出された人物1に関する情報である。検出人物情報は、人物IDと、人物位置と、人物姿勢を含む。人物IDは、検出された人物1を識別するためのIDである。人物位置は、人物IDが示す人物1の監視エリア8における3次元空間上の位置を示す。人物姿勢は、人物IDが示す人物1の姿勢を示す。生体情報検出装置12は、センサデータ20の検知情報に基づいて、人物位置及び人物姿勢を特定する。
バイタル値情報は、検出された人物1の活動状態であるバイタル値に関する情報である。バイタル値の例として、呼吸数、呼吸の深さ、心拍数、血圧が挙げられる。生体情報検出装置12は、センサデータ20の検知情報の時間変化に基づいて、検出された人物1のバイタル値(例えば、呼吸数、呼吸の深さ、心拍数、血圧等)を算出する。
信頼度情報は、バイタル値情報の信頼度(尤度)を示す情報である。生体情報検出装置12は、センサデータ20の検知情報及び信号情報に基づいて、算出されたバイタル値情報の信頼度を算出する。なお、信頼度情報は、バイタル値情報の算出源であるレーダ信号のノイズレベル比や、複数の異なるバイタル値情報候補の信頼度情報の比較結果に基づいて生成することができる。
生体情報検出装置12は、生成した生体情報21を管理装置13及び端末装置14へ送信する。
管理装置13は、生体情報検出装置12から受信した複数の生体情報21に基づいて、ゾーン9に存在する複数の人物1によって構成される群衆2についての群衆生体程度情報22を生成する。群衆生体程度情報22は、群衆2のバイタル値の程度(レベル)を示す情報である。群衆2のバイタル値は、当該群衆2を構成する複数の人物1のバイタル値を合成して算出され、分布を有する値であってよい。例えば、群衆2を構成する各人物1の呼吸数が10~25(回/分)の範囲内である場合、群衆2の呼吸数に関するバイタル値は、10~25(回/分)の分布を有する値であってよい。
管理装置13は、群衆生体程度判定情報23に基づいて、群衆生体程度情報22を生成する。群衆生体程度判定情報23は、群衆2のバイタル値から程度を判定するための情報を含む。ユーザは、管理装置13を操作して、群衆生体程度判定情報23を設定できる。
なお、群衆生体程度判定情報23の詳細については後述する。
なお、群衆生体程度判定情報23の詳細については後述する。
管理装置13は、生成した群衆生体程度情報22及び群衆生体程度判定情報23を端末装置14へ送信する。
端末装置14は、生体情報検出装置12から受信した複数の生体情報21と、管理装置13から受信した群衆生体程度情報22及び群衆生体程度判定情報23とに基づいて、監視エリア8における各ゾーン9の群衆2の状態を推定し、監視画面に表示する。このとき、端末装置14は、表示設定情報24に基づいて、群衆2の状態の表示態様(例えばゾーン9の表示態様)を決定する。表示設定情報24は、群衆2の状態の表示態様の設定を含む情報である。ユーザは、端末装置14を操作して、表示設定情報24を設定できる。なお、表示設定情報24の詳細については後述する。
このように、検出システム10は、電波を用いて人物1をセンシングするレーダ方式のセンサ11を用いて、群衆2の状態を検出する。これにより、群衆2を構成する個々の人物1のプライバシーを守りながら、群衆2の状態を検出できる。
<設定処理フロー>
図4は、実施の形態1に係る検出システム10による群衆生体程度判定情報23及び表示設定情報24の設定処理の一例を示すフローチャートである。
図4は、実施の形態1に係る検出システム10による群衆生体程度判定情報23及び表示設定情報24の設定処理の一例を示すフローチャートである。
管理装置13は、群衆2が参加可能なイベント場所の選択画面を表示する。なお、選択画面の具体例については後述する。ユーザは、選択画面からイベント場所を1つ選択する(S11)。
管理装置13は、ステップS11にて選択されたイベント場所用のデフォルトの群衆生体程度判定情報23を読み込み、表示する。ユーザは、表示された群衆生体程度判定情報23を設定する(S12)。なお、群衆生体程度判定情報23の設定方法の詳細については後述する。
端末装置14は、ステップS11にて選択されたイベント場所用のデフォルトの表示設定情報24を表示する。ユーザは、表示された表示設定情報24を設定する(S13)。なお、表示設定情報24の設定方法の詳細については後述する。
管理装置13は、ステップS11にて選択されたイベント場所に、ステップS12にて設定された群衆生体程度判定情報23を対応付けてストレージ1003(図14参照)に保持する。端末装置14は、ステップS11にて選択されたイベント場所に、ステップS13にて設定された表示設定情報24を対応付けてストレージ1003に保持する(S14)。
以上の処理により、イベント場所ごとに適切な群衆生体程度判定情報23及び表示設定情報24を対応付けてストレージ1003に保持される。
<監視処理フロー>
図5は、実施の形態1に係る検出システム10による監視エリア8の監視処理の一例を示すフローチャートである。
図5は、実施の形態1に係る検出システム10による監視エリア8の監視処理の一例を示すフローチャートである。
端末装置14は、イベント場所の選択画面を表示する。ユーザは、選択画面から、イベント場所を1つ選択する(S21)。
管理装置13は、ステップS21にて選択されたイベント場所に対応付けられている群衆生体程度判定情報23をストレージ1003から取得する。端末装置14は、ステップS21にて選択されたイベント場所に対応付けられている表示設定情報24をストレージ1003から取得する(S22)。これにより、検出システム10は、イベント場所用に適切に設定された群衆生体程度判定情報23及び表示設定情報24を用いて、監視処理を行うことができる。
管理装置13は、群衆生体程度判定情報23を用いて、生体情報検出装置12から受信した複数の生体情報21から、各ゾーン9の群衆生体程度情報22を生成する(S23)。管理装置13は、生成した各ゾーン9の群衆生体程度情報22を、端末装置14へ送信する。
端末装置14は、生体情報検出装置12から受信した複数の生体情報21に含まれる人物位置の動き速度から、各ゾーン9の群衆2の動きを推定する(S24)。当該群衆2の動きには、歩行のような水平方向の動きに限らず、ジャンプのような垂直方向の動きも含まれる。
端末装置14は、表示設定情報24を用いて、群衆生体程度情報22及び群衆2の動き等から、各ゾーン9の群衆2の状態を推定する(S25)。
端末装置14は、監視画面に、各ゾーン9の群衆2の状態等を示す情報を表示する(S26)。そして、検出システム10は、処理をステップS22に戻す。
以上の処理により、ユーザは、監視画面を見て、各ゾーン9の群衆2の状態(例えば群衆2が盛り上がっているか否か)を直感的に認識することができる。
<イベント場所:野球観戦スタンド>
次に、イベント場所の一例である「野球観戦スタンド」の群衆2の状態を監視する場合について説明する。
次に、イベント場所の一例である「野球観戦スタンド」の群衆2の状態を監視する場合について説明する。
図6は、実施の形態1に係るイベント場所「野球観戦スタンド」の選択画面50Aの一例を示す図である。
端末装置14は、図5のステップS21において、図6に示すイベント場所の選択画面50Aを表示する。ユーザが、イベント場所として「野球観戦スタンド」を選択すると、管理装置13は、次に示す、イベント場所「野球観戦スタンド」用の群衆生体程度判定情報23の設定画面100Aを表示する。
<野球観戦スタンド用の設定画面>
図7は、実施の形態1に係るイベント場所「野球観戦スタンド」用の群衆生体程度判定情報23の設定画面100Aの一例を示す図である。
図7は、実施の形態1に係るイベント場所「野球観戦スタンド」用の群衆生体程度判定情報23の設定画面100Aの一例を示す図である。
イベント場所「野球観戦スタンド」用の群衆生体程度判定情報23の設定画面100Aは、図7に示すように、監視エリアの設定領域101、バイタル代表値の設定領域102、興奮度の閾値設定領域103、活動度の閾値設定領域104、バイタル代表値の時間変化度の閾値設定領域105を含んで構成される。
ユーザは、監視エリアの設定領域101に、野球観戦スタンドを対象とするXYZ空間(3次元空間)における、X区間とY区間とZ区間とを示す値とを入力する。検出システム10は、入力されたX区間、Y区間、及び、Z区間によって形成される3次元空間を、監視エリア8に設定する。また、管理装置13は、設定された監視エリア8を、複数のゾーン9に区分する。管理装置13は、センサ11の設置位置及びセンシング範囲に基づいて、ゾーン9の区分を決定してよい。例えば、管理装置13は、少なくとも1つのセンサ11にてセンシング可能な範囲を、1つのゾーン9としてよい。
ユーザは、バイタル代表値の設定領域102に表示される複数のバイタル代表値の候補から、所望の1つを選択する。バイタル代表値の候補の例として、平均値、中央値、最大値、最小値、+μ(標準偏差)、-μ(標準偏差)が挙げられる。バイタル代表値は、分布を有する群衆2のバイタル値から算出される。例えば、バイタル代表値の設定領域102において「中央値」が選択された場合、管理装置13は、群衆2のバイタル値から中央値を算出し、群衆2のバイタル代表値とする。以下に述べる、興奮度及び活動度といったパラメータでは、当該群衆2のバイタル代表値が用いられる。
ユーザは、興奮度の閾値設定領域103に含まれる閾値バー120を調整して、興奮度から当該興奮度の高低に関する群衆生体程度を決定するための閾値を決定する。興奮度の高低に関する群衆生体程度を、群衆興奮程度と称する。興奮度は、バイタル代表値の設定領域102にて選択された群衆2のバイタル代表値(例えば心拍数のバイタル代表値及び/又は呼吸数のバイタル代表値)の大きさと時間変化とに基づいて算出されてよい。例えば、群衆興奮程度として、「弛緩」、「興奮」の2段階を設定する場合、図7に示すように、ユーザは、「弛緩」と「興奮」を区別する閾値1を設定する。設定された閾値1は数値として表示されてよい。なお、群衆興奮程度の数は2段階に限られず、3段階以上であってもよい。また、群衆興奮程度の各段階の名称はユーザが変更可能であってもよい。なお、群衆興奮程度の各段階は、群衆興奮レベルと読み替えられてもよい。
ユーザは、活動度の閾値設定領域104に含まれる閾値バー120を調整して、活動度から当該活動度の高低に関する群衆生体程度を決定するための閾値を決定する。活動度の高低に関する群衆生体程度を、群衆活動程度と称する。活動度は、群衆2を構成する複数の人物1の人物位置の動き速度に基づいて算出されてよい。すなわち、活動度は、群衆2の動きの活発さを表すパラメータである。例えば、群衆活動程度として、「静観」、「活発」の2段階を設定する場合、図7に示すように、ユーザは、「静観」と「活発」を区別する閾値1を設定する。設定された閾値1は数値として表示されてよい。なお、群衆活動程度の数は2段階に限られず、3段階以上であってもよい。また、群衆活動程度の各段階の名称はユーザが変更可能であってもよい。なお、群衆活動程度の各段階は、群衆活動レベルと読み替えられてもよい。
ユーザは、バイタル代表値の時間変化度の閾値設定領域105に含まれる閾値バー120を調整して、群衆2のバイタル代表値の時間変化度から群衆2のバイタル代表値の時間変化度に関する群衆生体程度を決定するための閾値を設定する。群衆2のバイタル代表値の時間変化度に関する群衆生体程度には、上昇方向の程度と、下降方向の程度とが含まれる。上昇方向の程度を、バイタル上昇変化程度と称する。下降方向の程度を、バイタル下降変化程度と称する。例えば、バイタル上昇変化程度として、「変化なし」、「上昇」、「急上昇」の3段階を設定する場合、図7に示すように、「変化なし」と「上昇」を区別する閾値1と、「上昇」と「急上昇」を区別する閾値2とを設定する。なお、バイタル上昇変化程度の各段階は、バイタル上昇変化レベルと読み替えられてもよい。例えば、バイタル下降変化程度として、「変化なし」、「下降」、「急下降」の3段階を設定する場合、図7に示すように、「変化なし」と「下降」を区別する閾値1と、「下降」と「急下降」を区別する閾値2とを設定する。設定された閾値1と閾値2は数値として表示されてよい。なお、バイタル下降変化程度の各段階は、バイタル下降変化レベルと読み替えられてもよい。
<野球観戦スタンド用の表示設定情報>
図8は、実施の形態1に係るイベント場所「野球観戦スタンド」用の表示設定情報24の設定画面200Aの一例を示す図である。
図8は、実施の形態1に係るイベント場所「野球観戦スタンド」用の表示設定情報24の設定画面200Aの一例を示す図である。
イベント場所「野球観戦スタンド」用の表示設定情報24の設定画面200Aは、図8に示すように、項目として、状態名と、設定名と、設定値とを有する。
状態名は、群衆2の状態の名称を示す。
設定名は、状態名に対応付けられる設定の名称を示す。1つの状態名に、1又は複数の設定名が対応付けられる。
設定値は、設定名に対応付けられる値を示す。1つの設定名に、1つの設定値が対応付けられる。ただし、1つの設定名に、複数の設定値が対応付けられてもよい。設定名と設定値のセットを表示設定パラメータと称してもよい。
<<無関心又は散漫状態>>
例えば、図8に示すように、状態名「無関心又は散漫状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、及び、「アイコン色」が対応付けられる。
例えば、図8に示すように、状態名「無関心又は散漫状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、及び、「アイコン色」が対応付けられる。
設定名「興奮程度条件」の設定値は、群衆2の状態を「無関心又は散漫状態」と判定するための群衆興奮程度を示す。例えば、ユーザは、群衆2の状態「無関心又は散漫状態」に対応付ける設定名「興奮程度条件」の設定値として、群衆興奮程度「弛緩」を設定する。
設定名「活動程度条件」の設定値は、群衆2の状態を「無関心又は散漫状態」と判定するための群衆活動程度を示す。例えば、ユーザは、群衆2の状態「無関心又は散漫状態」に対応付ける設定名「活動程度条件」の設定値として、群衆活動程度「活発」を設定する。
設定名「アイコン名」の設定値は、群衆2の状態を「無関心又は散漫状態」と判定した場合に使用するアイコンのファイル名を示す。
設定名「アイコン色」の設定値は、群衆2の状態を「無関心又は散漫状態」と判定した場合に使用するアイコンの色を示す。例えば、ユーザは、群衆2の状態「無関心又は散漫状態」に対応付ける設定名「アイコン色」の設定値として、紫色のRGB値を設定する。
端末装置14は、監視エリア8内のあるゾーン9の群衆2について、群衆興奮程度が「興奮程度条件」の設定値が示す「弛緩」であり、群衆活動程度が「活動程度条件」の設定値が示す「活発」である場合、当該群衆2の状態を「無関心又は散漫状態」と判定する。その場合、端末装置14は、当該ゾーン9を、設定名「アイコン名」の設定値が示すファイル名のアイコンを用いて、設定名「アイコン色」の設定値が示す紫色で表示する。
<<落ち着き状態>>
例えば、図8に示すように、状態名「落ち着き状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、及び、「色」が対応付けられる。
例えば、図8に示すように、状態名「落ち着き状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、及び、「色」が対応付けられる。
設定名「興奮程度条件」の設定値は、群衆2の状態を「落ち着き状態」と判定するための群衆興奮程度を示す。例えば、ユーザは、群衆2の状態「落ち着き状態」に対応付ける設定名「興奮程度条件」の設定値として、群衆興奮程度「弛緩」を設定する。
設定名「活動程度条件」の設定値は、群衆2の状態を「落ち着き状態」と判定するための群衆活動程度を示す。例えば、ユーザは、群衆2の状態「落ち着き状態」に対応付ける設定名「活動程度条件」の設定値として、群衆活動程度「静観」を設定する。
設定名「アイコン名」の設定値は、群衆2の状態を「落ち着き状態」と判定した場合に使用するアイコンのファイル名を示す。
設定名「アイコン色」の設定値は、群衆2の状態を「落ち着き状態」と判定した場合に使用するアイコンの色を示す。例えば、ユーザは、群衆2の状態「落ち着き状態」に対応付ける設定名「アイコン色」の設定値として、青色のRGB値を設定する。
端末装置14は、監視エリア8内のあるゾーン9の群衆2について、群衆興奮程度が「興奮程度条件」の設定値が示す「弛緩」であり、群衆活動程度が「活動程度条件」の設定値が示す「活発」である場合、当該群衆2の状態を「落ち着き状態」と判定する。その場合、端末装置14は、当該ゾーン9を、設定名「アイコン名」の設定値が示すファイル名のアイコンを用いて、設定名「アイコン色」の設定値が示す青色で表示する。
<<緊張又は注目状態>>
例えば、図8に示すように、状態名「緊張又は注目状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、及び、「アイコン色」が対応付けられる。
例えば、図8に示すように、状態名「緊張又は注目状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、及び、「アイコン色」が対応付けられる。
設定名「興奮程度条件」の設定値は、群衆2の状態を「緊張又は注目状態」と判定するための群衆興奮程度を示す。例えば、ユーザは、群衆2の状態「緊張又は注目状態」に対応付ける設定名「興奮程度状態」の設定値として、群衆興奮程度「興奮」を設定する。
設定名「活動程度条件」の設定値は、群衆2の状態を「緊張又は注目状態」と判定するための群衆活動程度を示す。例えば、ユーザは、群衆2の状態「緊張又は注目状態」に対応付ける設定名「活動程度条件」の設定値として、群衆活動程度「静観」を設定する。
設定名「アイコン名」の設定値は、群衆2の状態を「緊張又は注目状態」と判定した場合に使用するアイコンのファイル名を示す。
設定名「アイコン色」の設定値は、群衆2の状態を「緊張又は注目状態」と判定した場合に使用するアイコンの色を示す。例えば、ユーザは、群衆の状態「緊張又は注目状態」に対応付ける設定名「アイコン色」の設定値として、薄い赤色のRGB値を設定する。
端末装置14は、監視エリア8内のあるゾーン9の群衆2について、群衆興奮程度が「興奮程度条件」の設定値が示す「興奮」であり、群衆活動程度が「活動程度条件」の設定値が示す「静観」である場合、当該群衆2の状態を「緊張又は注目状態」と判定する。その場合、端末装置14は、当該ゾーン9を、設定名「アイコン名」の設定値が示すファイル名のアイコンを用いて、設定名「アイコン色」の設定値が示す薄い赤色で表示する。
<<盛り上がり状態>>
例えば、図8に示すように、状態名「盛り上がり状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、「アイコン色」、「カメラ制御設定」、及び、「マイク制御設定」が対応付けられる。
例えば、図8に示すように、状態名「盛り上がり状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、「アイコン色」、「カメラ制御設定」、及び、「マイク制御設定」が対応付けられる。
設定名「興奮程度条件」の設定値は、群衆2の状態を「盛り上がり状態」と判定するための群衆興奮程度を示す。例えば、ユーザは、群衆2の状態「盛り上がり状態」に対応付ける設定名「興奮程度条件」の設定値として、群衆興奮程度「興奮」を設定する。
設定名「活動程度条件」の設定値は、群衆2の状態を「盛り上がり状態」と判定するための群衆活動程度を示す。例えば、ユーザは、群衆2の状態「盛り上がり状態」に対応付ける設定名「活動程度条件」の設定値として、群衆活動程度「活発」を設定する。
設定名「アイコン名」の設定値は、群衆2の状態を「盛り上がり状態」と判定した場合に使用するアイコンのファイル名を示す。
設定名「アイコン色」の設定値は、群衆2の状態を「盛り上がり状態」と判定した場合に使用するアイコンの色を示す。例えば、ユーザは、群衆2の状態「盛り上がり状態」に対応付ける設定名「アイコン色」の設定値として、赤色のRGB値を設定する。
設定名「カメラ制御設定」の設定値は、群衆2の状態を「盛り上がり状態」と判定した場合のカメラ15の制御に関する設定を示す。例えば、ユーザは、群衆2の状態「盛り上がり状態」に対応付ける設定名「カメラ制御設定」の設定値として、カメラ15の「ON」を設定する。この場合、あるゾーン9が「盛り上がり状態」になったとき、当該ゾーン9を撮像するカメラ15が、自動的に(又はユーザの指示により)ONになる。これにより、カメラ15は、野球観戦スタンドにおいて盛り上がっている群衆2のシーンを容易に撮像できる。なお、「カメラ制御設定」が状態名「盛り上がり状態」に対応付けられているのは一例であり、「カメラ制御設定」はいずれの状態名に対応付けられてもよい。
設定名「マイク制御設定」の設定値は、群衆2の状態を「盛り上がり状態」と判定した場合のマイク16の制御に関する設定を示す。例えば、ユーザは、群衆2の状態「盛り上がり状態」に対応付ける設定名「マイク制御設定」の設定値として、マイク16の「ON」を設定する。この場合、あるゾーン9が「盛り上がり状態」になったとき、当該ゾーン9の集音を行うマイク16が、自動的に(又はユーザの指示により)ONになる。これにより、マイク16は、野球観戦スタンドにおいて盛り上がっている群衆2の声援を容易に集音できる。なお、「マイク制御設定」が状態名「盛り上がり状態」に対応付けられているのは一例であり、「マイク制御設定」はいずれの状態名に対応付けられてもよい。
端末装置14は、監視エリア8内のあるゾーン9の群衆2について、群衆興奮程度が「興奮程度条件」の設定値が示す「興奮」であり、群衆活動程度が「活動程度条件」の設定値が示す「活発」である場合、当該群衆2の状態を「盛り上がり状態」と判定する。その場合、端末装置14は、「盛り上がり状態」と判定した当該ゾーン9を、設定名「アイコン名」の設定値が示すファイル名のアイコンを用いて、設定名「アイコン色」の設定値が示す赤色で表示する。また、端末装置14は、「カメラ制御設定」の設定値が「ON」であるので、「盛り上がり状態」と判定した当該ゾーン9の群衆2を撮像するカメラ15をONにする制御を行う。あるいは、端末装置14は、「盛り上がり状態」と判定した当該ゾーン9にカメラ15を向ける制御を行ってもよい。また、端末装置14は、「マイク制御設定」の設定値が「ON」であるので、「盛り上がり状態」と判定した当該ゾーン9の群衆2の声援を集音するマイク16をONにする制御を行う。あるいは、端末装置14は、「盛り上がり状態」と判定した当該ゾーン9にマイク16を向ける制御を行ってもよい。
<変化表示設定情報>
図9は、実施の形態1に係るイベント場所「野球観戦スタンド」用の変化表示設定情報の設定画面300Aの一例を示す図である。
図9は、実施の形態1に係るイベント場所「野球観戦スタンド」用の変化表示設定情報の設定画面300Aの一例を示す図である。
端末装置14は、上述した表示設定情報24の設定画面200Aに加えて、図9に示す変化表示設定情報の設定画面300Aを表示してもよい。
変化表示設定情報の設定画面300Aは、項目として、バイタル変化程度と、アイコン名と、サイズとを有する。
バイタル変化程度には、上述したバイタル上昇変化程度又はバイタル下降変化程度に相当する「急上昇」、「上昇」、「変化なし」、「下降」、「急下降」が設定される。
例えば、図9に示す変化表示設定情報の1行目に示すように、ユーザは、バイタル変化程度「急上昇」に対して、当該バイタル変化程度「急上昇」の表示に用いるアイコン名と、当該アイコン名が示すアイコンを表示する際のサイズとを設定する。
<野球観戦スタンド用の監視画面>
図10は、実施の形態1に係る野球観戦スタンドの群衆の状態を監視する場合の監視画面400Aの一例を示す図である。
図10は、実施の形態1に係る野球観戦スタンドの群衆の状態を監視する場合の監視画面400Aの一例を示す図である。
端末装置14は、群衆生体程度判定情報23及び表示設定情報24を用いて、群衆2のバイタル代表値から、各ゾーン9の群衆2の状態を判定する。そして、端末装置14は、判定結果に基づいて、図10に示すように、イベント場所「野球観戦スタンド」の各ゾーン9における群衆2の状態を表す監視画面400Aを表示する。
例えば、監視画面400Aには、球場の野球観戦スタンドの会場のマップ401Aと、センサ11の位置及びセンシング方向を表示するセンサアイコン501Aと、各ゾーン9の群衆2の状態を示すゾーンアイコン502Aとが表示される。ゾーンアイコン502Aは、当該ゾーン9における群衆2の状態を、群衆生体程度判定情報23において当該状態に対応付けられているアイコン名のファイル及びアイコン色で表示したものである。例えば、「盛り上がり状態」のゾーン9のゾーンアイコン502Aは、赤色で表示される。
また、端末装置14は、ゾーンアイコン502A上に、変化表示設定情報においてバイタル変化程度に対応付けられているアイコン名のファイルを、当該ファイル名に対応付けられているサイズで重畳表示する。例えば、端末装置14は、群衆2のバイタル変化程度が「急上昇」しているゾーン9のゾーンアイコン502A上に、斜め上向きの矢印アイコン503Aを重畳表示する。
これにより、ユーザは、監視画面400Aを見て、野球観戦スタンドにおける各ゾーン9の群衆2の状態及びバイタル代表値の変化を一目で把握することができる。
また、端末装置14は、カメラ15を制御して、群衆2の状態が「盛り上がり状態」であるゾーン9を撮影することができる。また、端末装置14は、マイク16を制御して、群衆2の状態が「盛り上がり状態」であるゾーン9の声援を集音することができる。
<イベント場所:音楽ライブイベント>
次に、イベント場所の一例である「音楽ライブイベント」の群衆2の状態を監視する場合について説明する。なお、上述したイベント場所「野球観戦スタンド」の場合と共通する内容については説明を省略する場合がある。
次に、イベント場所の一例である「音楽ライブイベント」の群衆2の状態を監視する場合について説明する。なお、上述したイベント場所「野球観戦スタンド」の場合と共通する内容については説明を省略する場合がある。
図11は、実施の形態1に係るイベント場所「音楽ライブイベント」の選択画面50Bの一例を示す図である。
端末装置14は、図5のステップS21において、図11に示すイベント場所の選択画面50Bを表示する。ユーザが、イベント場所として「音楽ライブイベント」を選択すると、管理装置13は、イベント場所「音楽ライブイベント」用の群衆生体程度判定情報23の設定画面を表示する。なお、当該群衆生体程度判定情報23の設定画面については、図6と同様であってよいので、説明を省略する。
<音楽ライブイベント用の表示設定情報>
図12は、実施の形態1に係るイベント場所「音楽ライブイベント」用の表示設定情報24の設定画面200Bの一例を示す図である。
図12は、実施の形態1に係るイベント場所「音楽ライブイベント」用の表示設定情報24の設定画面200Bの一例を示す図である。
次に、音楽ライブイベント用の表示設定情報24の設定画面200Bについて、図8に示した野球観戦スタンド用の表示設定情報24の設定画面200Aと異なる点についてのみ説明する。
<<無関心又は散漫状態>>
例えば、図12に示すように、状態名「無関心又は散漫状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、「アイコン色」、及び、「音響機器制御設定」が対応付けられる。
例えば、図12に示すように、状態名「無関心又は散漫状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、「アイコン色」、及び、「音響機器制御設定」が対応付けられる。
設定名「音響機器制御設定」の設定値は、群衆2の状態を「無関心又は散漫状態」と判定した場合の音響機器17(例えばスピーカ)の制御に関する設定を示す。例えば、ユーザは、群衆2の状態「無関心又は散漫状態」に対応付ける設定名「音響機器制御設定」の設定値として、「ON」を設定する。この場合、あるゾーン9が「無関心又は散漫状態」になったとき、当該ゾーン9に向けて音響を出力する音響機器17が、自動的に(又はユーザの指示により)ONになる。これにより、ユーザは、あまり盛り上がっていないゾーン9に向けて音響出力を行って盛り上げることができる。なお、「音響機器制御設定」が状態名「無関心又は散漫状態」に対応付けられているのは一例であり、「音響機器制御設定」はいずれの状態名に対応付けられてもよい。
端末装置14は、監視エリア8内のあるゾーン9の群衆2について、群衆興奮程度が「興奮程度条件」の設定値が示す「弛緩」であり、群衆活動程度が「活動程度条件」の設定値が示す「活発」である場合、当該群衆2の状態を「無関心又は散漫状態」と判定する。その場合、端末装置14は、「無関心又は散漫状態」と判定した当該ゾーン9を、設定名「アイコン名」の設定値が示すファイル名のアイコンを用いて、設定名「アイコン色」の設定値が示す紫色で表示する。また、端末装置14は、「音響機器制御設定」の設定値が「ON」であるので、「無関心又は散漫状態」と判定した当該ゾーン9向けの音響機器17の出力をONにする制御を行う。あるいは、端末装置14は、無関心又は散漫状態」と判定した当該ゾーン9向けの音響機器17の音量を変化させる(例えば大きくする)制御を行ってもよい。
<<盛り上がり状態>>
例えば、図12に示すように、状態名「盛り上がり状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、「アイコン色」、及び、「照明機器制御設定」が対応付けられる。
例えば、図12に示すように、状態名「盛り上がり状態」に、設定名「興奮程度条件」、「活動程度条件」、「アイコン名」、「アイコン色」、及び、「照明機器制御設定」が対応付けられる。
設定名「照明機器制御設定」の設定値は、群衆2の状態を「盛り上がり状態」と判定した場合の照明機器18の制御に関する設定を示す。例えば、ユーザは、群衆2の状態「盛り上がり状態」に対応付ける設定名「照明機器制御設定」の設定値として、「ON」を設定する。この場合、あるゾーン9が「盛り上がり状態」になったとき、当該ゾーン9を照らす照明機器18が、自動的に(又はユーザの指示により)ONになる。これにより、ユーザは、盛り上がっているゾーン9を照らして、さらに盛り上げることができる。なお、「照明機器制御設定」が状態名「盛り上がり状態」に対応付けられているのは一例であり、「照明機器制御設定」はいずれの状態名に対応付けられてもよい。
端末装置14は、監視エリア8内のあるゾーン9の群衆2について、群衆興奮程度が「興奮程度条件」の設定値が示す「興奮」であり、群衆活動程度が「活動程度条件」の設定値が示す「活発」である場合、当該群衆2の状態を「盛り上がり状態」と判定する。その場合、端末装置14は、「盛り上がり状態」と判定した当該ゾーン9を、設定名「アイコン名」の設定値が示すファイル名のアイコンを用いて、設定名「アイコン色」の設定値が示す赤色で表示する。また、端末装置14は、「照明機器制御設定」の設定値が「ON」であるので、「盛り上がり状態」と判定した当該ゾーン9を照らす照明機器18をONにする制御を行う。あるいは、端末装置14は、「盛り上がり状態」と判定した当該ゾーン9を照らす照明機器18の照明色を変化させてもよい。
<音楽ライブイベント用の監視画面>
図13は、実施の形態1に係る音楽ライブイベントの群衆の状態を監視する場合の監視画面400Bの一例を示す図である。
図13は、実施の形態1に係る音楽ライブイベントの群衆の状態を監視する場合の監視画面400Bの一例を示す図である。
端末装置14は、群衆生体程度判定情報23及び表示設定情報24を用いて、群衆2のバイタル代表値から、各ゾーン9の群衆2の状態を判定する。そして、端末装置14は、判定結果に基づいて、図13に示すように、イベント場所「音楽ライブイベント」の各ゾーン9における群衆2の状態を表す監視画面400Bを表示する。
例えば、監視画面400Bには、音楽ライブイベントの会場のマップ401Bと、センサ11の位置及びセンシング方向を表示するセンサアイコン501Bと、各ゾーン9の群衆2の状態を示すゾーンアイコン502Bとが表示される。ゾーンアイコン502Bは、当該ゾーン9における群衆2の状態を、群衆生体程度判定情報23において当該状態に対応付けられているアイコン名のファイル及びアイコン色で表示したものである。例えば、「盛り上がり状態」のゾーン9のゾーンアイコン502Bは、赤色で表示される。例えば、「無関心又は散漫状態」のゾーン9のゾーンアイコンは502B、紫色で表示される。
また、端末装置14は、ゾーンアイコン502B上に、変化表示設定情報(図9参照)においてバイタル変化程度に対応付けられているアイコン名のファイルを、当該ファイル名に対応付けられているサイズで重畳表示する。例えば、端末装置14は、群衆2のバイタル変化程度が「急降下」しているゾーン9のゾーンアイコン502B上に、斜め下向きの矢印アイコン503Bを重畳表示する。
これにより、ユーザは、監視画面400Bを見て、音楽ライブイベントにおける各ゾーン9の群衆2の状態及びバイタル代表値の変化を一目で把握することができる。
また、端末装置14は、音響機器17を制御して、群衆2の状態が「無関心又は散漫状態」であるゾーン9に向けて音響を出力したり、音量を変化させたりすることができる。また、端末装置14は、照明機器18を制御して、群衆2の状態が「盛り上がり状態」であるゾーン9に照明を当てたり、照明色を変化させたりすることができる。なお、端末装置14は、多くのゾーン9において群衆2の状態が「盛り上り状態」にある場合に(つまり群衆2の状態に応じて)、会場内に設置された大型スクリーン及び/又はプロジェクタなどの映像出力機器を制御し、表示中の第1の映像コンテンツを、第1の映像コンテンツと異なる第2の映像コンテンツに変更して表示するようにしてもよい。例えば、第2の映像コンテンツは、第1の映像コンテンツよりもアニメーション効果の高い映像コンテンツであってよい。これにより、端末装置14は、群衆2の状態に応じて、映像出力機器に表示する映像コンテンツを切り替え、会場の群衆2をますます盛り上げることができる。
<ハードウェア構成>
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した生体情報検出装置12、管理装置13、及び、端末装置14の機能は、コンピュータプログラムにより実現され得る。
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した生体情報検出装置12、管理装置13、及び、端末装置14の機能は、コンピュータプログラムにより実現され得る。
図14は、本開示に係る各装置の機能をコンピュータプログラムにより実現するコンピュータのハードウェア構成を示す図である。
コンピュータ1000は、プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU(Graphics Processing Unit)1007、読取装置1008、及び、バス1009を備える。
プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU1007、及び、読取装置1008は、バス1009に接続され、バス1009を介して双方向にデータを送受信できる。
プロセッサ1001は、メモリ1002に記憶されたコンピュータプログラムを実行し、上述した機能ブロックを実現する装置である。プロセッサ1001の例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、コントローラ、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)が挙げられる。
メモリ1002は、揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。ただし、メモリ1002の少なくとも一部は、不揮発性記憶媒体で構成されてもよい。
ストレージ1003は、不揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ1003の例として、HDD(Hard Disk Drive)、又は、SSD(Solid State Drive)が挙げられる。
入力装置1004は、プロセッサ1001に入力するデータを受け付ける装置である。入力装置1004の例として、キーボード、マウス、タッチパッド、又は、マイクが挙げられる。
出力装置1005は、プロセッサ1001が生成したデータを出力する装置である。出力装置1005の例として、ディスプレイ、又は、スピーカが挙げられる。
通信装置1006は、他の装置と、通信ネットワークを介して、データを送受信する装置である。通信装置1006は、データを送信する送信部とデータを受信する受信部を含んでよい。通信装置1006は、有線通信及び無線通信の何れに対応してもよい。有線通信の例として、Ethernet(登録商標)が挙げられる。無線通信の例として、IEEE802.11、Wi-Fi(登録商標)、Bluetooth(登録商標)、LTE、4G、5Gが挙げられる。
GPU1007は、画像描写を高速に処理する装置である。なお、GPU1007は、AI(artificial intelligence)の処理(例えばディープラーニング)に利用されてもよい。
読取装置1008は、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリといった記録媒体からデータを読み取る装置である。
本開示の内容は以下のように表現することができる。
<A-1>
検出システム(10)は、監視エリア(8)に設置された少なくとも1つのレーダ方式のセンサ(11)と、
前記センサから出力されるセンサデータに基づき、前記監視エリア内のゾーン(9)に存在する複数の人物の生体情報(21)を検出する生体情報検出装置(12)と、
前記ゾーンにおける群衆(2)の状態に関する程度を判定するための群衆生体程度判定情報(23)を用いて、前記生体情報検出装置から出力される前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報(22)を生成する管理装置(13)と、
前記群衆生体程度情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を表示する端末装置(14)と、を備える。
これにより、端末装置は、監視エリア内のゾーンにおける群衆の状態に関する程度を表示することができる。
検出システム(10)は、監視エリア(8)に設置された少なくとも1つのレーダ方式のセンサ(11)と、
前記センサから出力されるセンサデータに基づき、前記監視エリア内のゾーン(9)に存在する複数の人物の生体情報(21)を検出する生体情報検出装置(12)と、
前記ゾーンにおける群衆(2)の状態に関する程度を判定するための群衆生体程度判定情報(23)を用いて、前記生体情報検出装置から出力される前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報(22)を生成する管理装置(13)と、
前記群衆生体程度情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を表示する端末装置(14)と、を備える。
これにより、端末装置は、監視エリア内のゾーンにおける群衆の状態に関する程度を表示することができる。
<A-2>
A-1に記載の検出システムにおいて、
前記監視エリアは、前記群衆が参加するイベントの場所であり、
前記管理装置は、前記場所毎に、前記群衆生体程度判定情報を対応付けて記憶する。
これにより、管理装置は、群衆が参加するイベントの場所毎に適切な群衆生体程度判定情報を記憶することができる。
A-1に記載の検出システムにおいて、
前記監視エリアは、前記群衆が参加するイベントの場所であり、
前記管理装置は、前記場所毎に、前記群衆生体程度判定情報を対応付けて記憶する。
これにより、管理装置は、群衆が参加するイベントの場所毎に適切な群衆生体程度判定情報を記憶することができる。
<A-3>
A-1又はA-2に記載の検出システムにおいて、
前記生体情報は、前記人物のバイタル値を含み、
前記管理装置は、前記ゾーンにおける前記群衆に含まれる前記複数の人物の前記バイタル値に基づいて、前記ゾーンにおける前記群衆のバイタル代表値を算出する。
これにより、管理装置は、ゾーンにおける群衆のバイタル代表値を算出することができる。
A-1又はA-2に記載の検出システムにおいて、
前記生体情報は、前記人物のバイタル値を含み、
前記管理装置は、前記ゾーンにおける前記群衆に含まれる前記複数の人物の前記バイタル値に基づいて、前記ゾーンにおける前記群衆のバイタル代表値を算出する。
これにより、管理装置は、ゾーンにおける群衆のバイタル代表値を算出することができる。
<A-4>
A-3に記載の検出システムにおいて、
前記管理装置は、前記ゾーンにおける前記群衆の興奮度に関する前記程度を判定するための閾値を、前記群衆生体程度判定情報に設定し、
前記群衆の興奮度は、前記群衆のバイタル代表値に基づいて算出される。
これにより、管理装置は、ゾーンにおける群衆の興奮度に関する程度を判定するための閾値を、群衆生体程度判定情報に設定することができる。
A-3に記載の検出システムにおいて、
前記管理装置は、前記ゾーンにおける前記群衆の興奮度に関する前記程度を判定するための閾値を、前記群衆生体程度判定情報に設定し、
前記群衆の興奮度は、前記群衆のバイタル代表値に基づいて算出される。
これにより、管理装置は、ゾーンにおける群衆の興奮度に関する程度を判定するための閾値を、群衆生体程度判定情報に設定することができる。
<A-5>
A-3又はA-4に記載の検出システムにおいて、
前記管理装置は、前記ゾーンにおける前記群衆の活動度に関する前記程度を判定するための閾値を、前記群衆生体程度判定情報に設定し、
前記群衆の活動度は、前記群衆に含まれる前記複数の人物の位置の動き速度に基づいて算出される。
これにより、管理装置は、ゾーンにおける群衆の活動度に関する程度を判定するための閾値を、群衆生体程度判定情報に設定することができる。
A-3又はA-4に記載の検出システムにおいて、
前記管理装置は、前記ゾーンにおける前記群衆の活動度に関する前記程度を判定するための閾値を、前記群衆生体程度判定情報に設定し、
前記群衆の活動度は、前記群衆に含まれる前記複数の人物の位置の動き速度に基づいて算出される。
これにより、管理装置は、ゾーンにおける群衆の活動度に関する程度を判定するための閾値を、群衆生体程度判定情報に設定することができる。
<A-6>
A-3からA-5のいずれか1項に記載の検出システムにおいて、
前記管理装置は、前記ゾーンにおける前記群衆のバイタル代表値の時間変化に関する前記程度を判定するための閾値を、前記群衆生体程度判定情報に設定する。
これにより、管理装置は、ゾーンにおける前記群衆のバイタル代表値の時間変化に関する程度を判定するための閾値を、群衆生体程度判定情報に設定することができる。
A-3からA-5のいずれか1項に記載の検出システムにおいて、
前記管理装置は、前記ゾーンにおける前記群衆のバイタル代表値の時間変化に関する前記程度を判定するための閾値を、前記群衆生体程度判定情報に設定する。
これにより、管理装置は、ゾーンにおける前記群衆のバイタル代表値の時間変化に関する程度を判定するための閾値を、群衆生体程度判定情報に設定することができる。
<A-7>
A-1からA-6のいずれか1項に記載の検出システムにおいて、
前記端末装置は、前記群衆生体程度情報が示す前記ゾーンにおける前記群衆の状態に関する前記程度を図形で表すための図形情報を、表示設定情報に設定する。
これにより、管理装置は、ゾーンにおける群衆の状態に関する程度を図形で表すための図形情報を、表示設定情報に設定することができる。
A-1からA-6のいずれか1項に記載の検出システムにおいて、
前記端末装置は、前記群衆生体程度情報が示す前記ゾーンにおける前記群衆の状態に関する前記程度を図形で表すための図形情報を、表示設定情報に設定する。
これにより、管理装置は、ゾーンにおける群衆の状態に関する程度を図形で表すための図形情報を、表示設定情報に設定することができる。
<A-8>
A-7に記載の検出システムにおいて、
前記表示設定情報において、前記群衆の状態に表示設定パラメータが対応付けられており、
前記図形情報は前記表示設定パラメータの1つである。
これにより、群衆の状態に表示設定パラメータの1つである図形情報が対応付けられる。
A-7に記載の検出システムにおいて、
前記表示設定情報において、前記群衆の状態に表示設定パラメータが対応付けられており、
前記図形情報は前記表示設定パラメータの1つである。
これにより、群衆の状態に表示設定パラメータの1つである図形情報が対応付けられる。
<A-9>
A-8に記載の検出システムにおいて、
前記表示設定パラメータは、前記群衆の状態の推定に用いられる条件を含み、
前記端末装置は、前記群衆生体程度情報と前記表示設定パラメータの前記条件とに基づいて、前記群衆の状態を推定する。
これにより、端末装置は、群衆生体程度情報と表示設定パラメータの条件とに基づいて、群衆の状態を推定することができる。
A-8に記載の検出システムにおいて、
前記表示設定パラメータは、前記群衆の状態の推定に用いられる条件を含み、
前記端末装置は、前記群衆生体程度情報と前記表示設定パラメータの前記条件とに基づいて、前記群衆の状態を推定する。
これにより、端末装置は、群衆生体程度情報と表示設定パラメータの条件とに基づいて、群衆の状態を推定することができる。
<A-10>
検出方法は、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を表示する。
上記検出方法を行うことにより、監視エリア内のゾーンにおける群衆の状態に関する程度を、例えば端末装置に表示することができる。
検出方法は、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を表示する。
上記検出方法を行うことにより、監視エリア内のゾーンにおける群衆の状態に関する程度を、例えば端末装置に表示することができる。
<A-11>
検出プログラムは、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を表示する、
ことをコンピュータに実行させる。
これにより、検出プログラムを実行するコンピュータは、監視エリア内のゾーンにおける群衆の状態に関する程度を表示することができる。
検出プログラムは、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を表示する、
ことをコンピュータに実行させる。
これにより、検出プログラムを実行するコンピュータは、監視エリア内のゾーンにおける群衆の状態に関する程度を表示することができる。
また、本開示の内容は以下のように表現することができる。
<B-1>
検出システム(10)は、
監視エリア(8)に設置された少なくとも1つのレーダ方式のセンサ(11)と、
前記センサから出力されるセンサデータに基づき、前記監視エリア内のゾーン(9)に存在する複数の人物(1)の生体情報(21)を検出する生体情報検出装置(12)と、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報(23)を用いて、前記生体情報検出装置から出力される前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成する管理装置(13)と、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器(例えばカメラ、マイク16、音響機器17又は照明機器18)を制御する端末装置と、を備える、
これにより、端末装置は、群衆生体程度情報に基づいて、ゾーンに対応する連携機器を制御することができる。
検出システム(10)は、
監視エリア(8)に設置された少なくとも1つのレーダ方式のセンサ(11)と、
前記センサから出力されるセンサデータに基づき、前記監視エリア内のゾーン(9)に存在する複数の人物(1)の生体情報(21)を検出する生体情報検出装置(12)と、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報(23)を用いて、前記生体情報検出装置から出力される前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成する管理装置(13)と、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器(例えばカメラ、マイク16、音響機器17又は照明機器18)を制御する端末装置と、を備える、
これにより、端末装置は、群衆生体程度情報に基づいて、ゾーンに対応する連携機器を制御することができる。
<B-2>
B-1に記載の検出システムにおいて、
前記生体情報は、前記人物のバイタル値を含み、
前記管理装置は、前記ゾーンにおける前記群衆に含まれる前記複数の人物の前記バイタル値に基づいて、前記ゾーンにおける前記群衆のバイタル代表値を算出し、前記群衆のバイタル代表値及び前記群衆生体程度判定情報に基づいて、前記群衆生体程度情報を生成する。
これにより、管理装置は、群衆のバイタル代表値及び群衆生体程度判定情報に基づいて、群衆生体程度情報を生成することができる。
B-1に記載の検出システムにおいて、
前記生体情報は、前記人物のバイタル値を含み、
前記管理装置は、前記ゾーンにおける前記群衆に含まれる前記複数の人物の前記バイタル値に基づいて、前記ゾーンにおける前記群衆のバイタル代表値を算出し、前記群衆のバイタル代表値及び前記群衆生体程度判定情報に基づいて、前記群衆生体程度情報を生成する。
これにより、管理装置は、群衆のバイタル代表値及び群衆生体程度判定情報に基づいて、群衆生体程度情報を生成することができる。
<B-3>
B-1又はB-2に記載の検出システムにおいて、
前記連携機器はカメラ(15)であり、
前記端末装置は、前記カメラを制御して、前記群衆の状態が所定の状態であるゾーンを撮像する。
これにより、端末装置は、カメラを制御して、群衆の状態が所定の状態であるゾーンを撮像することができる。
B-1又はB-2に記載の検出システムにおいて、
前記連携機器はカメラ(15)であり、
前記端末装置は、前記カメラを制御して、前記群衆の状態が所定の状態であるゾーンを撮像する。
これにより、端末装置は、カメラを制御して、群衆の状態が所定の状態であるゾーンを撮像することができる。
<B-4>
B-1からB-3のいずれか1項に記載の検出システムにおいて、
前記連携機器はマイク(16)であり、
前記端末装置は、前記マイクを制御して、前記群衆の状態が所定の状態である前記ゾーンの集音を行う。
これにより、端末装置は、マイクを制御して、群衆の状態が所定の状態であるゾーンの集音を行うことができる。
B-1からB-3のいずれか1項に記載の検出システムにおいて、
前記連携機器はマイク(16)であり、
前記端末装置は、前記マイクを制御して、前記群衆の状態が所定の状態である前記ゾーンの集音を行う。
これにより、端末装置は、マイクを制御して、群衆の状態が所定の状態であるゾーンの集音を行うことができる。
<B-5>
B-1からB-4のいずれか1項に記載の検出システムにおいて、
前記連携機器は音響機器(17)であり、
前記端末装置は、前記音響機器を制御して、前記群衆の状態が所定の状態である前記ゾーン向けの音量を変化させる。
これにより、端末装置は、音響機器を制御して、群衆の状態が所定の状態であるゾーン向けの音量を変化させることができる。
B-1からB-4のいずれか1項に記載の検出システムにおいて、
前記連携機器は音響機器(17)であり、
前記端末装置は、前記音響機器を制御して、前記群衆の状態が所定の状態である前記ゾーン向けの音量を変化させる。
これにより、端末装置は、音響機器を制御して、群衆の状態が所定の状態であるゾーン向けの音量を変化させることができる。
<B-6>
B-1からB-5のいずれか1項に記載の検出システムにおいて、
前記連携機器は照明機器(18)であり、
前記端末装置は、前記照明機器を制御して、前記群衆の状態が所定の状態である前記ゾーンを照らす前記照明機器の照明色を変化させる。
これにより、端末装置は、照明機器を制御して、群衆の状態が所定の状態であるゾーンを照らす照明機器の照明色を変化させることができる。
B-1からB-5のいずれか1項に記載の検出システムにおいて、
前記連携機器は照明機器(18)であり、
前記端末装置は、前記照明機器を制御して、前記群衆の状態が所定の状態である前記ゾーンを照らす前記照明機器の照明色を変化させる。
これにより、端末装置は、照明機器を制御して、群衆の状態が所定の状態であるゾーンを照らす照明機器の照明色を変化させることができる。
<B-7>
B-1からB-5のいずれか1項に記載の検出システムにおいて、
前記連携機器は映像出力機器であり、
前記端末装置は、前記映像出力機器を制御して、前記群衆の状態に応じて映像コンテンツを変更する。
これにより、端末装置は、映像出力機器を制御して、群衆の状態に応じて映像コンテンツを変更することができる。
B-1からB-5のいずれか1項に記載の検出システムにおいて、
前記連携機器は映像出力機器であり、
前記端末装置は、前記映像出力機器を制御して、前記群衆の状態に応じて映像コンテンツを変更する。
これにより、端末装置は、映像出力機器を制御して、群衆の状態に応じて映像コンテンツを変更することができる。
<B-8>
検出方法は、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する。
上記検出方法を行うことにより、群衆生体程度情報に基づいて、ゾーンに対応する連携機器を制御することができる。
検出方法は、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する。
上記検出方法を行うことにより、群衆生体程度情報に基づいて、ゾーンに対応する連携機器を制御することができる。
<B-9>
検出プログラムは、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する、
ことをコンピュータに実行させる。
これにより、検出プログラムを実行するコンピュータは、群衆生体程度情報に基づいて、ゾーンに対応する連携機器を制御することができる。
検出プログラムは、
監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する、
ことをコンピュータに実行させる。
これにより、検出プログラムを実行するコンピュータは、群衆生体程度情報に基づいて、ゾーンに対応する連携機器を制御することができる。
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
なお、本出願は、2022年3月18日出願の日本特許出願(特願2022-044145)に基づくものであり、その内容は本出願の中に参照として援用される。
本開示の技術は、レーダ方式のセンサを用いて人物の生体の状態を検出するシステム、方法及びプログラム等に有用である。
1 人物
2 群衆
8 監視エリア
9 ゾーン
10 検出システム
11 センサ
12 生体情報検出装置
13 管理装置
14 端末装置
15 カメラ
16 マイク
17 音響機器
18 照明機器
20 センサデータ
21 生体情報
22 群衆生体程度情報
23 群衆生体程度判定情報
24 表示設定情報
50A、50B 選択画面
100A 群衆生体程度判定情報の設定画面
101 監視エリアの設定領域
102 バイタル代表値の設定領域
103 興奮度の閾値設定領域
104 活動度の閾値設定領域
105 バイタル代表値の時間変化度の閾値設定領域
120 閾値バー
200A、200B 表示設定情報の設定画面
300A 変化表示設定情報の設定画面
400A、400B 監視画面
401A、401B マップ
501A、501B センサアイコン
502A、502B ゾーンアイコン
503A、503B 矢印アイコン
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 入力装置
1005 出力装置
1006 通信装置
1007 GPU
1008 読取装置
1009 バス
2 群衆
8 監視エリア
9 ゾーン
10 検出システム
11 センサ
12 生体情報検出装置
13 管理装置
14 端末装置
15 カメラ
16 マイク
17 音響機器
18 照明機器
20 センサデータ
21 生体情報
22 群衆生体程度情報
23 群衆生体程度判定情報
24 表示設定情報
50A、50B 選択画面
100A 群衆生体程度判定情報の設定画面
101 監視エリアの設定領域
102 バイタル代表値の設定領域
103 興奮度の閾値設定領域
104 活動度の閾値設定領域
105 バイタル代表値の時間変化度の閾値設定領域
120 閾値バー
200A、200B 表示設定情報の設定画面
300A 変化表示設定情報の設定画面
400A、400B 監視画面
401A、401B マップ
501A、501B センサアイコン
502A、502B ゾーンアイコン
503A、503B 矢印アイコン
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 入力装置
1005 出力装置
1006 通信装置
1007 GPU
1008 読取装置
1009 バス
Claims (9)
- 監視エリアに設置された少なくとも1つのレーダ方式のセンサと、
前記センサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出する生体情報検出装置と、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記生体情報検出装置から出力される前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成する管理装置と、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する端末装置と、を備える、
検出システム。 - 前記生体情報は、前記人物のバイタル値を含み、
前記管理装置は、前記ゾーンにおける前記群衆に含まれる前記複数の人物の前記バイタル値に基づいて、前記ゾーンにおける前記群衆のバイタル代表値を算出し、前記群衆のバイタル代表値及び前記群衆生体程度判定情報に基づいて、前記群衆生体程度情報を生成する、
請求項1に記載の検出システム。 - 前記連携機器はカメラであり、
前記端末装置は、前記カメラを制御して、前記群衆の状態が所定の状態であるゾーンを撮像する、
請求項1又は2に記載の検出システム。 - 前記連携機器はマイクであり、
前記端末装置は、前記マイクを制御して、前記群衆の状態が所定の状態である前記ゾーンの集音を行う、
請求項1から3のいずれか1項に記載の検出システム。 - 前記連携機器は音響機器であり、
前記端末装置は、前記音響機器を制御して、前記群衆の状態が所定の状態である前記ゾーン向けの音量を変化させる、
請求項1から4のいずれか1項に記載の検出システム。 - 前記連携機器は照明機器であり、
前記端末装置は、前記照明機器を制御して、前記群衆の状態が所定の状態である前記ゾーンを照らす前記照明機器の照明色を変化させる、
請求項1から5のいずれか1項に記載の検出システム。 - 前記連携機器は映像出力機器であり、
前記端末装置は、前記映像出力機器を制御して、前記群衆の状態に応じて映像コンテンツを変更する、
請求項1から5のいずれか1項に記載の検出システム。 - 監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する、
検出方法。 - 監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内のゾーンに存在する複数の人物の生体情報を検出し、
前記ゾーンにおける群衆の状態に関する程度を判定するための群衆生体程度判定情報を用いて、前記複数の人物の生体情報に基づいて、前記ゾーンにおける前記群衆の状態に関する程度を含む群衆生体程度情報を生成し、
前記群衆生体程度情報に基づいて、前記ゾーンに対応する連携機器を制御する、
ことをコンピュータに実行させる、
検出プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-044145 | 2022-03-18 | ||
JP2022044145A JP2023137778A (ja) | 2022-03-18 | 2022-03-18 | 検出システム、検出方法、及び、検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023176414A1 true WO2023176414A1 (ja) | 2023-09-21 |
Family
ID=88023589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/007168 WO2023176414A1 (ja) | 2022-03-18 | 2023-02-27 | 検出システム、検出方法、及び、検出プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023137778A (ja) |
WO (1) | WO2023176414A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017164215A (ja) * | 2016-03-15 | 2017-09-21 | オムロン株式会社 | 関心度推定装置、関心度推定方法、プログラムおよび記録媒体 |
JP2019211467A (ja) * | 2018-05-30 | 2019-12-12 | パナソニックIpマネジメント株式会社 | 監視支援装置および監視支援方法 |
JP2020113117A (ja) * | 2019-01-15 | 2020-07-27 | 国立大学法人大阪大学 | 集団環境評価方法ならびに集団環境評価システム |
JP2022042304A (ja) * | 2020-09-02 | 2022-03-14 | 日本電信電話株式会社 | ストレス推定装置、方法およびプログラム |
-
2022
- 2022-03-18 JP JP2022044145A patent/JP2023137778A/ja active Pending
-
2023
- 2023-02-27 WO PCT/JP2023/007168 patent/WO2023176414A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017164215A (ja) * | 2016-03-15 | 2017-09-21 | オムロン株式会社 | 関心度推定装置、関心度推定方法、プログラムおよび記録媒体 |
JP2019211467A (ja) * | 2018-05-30 | 2019-12-12 | パナソニックIpマネジメント株式会社 | 監視支援装置および監視支援方法 |
JP2020113117A (ja) * | 2019-01-15 | 2020-07-27 | 国立大学法人大阪大学 | 集団環境評価方法ならびに集団環境評価システム |
JP2022042304A (ja) * | 2020-09-02 | 2022-03-14 | 日本電信電話株式会社 | ストレス推定装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023137778A (ja) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6137425B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
US10963146B2 (en) | User interface for a sleep system | |
US11324454B2 (en) | Blood pressure measurement apparatus, method of controlling blood pressure measurement apparatus, and program | |
JP5236631B2 (ja) | 表示装置、表示方法、表示プログラム | |
CN107005761B (zh) | 信息处理设备、信息处理系统、控制方法和程序 | |
US10629225B2 (en) | Information processing method, information processing device, and recording medium recording information processing program | |
CN102891909B (zh) | 手机及健康检测方法 | |
JP5300694B2 (ja) | 検出装置 | |
EP3633643A1 (en) | Drowsiness estimating device, awakening-induction control device, and awakening induction system | |
WO2023176414A1 (ja) | 検出システム、検出方法、及び、検出プログラム | |
WO2023176412A1 (ja) | 検出システム、検出方法、及び、検出プログラム | |
JP2020130528A (ja) | 感情推定装置、感情推定方法、プログラム、及び感情推定システム | |
JP4719632B2 (ja) | 生体情報監視装置とそのためのホスト端末と生体情報の遠隔監視方法 | |
CN115381396A (zh) | 评估睡眠呼吸功能的方法和装置 | |
JP2019103664A (ja) | 状態推定装置とその方法およびプログラム | |
US20230222806A1 (en) | Nuisance degree-decision system, information presentation system, information presentation method, and computer readable medium | |
US20230233149A1 (en) | Hearing Device-Based Systems and Methods for Determining a Quality Index for a Cardiorespiratory Measurement | |
WO2023171348A1 (ja) | 検出システム、検出方法、及び、検出プログラム | |
JP2019200718A (ja) | 監視装置、監視方法及びプログラム | |
EP3773225B1 (en) | Detecting subjects with disordered breathing | |
JP2022151708A (ja) | 判定装置、判定システム、判定方法および判定プログラム | |
JP2023137777A (ja) | 検出システム、検出方法、及び、検出プログラム | |
JP7502195B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム | |
WO2024181109A1 (ja) | モニタリングシステム、モニタリング方法、およびプログラム | |
KR20240123642A (ko) | 개인 응급 응답 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23770372 Country of ref document: EP Kind code of ref document: A1 |