WO2023053278A1 - 提供システム、提供方法、及びコンピュータプログラム - Google Patents

提供システム、提供方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2023053278A1
WO2023053278A1 PCT/JP2021/035898 JP2021035898W WO2023053278A1 WO 2023053278 A1 WO2023053278 A1 WO 2023053278A1 JP 2021035898 W JP2021035898 W JP 2021035898W WO 2023053278 A1 WO2023053278 A1 WO 2023053278A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
user
unit
physical quantity
contact
Prior art date
Application number
PCT/JP2021/035898
Other languages
English (en)
French (fr)
Inventor
智哉 前川
真吾 日比野
直樹 小柳津
有香 別府
篤 上田
Original Assignee
住友電気工業株式会社
住友理工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社, 住友理工株式会社 filed Critical 住友電気工業株式会社
Priority to JP2023550854A priority Critical patent/JPWO2023053278A1/ja
Priority to PCT/JP2021/035898 priority patent/WO2023053278A1/ja
Publication of WO2023053278A1 publication Critical patent/WO2023053278A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Definitions

  • the present disclosure relates to a provision system, a provision method, and a computer program.
  • Non-Patent Document 1 Conventionally, at live venues such as concerts, a system has been developed that analyzes the emotional transitions of event participants from images captured by cameras of the facial expressions of event participants (see, for example, Non-Patent Document 1).
  • Patent Document 1 An information processing system that analyzes the user's emotions using a wearable terminal worn by the user has been proposed (see Patent Document 1, for example).
  • a provision system is a sensor that has a contact surface and that measures a physical quantity indicating the degree of change in the contact surface of the contact surface is in contact with the user's body surface.
  • a presentation unit that presents to the user that is a condition for permission to provide the physical quantity to someone other than the user; and a state of contact of the sensor with the body surface based on the physical quantity.
  • a providing unit that starts providing the physical quantity to the other person based on the estimation result of the contact state by the estimating unit.
  • a provision method is a sensor that has a contact surface and that measures a physical quantity indicating the degree of change in the contact surface of the contact surface is in contact with the user's body surface a step of presenting to the user that this is a condition for permission to provide the physical quantity to someone other than the user; and a contact state of the sensor with the body surface based on the physical quantity. and starting to provide the physical quantity to the other person based on the estimation result of the contact state.
  • a computer program provides a computer with a sensor having a contact surface, the sensor measuring a physical quantity indicating the degree of change in the contact surface of the contact surface contacting the user's body surface.
  • a subsection that presents to the user that the presence of the physical quantity is a condition for permission to provide the physical quantity to another person other than the user; and an providing unit that starts providing the physical quantity to the other person based on the estimation result of the contact state by the estimating unit.
  • FIG. 1 is a diagram showing an example of the overall configuration of an emotion analysis system according to an embodiment.
  • FIG. 2 is a block diagram showing an example of each configuration of a sensor and a server that configure the emotion analysis system according to the embodiment.
  • FIG. 3 is a diagram showing an example of a sensor configuration.
  • FIG. 4 is a diagram showing an example of arrangement positions of strain gauges on a circuit layer.
  • FIG. 5 is a diagram showing an example of a release sheet that constitutes the sensor.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the smartphone according to the embodiment;
  • FIG. 7 is a sequence diagram showing an example of user registration processing for registering user information of a user using a sensor in a server.
  • FIG. 8 is a diagram showing an example of a user information registration screen.
  • FIG. 9 is a diagram showing an example of user information registered in the server.
  • FIG. 10 is a sequence diagram illustrating an example of event registration processing.
  • FIG. 11 is a diagram showing an example of the event information screen.
  • FIG. 12 is a diagram showing an example of the sticker information screen.
  • FIG. 13 is a diagram showing an example of the terms of use information screen.
  • FIG. 14 is a sequence diagram illustrating an example of linking processing.
  • FIG. 15 is a diagram showing an example of a QR code (registered trademark) reading screen.
  • FIG. 16 is a diagram showing an example of a user ID input screen.
  • FIG. 17 is a diagram illustrating an example of user information in which a sensor ID is additionally registered.
  • FIG. 18 is a sequence diagram illustrating an example of strain amount measurement processing.
  • FIG. 19 is a diagram showing an example of temporal changes in strain amount.
  • FIG. 20 is a diagram showing an example of temporal change in strain amount.
  • FIG. 21 is a block diagram
  • Non-Patent Document 1 acquisition and analysis of data such as images related to user's emotions and dynamics may be performed without the user's permission. Therefore, some users may feel uncomfortable. For this reason, some users may have a sense of resistance, such as a sense of rejection or fear that their emotions will be read.
  • the user must wear a wearable terminal such as a smart watch, smart band, or smart eye glasses. Wearing such a wearable terminal feels uncomfortable for the user, and may cause a sense of resistance such as refusal or fear that the user's emotions will be read.
  • a wearable terminal such as a smart watch, smart band, or smart eye glasses. Wearing such a wearable terminal feels uncomfortable for the user, and may cause a sense of resistance such as refusal or fear that the user's emotions will be read.
  • the present disclosure has been made in view of such circumstances, and aims to provide a provision system, a provision method, and a computer program for analyzing emotions without giving the user a feeling of discomfort or resistance. .
  • a provision system is a sensor having a contact surface that measures a physical quantity indicating the degree of change in the contact surface of the contact surface.
  • a presenting unit for presenting to the user that the physical quantity is a condition for permission to provide the physical quantity to another person other than the user; and an providing unit that starts providing the physical quantity to the other person based on the estimation result of the contact state by the estimating unit.
  • the user may contact the sensor with the body surface such as the face.
  • the sensor with the body surface such as the face.
  • the user can bring the sensor into contact with the body surface as if a sticker were put on the face.
  • users are less reluctant to put stickers on their faces at sporting event venues, attraction venues, and the like. Therefore, others can collect physical quantities and analyze the user's emotions without giving the user a sense of discomfort or resistance.
  • the estimating unit estimates that the sensor is in contact with the body surface based on a comparison result between the physical quantity and the first threshold, and the providing unit causes the estimating unit to
  • the provision of the physical quantity to the other person may be started when it is estimated that the body surface has been touched.
  • the change in the contact surface is small and the physical quantity is also small. Therefore, for example, when the physical quantity is equal to or greater than the first threshold, it can be estimated that the sensor is in contact with the body surface, and provision of the physical quantity to the other person can be started. As a result, it can be estimated that the sensor is in contact with the body surface, and it is possible to prevent the physical quantity from being provided to others before the sensor contacts. Therefore, others can accurately analyze emotions.
  • the estimation unit may estimate that the sensor is in contact with the body surface based on the duration of the comparison result between the physical quantity and the first threshold.
  • the seal is temporarily deformed due to external pressure before contacting the body surface, the physical quantity will temporarily increase, but the large physical quantity will not last. Therefore, for example, it can be estimated that the sensor is in contact with the body surface when the physical quantity remains equal to or greater than the first threshold for a predetermined period of time.
  • the estimating unit estimates that the sensor is not in contact with the body surface based on a comparison result between the physical quantity and a second threshold, and the providing unit causes the estimating unit to The provision of the physical quantity to the other person may be terminated when it is estimated that the person is not in contact with the body surface.
  • the change in the contact surface is small and the physical quantity is also small. Therefore, for example, when the physical quantity is less than the second threshold, it can be assumed that the sensor is not in contact with the body surface, and the provision of the physical quantity to the other person can be terminated. Thereby, it can be estimated that the sensor is not in contact with the body surface, and it is possible to prevent the physical quantity from being provided to others even though the sensor is not in contact with the body surface. Therefore, others can accurately analyze emotions.
  • the estimation unit may estimate that the sensor is not in contact with the body surface based on the duration of the comparison result between the physical quantity and the second threshold.
  • the sensor Even if the sensor is in contact with the body surface, if the user becomes expressionless temporarily, the physical quantity may temporarily decrease, but the body surface is vibrating finely. For this reason, a constant change occurs even when the face is expressionless, and the state in which the physical quantity is small does not last. Therefore, for example, it can be estimated that the sensor is not in contact with the body surface when the state in which the physical quantity is less than the second threshold continues for a predetermined period of time.
  • the provision system further includes a registration unit that registers a sensor identifier that identifies the sensor, and a physical quantity reception unit that receives a set of the physical quantity and the sensor identifier of the sensor from the sensor,
  • the providing unit may provide the other person with a set including the sensor identifier registered by the registration unit, among the sets received by the physical quantity receiving unit.
  • the providing system can select a set including the registered sensor identifier from among the sets of physical quantities and sensor identifiers received from a plurality of sensors and provide the set to others. For example, by registering the sensor identifiers of the sensors used by the user in advance, the user's physical quantity can be efficiently provided to others.
  • the provision unit further does not transmit, from among the pairs received by the physical quantity reception unit, the pairs that do not include the sensor identifier registered by the registration unit to the device used by the other person. good.
  • pairs containing sensor identifiers that are not registered in the provision system are not provided to others. For example, if a provision system for registering a sensor identifier is uniquely set, a set of the sensor identifier and the physical quantity will be provided to others only from one provision system. Therefore, it is possible to prevent duplicate physical quantities from being provided to others.
  • the registration unit may further provide a user identifier for identifying the user and the sensor identifier to the device used by the other person.
  • the device used by the other person can identify the user from the combination of the physical quantity and the sensor identifier provided by the providing system, and can analyze the emotion of each user.
  • the user identifier is not included in the set provided by the providing system to others. Therefore, even if a third party intercepts the pair, the third party cannot identify the user who measured the physical quantity. Therefore, the user's privacy is protected.
  • the providing unit may further provide the measured position information of the physical quantity to a device used by the other person.
  • the other person who receives the measurement position information of the physical quantity can analyze the emotion for each measurement position.
  • the provision system further includes a setting unit that sets whether or not the provision of the physical quantity is permitted by the user, and the provision unit, when the provision of the physical quantity is not permitted by the user, provides the physical quantity.
  • the provision to the other person may be discontinued.
  • a provision method is provided by a sensor having a contact surface that measures a physical quantity indicating the degree of change in the surface that the contact surface contacts with the user's body surface. a step of presenting to the user that the physical quantity is a condition for permission to provide the physical quantity to another person other than the user; and starting to provide the physical quantity to the other person based on the estimation result of the contact state.
  • This configuration includes steps corresponding to the configuration provided by the above-described provision system. Therefore, it is possible to obtain the same actions and effects as those of the above-described providing system.
  • a computer program causes a computer to detect that a sensor having a contact surface that measures a physical quantity indicating the degree of change in a surface contacted by the contact surface is a user's body.
  • a presenting unit for presenting to the user that being in contact with the surface is a condition for permission to provide the physical quantity to someone other than the user; It functions as an estimating unit that estimates a state of contact with the body surface, and a providing unit that starts providing the physical quantity to the other person based on the estimation result of the contact state by the estimating unit.
  • the computer can function as the above-described provision system. Therefore, it is possible to obtain the same actions and effects as those of the above-described providing system.
  • FIG. 1 is a diagram showing an example of the overall configuration of an emotion analysis system according to an embodiment.
  • the emotion analysis system 1 includes a sensor 3, a server 4, and a smartphone 5.
  • the sensor 3 has an adhesive surface and is shaped like a sheet.
  • the sensor 3 is attached to the face of the user 2 (human) with an adhesive surface, for example, and measures a physical quantity that indicates the degree of change in the shape of the face according to the change in facial expression.
  • the adhesive surface of the sensor 3 is an example of the contact surface of the sensor 3 with the face.
  • the sensor 3 can measure the physical quantity by contacting the face with a fixture or the like without adhering the sensor 3 to the face.
  • the sensor 3 may be used by attaching it to the body surface of the user 2 other than the face.
  • the sheet-like shape of the sensor 3 includes not only a shape without unevenness on the surface, but also a three-dimensional shape with some unevenness on the surface of the sensor 3 from the viewpoint of fashionability, functionality, and the like.
  • the surface of the sensor 3 may be decorated with unevenness, or the surface of the sensor 3 may be uneven.
  • the contact surface of the sensor 3 may be uneven to soften the contact with the skin.
  • FIG. 1 shows only the sensor 3 attached to one user 2, it is assumed that a sensor 3 is attached to each of a plurality of users 2.
  • the sensor 3 is capable of short-range wireless communication with the smartphone 5.
  • the sensor 3 performs BLE (Bluetooth (registered trademark) Low Energy) communication with the smartphone 5 .
  • the sensor 3 has a function of a BLE beacon, and outputs, for example, radio waves in the 2.4 GHz band to transmit the measured physical quantity and the sensor ID (sensor identifier) for identifying itself from other sensors 3 in real time. broadcast with. Since BLE communication uses adaptive frequency hopping, interference between radio waves transmitted by the sensor 3 and radio waves transmitted by other sensors 3 can be reduced.
  • the smartphone 5 is a terminal device owned by the user 2, and is capable of short-range wireless communication with the sensor 3.
  • the smartphone 5 has a receiver function that performs BLE communication with the sensor 3 and receives physical quantities and sensor IDs transmitted from the sensor 3 .
  • the smartphone 5 is connected to a network 6 such as the Internet via a wireless base station 7 .
  • Wireless communication is performed between the smartphone 5 and the wireless base station 7 in compliance with a wireless communication standard such as 5G (fifth generation mobile communication system) or Wi-Fi (registered trademark).
  • the smartphone 5 extracts group data including a pre-registered sensor ID from the group data of the physical quantity and the sensor ID from the sensor 3, and adds the position information of the smartphone 5 to the extracted group data. It transmits to the server 4 via the network 6 in real time. Since the user 2 possesses the smart phone 5 , the server 4 can regard the position of the smart phone 5 as the physical quantity measurement position of the user 2 .
  • the user 2 can also use a terminal device capable of wireless communication, such as a mobile phone or a notebook computer, instead of the smartphone 5.
  • a terminal device capable of wireless communication such as a mobile phone or a notebook computer, instead of the smartphone 5.
  • the server 4 is a device used by someone other than the user 2.
  • the other person is, for example, a business operator that analyzes the emotions of the user 2 using data collected from the user 2 .
  • the server 4 functions as an emotion analysis device, is wired or wirelessly connected to the network 6 , and receives group data including physical quantities, sensor IDs, and position information from each of the plurality of smartphones 5 via the network 6 . Since the sensor 3 and the smartphone 5 transmit the set data in real time, the server 4 can estimate the time when the set data is received as the measurement time of the physical quantity.
  • User information including personal information such as the sex and date of birth of the user 2 and the sensor ID of the sensor 3 used by the user 2 is pre-registered in the server 4 for each user 2 . Therefore, the server 4 can identify the user 2 who uses the received grouped data based on the received grouped data and the user information, and for each user 2, based on the physical quantity included in the grouped data. Analyze 2 emotions.
  • the eventer when entering an event venue such as a sports viewing venue or an attraction venue, the eventer distributes the sensor 3 to the user 2 who is a participant.
  • the user 2 who has received the sensor 3 puts the sensor 3 on his/her face (for example, the cheek portion) to bring the sensor 3 into contact with the face.
  • characters or images for example, the team to support
  • the like be printed on the surface of the sensor 3 that is visible to others. Thereby, the user 2 can attach the sensor 3 to the face as if attaching a face sticker.
  • the server 4 can analyze the emotions of the user 2 for each position or area based on the position information included in the grouped data received from the smartphone 5. For example, the server 4 analyzes the user's emotion for each attraction (eg, roller coaster, merry-go-round) such as an attraction venue (eg, theme park). This allows the server 4 to analyze popular attractions, for example.
  • an attraction eg, roller coaster, merry-go-round
  • FIG. 2 is a block diagram showing an example of each configuration of the sensor 3 and the server 4 that constitute the emotion analysis system 1 according to the embodiment.
  • the sensor 3 includes a power supply unit 31, a sensor unit 32, a wireless communication unit 34, and a storage unit 39.
  • the power supply unit 31 supplies power to the sensor unit 32, the wireless communication unit 34, and the storage unit 39 to drive each processing unit.
  • the power supply unit 31 is, for example, a sheet-type battery or a patch-type battery (see Non-Patent Document 2, for example). In FIG. 2, power supply lines are indicated by dashed lines.
  • the power supply unit 31 may generate power using biological energy and supply the generated power.
  • the power supply unit 31 performs temperature difference power generation using thermal energy of the user 2 to which the sensor 3 is attached, for example. More specifically, the power supply unit 31 includes a sheet-like Seebeck element (thermoelectric element) that is in contact with the skin of the user 2, and generates power using the Seebeck effect that generates an electromotive force due to the temperature difference inside the Seebeck element. .
  • the power supply unit 31 may generate electricity using the sweat of the living body. More specifically, the power supply unit 31 includes a sheet-like biofuel cell that is in contact with the skin of the user 2, and the biofuel cell converts sweat into electric current using an enzyme that oxidizes lactic acid contained in human sweat. Power is generated by conversion.
  • the power supply unit 31 may generate power using electromagnetic waves. More specifically, the power supply unit 31 may recover energy from electromagnetic waves existing around the sensor 3 and generate electricity by itself (see Non-Patent Document 3, for example).
  • the power supply unit 31 is not limited to the one described above.
  • the storage unit 39 is a storage device for storing the sensor ID of the sensor 3.
  • the sensor unit 32 measures a physical quantity that indicates the degree of change in the shape of the surface (the face of the user 2) with which the adhesive surface of the sensor unit 32 contacts.
  • the sensor section 32 includes, for example, strain gauges.
  • the strain gauge measures the force applied to the strain gauge by the movement of the facial skin of the user 2 as a current (hereinafter referred to as "strain amount") (physical quantity).
  • strain amount measures the force applied to the strain gauge by the movement of the facial skin of the user 2 as a current (hereinafter referred to as "strain amount") (physical quantity).
  • the sensor unit 32 outputs the strain amount measured by the strain gauge to the wireless communication unit 34 .
  • the wireless communication unit 34 has a communication interface that performs compact and power-saving wireless communication.
  • the wireless communication unit 34 performs data communication according to, for example, the BLE communication standard as described above.
  • the wireless communication unit 34 may perform data communication according to a communication standard such as Wi-SUN (Wireless Smart Utility Network) or ZigBee (registered trademark).
  • Wi-SUN Wireless Smart Utility Network
  • ZigBee registered trademark
  • the wireless communication unit 34 transmits to the server 4 set data of the strain amount measured by the sensor unit 32 and the sensor ID stored in the storage unit 39 .
  • FIG. 3 is a diagram showing an example of the configuration of the sensor 3.
  • the sensor 3 is composed of three layers, for example, a sheet-like adhesive layer 3A, a sheet-like circuit layer 3B, and a sheet-like printing layer 3C.
  • the adhesive layer 3A is coated with an adhesive for skin that causes less irritation to the skin below the adhesive layer 3A.
  • a release sheet 3D is provided below the adhesive. After peeling off the release sheet 3D, the user 2 attaches the sensor 3 to the skin by bringing the lower part of the adhesive layer 3A into contact with the skin. Note that the user 2 can reattach the sensor 3 after removing it from the skin.
  • a circuit layer 3B is arranged above the adhesive layer 3A.
  • the circuit layer 3B includes a circuit that realizes the power supply unit 31, the sensor unit 32, the wireless communication unit 34, and the storage unit 39 described above.
  • the circuit layer 3B is configured, for example, by arranging an IC (Integrated Circuit) chip on a flexible substrate.
  • IC Integrated Circuit
  • the printed layer 3C is arranged above the circuit layer 3B and has a printed surface.
  • the printing surface is located above the printing layer 3C, and at least one of characters and images can be printed on the printing surface.
  • Part or all of the printed surface may be plain such as white, or may be transparent or translucent so that the user 2 can write characters or images on the printed surface with a pen or the like. .
  • FIG. 4 is a diagram showing an example of the arrangement positions of the strain gauges 38 on the circuit layer 3B.
  • the strain gauge 38 forms part of the sensor section 32 .
  • Strain gauges 38 are arranged, for example, at the four corners and the central portion of the circuit layer 3B. By arranging the strain gauges 38 at a plurality of locations in this manner, the sensor unit 32 can measure the degree of change in the shape of the face with higher accuracy than when the strain gauges 38 are arranged at one location. be able to.
  • the strain amount measured by the sensor unit 32 is a representative value (for example, average value, maximum value, minimum value, median value, etc.) of the strain amounts measured by the plurality of strain gauges 38 .
  • a set of strain amounts measured by a plurality of strain gauges 38 may be used as the strain amount measured by the sensor section 32 .
  • FIG. 5 is a diagram showing an example of a release sheet 3D that constitutes the sensor 3.
  • FIG. Terms of use 61 and a QR code (registered trademark) 62 are printed in advance on the lower surface of the release sheet 3D (that is, the surface that the user 2 can visually recognize without peeling off the release sheet 3D).
  • the terms of use 61 indicate the terms of use for the user 2 to use the sensor 3.
  • the terms of use 61 particularly indicate that attachment of the sensor 3 is a condition for permission to provide strain amounts to others other than the user 2 .
  • the terms of use 61 indicate that the measurement of biometric information (strain amount) is to be started at the time the sticker (sensor 3) is attached, and that the biometric information is to be used for emotion analysis.
  • the terms of use 61 may indicate that the biological information and the analyzed emotional information belong to our company (here, Kxx Co., Ltd. using the server 4) and are used for secondary purposes.
  • the terms of use 61 include, for example, terminating the measurement of biological information when the sticker is peeled off from the body surface, setting the interruption of measurement with the application, and preventing incorrect use of the sticker. It states that you are exempt from responsibility, that you consent to all the matters described at the time the sticker is attached, and so on.
  • the QR code 62 contains information in which the sensor ID of the sensor 3 is encoded.
  • the smartphone 5 can obtain the sensor ID of the sensor 3 by the user 2 using the camera of the smartphone 5 to read the QR code 62 .
  • the server 4 includes a communication section 41, a processing section 42, a storage section 43, and a timer section 44.
  • the server 4 can be realized by a computer equipped with a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), HDD (Hard Disk Drive), communication interface, and the like.
  • the processing unit 42 is functionally realized by developing a computer program stored in a non-volatile memory such as a ROM or HDD into a RAM and executing it on the CPU.
  • the communication unit 41 receives set data of strain amount, sensor ID, and position information from the smartphone 5 via the network 6 .
  • the clock unit 44 is a clock or timer that measures time.
  • the storage unit 43 includes, for each user 2, a user ID (user identifier) for identifying the user 2, personal information such as the gender and date of birth of the user 2, and the sensor ID of the sensor 3 used by the user 2. It is assumed that user information is stored.
  • the processing unit 42 stores the grouped data received by the communication unit 41 in the storage unit 43, including the time measured by the clock unit 44.
  • the time measured by the time measuring unit 44 is presumed to be the strain amount measurement time.
  • the processing unit 42 reads out the group data and the user information from the storage unit 43 .
  • the processing unit 42 identifies the user 2 who uses the grouped data based on the read grouped data and the user information. That is, the processing unit 42 identifies the sensor IDs included in the set data, and identifies the user IDs corresponding to the identified sensor IDs based on the user information.
  • the processing unit 42 analyzes the emotion for each user ID (for each user 2) based on the strain amount included in the group data corresponding to the user ID.
  • the emotion to be analyzed is, for example, user 2's joy.
  • the processing unit 42 uses a learning model that has learned in advance the relationship between the time-series strain amount and the joy level that quantifies the degree of joy, and inputs the measurement time and the strain amount into the learning model. to decide.
  • the learning model is, for example, a multilayer neural network, and the parameters of the neural network are machine-learned by deep learning using a learning set in which the measurement time and strain amount are input and the degree of pleasure is output.
  • the learning model is not limited to neural networks, for example, linear regression model, logistic regression model, support vector machine, random forest, Ada Boost, Naive Bayes, k-nearest neighbor method, etc. Other discriminators may be used. can be done.
  • the processing unit 42 may further create display data for displaying the analysis result of the degree of pleasure for each user 2 on the screen of the display device.
  • the display data may, for example, show the distribution of the joy levels of a plurality of users 2 in a table format or a graph format, or may show the joy levels in a map format in association with the positions of the users 2. good.
  • the processing unit 42 may analyze the emotions of the user 2 for each piece of personal information. For example, the processing unit 42 may analyze the emotions of the user 2 by gender, or may analyze the emotions of the user 2 by age.
  • position information is included in the grouped data received by the communication unit 41 . Therefore, the processing unit 42 may analyze the emotion of the user 2 for each position or area.
  • FIG. 6 is a block diagram showing an example of the configuration of the smartphone 5 according to the embodiment.
  • the smartphone 5 includes a communication unit 51, a storage unit 52, a touch panel 53, a camera 54, a position detection unit 55, and a processing unit 56, which are interconnected via an internal bus 57.
  • the communication unit 51 has a communication interface that performs compact and power-saving wireless communication.
  • the wireless communication unit 34 receives group data broadcast from the sensor 3, for example, according to the BLE communication standard as described above.
  • the communication unit 51 may perform data communication according to a communication standard such as Wi-SUN or ZigBee (registered trademark).
  • the communication unit 51 is connected to the network 6 via the wireless base station 7 by communication according to wireless communication standards such as 5G or Wi-Fi (registered trademark).
  • wireless communication standards such as 5G or Wi-Fi (registered trademark).
  • the storage unit 52 stores the sensor ID of the sensor 3 attached to the user 2 who owns the smartphone 5. Note that there are also users 2 who do not possess smartphones 5 . Therefore, the storage unit 52 may store the sensor ID of the sensor 3 that is attached to the user 2 other than the user 2 who owns the smartphone 5 . As a result, for example, the storage unit 52 stores the sensor ID of the sensor 3 attached to each of the user 2 who owns the smartphone 5 and another user 2 who accompanies the user 2 .
  • the storage unit 52 is composed of, for example, a non-volatile memory or a volatile memory.
  • the touch panel 53 has functions as a display device (display panel) that displays various information to the user 2 and as an input device (touch sensor) that accepts input of various information from the user 2 .
  • the camera 54 is used to read the QR code 62 printed on the release sheet 3D of the sensor 3 shown in FIG.
  • the position detection unit 55 detects the position of the smartphone 5 using satellite navigation.
  • the position detection unit 55 detects the position of the smartphone 5 based on radio waves received from multiple GPS (Global Positioning System) satellites.
  • the position of the smartphone 5 can be specified by latitude and longitude, for example.
  • Satellite navigation uses a satellite positioning system (GNSS: Global Navigation Satellite System) such as GPS, but is not limited to GPS.
  • GNSS Global Navigation Satellite System
  • the processing unit 56 is composed of a processor such as a CPU, for example.
  • the processing unit 56 includes a presenting unit 56A, a strain amount receiving unit 56B, an estimating unit 56C, and a providing unit as functional processing units realized by executing a computer program stored in advance in the storage unit 52. 56D and a registration unit 56E.
  • the presentation unit 56A causes the touch panel 53 to display the terms of use for using the sensor 3.
  • the terms of use displayed on the touch panel 53 include the same content as the terms of use 61 printed on the release sheet 3D of the sensor 3 shown in FIG. In other words, the terms of use displayed on the touch panel 53 indicate that attachment of the sensor 3 is a condition for permission to provide the strain amount to others other than the user 2 .
  • the strain amount receiving unit 56B receives set data of the strain amount and the sensor ID of the sensor 3 from the sensor 3 via the communication unit 51 .
  • the estimating unit 56C estimates the contact state of the sensor 3 with the body surface of the user 2 based on the amount of strain included in the set data received by the strain amount receiving unit 56B. That is, the estimation unit 56C estimates that the sensor 3 is in contact with the body surface of the user 2 or that the sensor 3 is not in contact with the body surface of the user 2 based on the amount of strain.
  • a contact state estimation method will be described later.
  • the providing unit 56D starts providing the strain amount to the server 4 based on the estimation result of the contact state by the processing unit 56. That is, the providing unit 56D starts providing group data including the strain amount to the server 4 when the estimating unit 56C estimates that the sensor 3 is in contact with the body surface of the user 2 .
  • the providing unit 56D adds the position information detected by the position detection unit 55 to the group data including the sensor ID stored in the storage unit 52, among the group data received by the strain amount receiving unit 56B. and provided to the server 4 via the communication unit 51 .
  • the providing unit 56D discards group data not including the sensor ID stored in the storage unit 52 among the group data received by the strain amount receiving unit 56B, and does not provide the group data to the server 4.
  • the provision unit 56D ends providing the strain amount to the server 4.
  • the registration unit 56E registers the sensor ID of the sensor 3 attached by the user 2. Specifically, the registration unit 56E causes the storage unit 52 to store the sensor ID acquired by reading the QR code 62 using the camera 54 . Further, the registration unit 56 ⁇ /b>E pairs the acquired sensor ID and the user ID of the user 2 and transmits the pair to the server 4 . The server 4 receives the set, associates the sensor ID and the user ID, and registers them in the user information.
  • the registration unit 56E executes registration processing for events in which the user 2 participates.
  • FIG. 7 is a sequence diagram showing an example of user registration processing for registering the user information of the user 2 who uses the sensor 3 in the server 4.
  • User 2 operates touch panel 53 of smartphone 5 to request server 4 to download an application for emotion analysis system 1 (hereinafter referred to as "emotion analysis application").
  • emotion analysis application an application for emotion analysis system 1
  • the user 2 accesses the web page of the server 4 from which applications can be downloaded, and selects an emotion analysis application from the downloadable applications.
  • registration unit 56E transmits to server 4 a request signal requesting download of the emotion analysis application.
  • the processing unit 42 of the server 4 receives the request signal via the communication unit 41 (step S1).
  • the processing unit 42 of the server 4 reads the emotion analysis application from the storage unit 43, transmits the read emotion analysis application to the smartphone 5 via the communication unit 41, and the registration unit 56E receives the emotion analysis application (step S2). .
  • Registration unit 56E installs the emotion analysis application on smartphone 5 .
  • the server 4 is not the only server that provides the emotion analysis application, and a dedicated server other than the server 4 that provides the application may provide the emotion analysis application.
  • the processing unit 56 activates the emotion analysis application in response to the tap (step S3).
  • a user information registration screen is displayed (step S4).
  • FIG. 8 is a diagram showing an example of a user information registration screen.
  • the user information registration screen includes input fields for a user ID, password, gender, date of birth, name and address, an OK button 72 and a cancel button 73 .
  • the user 2 operates the touch panel 53 to input user information in each input field, and taps the OK button 72 (step S5).
  • the registration unit 56E transmits the input user information to the server 4 via the communication unit 51, and the processing unit 42 of the server 4 receives the user information from the smartphone 5 via the communication unit 41 (step S6).
  • the processing unit 42 stores the received user information in the storage unit 43 (step S7).
  • User 2 can also cancel the user information registration process by tapping the cancel button 73 . Also, the user 2 can register user information of a plurality of users 2 . For example, User 2 registers user information of other User 2 who accompanies User 2 .
  • FIG. 9 is a diagram showing an example of user information registered in the server 4.
  • User information 80 includes a user ID, password, gender, date of birth, name and address.
  • user 2 with a user ID of "U001” has a password of "P0123", a gender of "male,” a date of birth of "October 1, 2000,” a name of "Taro Sumitomo,” and an address of "Minato, Tokyo.”
  • Section XXX Section XXX.
  • User 2 with a user ID of "U002” has a password of "APX3", a gender of "female,” a date of birth of "June 7, 2003,” a name of "Hanako Sumitomo,” and an address of "Minato, Tokyo.” Section XXX”.
  • the user 2 with the user ID "U002” is the companion of the user 2 with the user ID "U001”.
  • FIG. 10 is a sequence diagram showing an example of event registration processing.
  • the processing unit 56 activates the emotion analysis application in response to the tap (step S11).
  • the processing unit 56 transmits the inputted user ID and password to the server 4, and the processing unit 42 of the server 4 sends the smartphone 5 receives the user ID and password sent from (step S12).
  • the processing unit 42 executes authentication processing to determine whether the received user ID and password are registered in the user information 80 (step S13).
  • the processing unit 42 transmits authenticated information indicating that the user has been authenticated to the transmission source smartphone 5, and the processing unit 56 of the smartphone 5 receives the information (step S14 ).
  • the registration unit 56E After authentication, when the user 2 selects an event information screen display menu on the application (step S15), the registration unit 56E transmits an event information request signal to the server 4, and the processing unit 42 responds to the request signal.
  • the event information for which participation is solicited is read from the storage unit 43 and transmitted to the smartphone 5 .
  • the registration unit 56E receives the event information (step S17).
  • the registration unit 56E causes the touch panel 53 to display the event information screen based on the received event information (step S18).
  • FIG. 11 is a diagram showing an example of the event information screen.
  • the event information screen 90 displays two pieces of event information of events in which the user 2 can participate.
  • the number of events is not limited to two.
  • Each event information includes the event name, cost, location, date and time.
  • the name of the first event is "Comedy Live”
  • the cost is "5,000 yen for adults, 3,000 yen for junior high school students and younger”
  • the location is "ZZZ City Civic Hall”
  • the date and time is "December 1, 2021.” Doors open at 18:00, performance starts at 18:30.”
  • the event name of the second event is "Rock Concert”
  • the cost is "8,000 yen for adults, 5,000 yen for junior high school students and younger”
  • the venue is "XYZ Concert Hall”
  • the date and time is "December 2, 2021 18 : 30 doors open, 19:00 start”.
  • Each event information is provided with an input field for the number of participants, and User 2 inputs the number of participants in the event he wishes to participate in, and taps the OK button 92 to register the participation event (step S19).
  • User 2 inputs the number of participants in the event he wishes to participate in, and taps the OK button 92 to register the participation event (step S19).
  • user 2 has entered “two adults” in the number of participants field for the event name “rock concert” and tapped the OK button 92 .
  • the registration unit 56E transmits, to the server 4, participation event information including identification information (for example, event name) of the event that the user 2 wishes to participate in and the number of participants, and the processing unit 42 receives the participation event information (step S20).
  • participation event information including identification information (for example, event name) of the event that the user 2 wishes to participate in and the number of participants
  • the processing unit 42 executes registration processing for the event that the user 2 wishes to participate in based on the participation event information (step S21). For example, information indicating that two adults of user 2 will participate in a “rock concert” is registered in storage unit 43 .
  • the processing unit 42 transmits to the smartphone 5 sticker information indicating the pattern of the sensor 3 that can be distributed to the user 2 who is planning to participate, and the registration unit 56E of the smartphone 5 The sticker information is received via the communication unit 51 (step S22).
  • the registration unit 56E displays a sticker information screen on the touch panel 53 based on the received sticker information (step S23).
  • FIG. 12 is a diagram showing an example of the sticker information screen.
  • the sticker information screen 100 On the sticker information screen 100, three patterns of stickers 102A to 102C are displayed as patterns of the sensor 3 that can be distributed to the user 2.
  • FIG. Quantity input fields 103A to 103C for the stickers 102A to 102C are also displayed.
  • User 2 places an order for stickers by inputting the desired number of sensors 3 in number entry fields 103A to 103C and tapping OK button 104 (step S24). For example, if the user 2 wishes to have one sensor 3 for each of the sticker 102A and the sticker 102B, the user 2 enters "1" in each of the number entry fields 103A and 103B and taps the OK button 104.
  • the registration unit 56E transmits information on the ordered sticker to the server 4, and the processing unit 42 of the server 4 receives the information via the communication unit 41 (step S25). For example, the identification information of the stickers 102B and 102C and the number of orders (one each) are sent to the server 4 .
  • the processing unit 42 executes the sticker ordering process (step S26). For example, the processing unit 42 transmits information such as the name and address of the user 2, the design and number of the sensor 3 to be shipped, and the identification information of the event for which the user 2 has registered to participate, to the email address of the person in charge of sending the sensor 3. .
  • the person in charge of sending sends the sensor 3 so that it reaches the user 2 before the date of the event.
  • the person in charge of shipping sends the sensor 3 so that it reaches the event site before the date of the event.
  • the processing unit 42 transmits the terms of use information of the sensor 3 to the smartphone 5, and the presentation unit 56A of the smartphone 5 receives the terms of use information via the communication unit 51 (step S27).
  • the presentation unit 56A displays the terms of use information screen on the touch panel 53 based on the received terms of use information (step S28).
  • FIG. 13 is a diagram showing an example of the terms of use information screen.
  • the terms of use information screen 110 displays a terms of use 111 for the user 2 to use the sensor 3 and an OK button 112 for confirming that the user 2 has agreed to the terms of use 111 .
  • the terms of use 111 include the same content as the terms of use 61 printed on the release sheet 3D of the sensor 3 shown in FIG.
  • linking processing After receiving the sensor 3 , the user 2 executes linking processing for linking the sensor ID of the sensor 3 and the user ID of the user 2 who uses the sensor 3 .
  • FIG. 14 is a sequence diagram showing an example of linking processing.
  • the processing unit 56 activates the emotion analysis application in response to the tap (step S31).
  • the processing unit 56 transmits the inputted user ID and password to the server 4, and the processing unit 42 of the server 4 sends the smartphone 5
  • the user ID and password transmitted from are received via the communication unit 41 (step S32).
  • the processing unit 42 executes authentication processing to determine whether the received user ID and password are registered in the user information 80 (step S33).
  • the processing unit 42 transmits authenticated information indicating the authentication to the smartphone 5 as the transmission source, and the processing unit 56 of the smartphone 5 receives the information via the communication unit 51. is received (step S34).
  • the registration unit 56E After authentication, when the user 2 selects the linking process menu on the application, the registration unit 56E causes the touch panel 53 to display a QR code reading screen for reading the QR code 62 printed on the sensor 3 (step S35).
  • FIG. 15 is a diagram showing an example of a QR code (registered trademark) reading screen.
  • An explanation 121 and an icon 122 for reading the QR code 62 are displayed on the QR code reading screen 120 .
  • registration unit 56E activates camera 54 .
  • the registration unit 56E decodes the photographed QR code 62 and acquires the sensor ID of the sensor 3. (step S36).
  • the processing unit 56 After obtaining the sensor ID, the processing unit 56 causes the touch panel 53 to display a user ID input screen for inputting a user ID to be linked to the sensor ID (step S37).
  • FIG. 16 is a diagram showing an example of a user ID input screen.
  • the user ID input screen 130 includes a user ID input field 131 associated with the sensor ID acquired by the registration unit 56E, and an OK button 132 for confirming the input of the user ID.
  • the registration unit 56E sets the acquired sensor ID and the entered user ID and transmits them to the server 4.
  • the processing unit 42 of the server 4 receives the set of sensor ID and user ID via the communication unit 41 (step S39).
  • the processing unit 42 additionally registers the sensor ID in the user information 80 based on the received set (step S41).
  • FIG. 17 is a diagram showing an example of user information in which a sensor ID is additionally registered.
  • a sensor ID column is added to the user information 80 .
  • the processing unit 42 when receiving S123 and U001 as a set of the sensor ID and the user ID, the processing unit 42 additionally registers the sensor ID “S123” in association with the user ID “U001” of the user information 80 .
  • the registration unit 56E stores at least the sensor ID in the storage unit 52, thereby registering it in the smartphone 5 (step S40).
  • the sensor ID “S123” is registered in the smart phone 5 .
  • step S35 By repeatedly executing the processes after step S35, it is possible to associate and register a plurality of sensor IDs and a plurality of user IDs.
  • the sensor ID “S124” is also additionally registered in association with the user ID “U002” of the user information 80 .
  • a sensor ID “S124” is also registered in the smartphone 5 .
  • FIG. 18 is a sequence diagram showing an example of strain amount measurement processing.
  • the power supply unit 31 of the sensor 3 starts to supply power to each processing unit. measures the strain amount of the strain gauge 38 (step S41).
  • the wireless communication unit 34 of the sensor 3 transmits the set data including the measured strain amount and the sensor ID of the sensor 3 stored in the storage unit 39 to the smartphone 5, and the strain amount receiving unit 56B of the smartphone 5 The set data is received (step S42).
  • the strain amount receiving unit 56B determines whether or not the sensor ID included in the received paired data has been registered in the storage unit 52, and here it is confirmed that it has been registered (step S43).
  • the strain amount receiving unit 56B stores the grouped data including the registered sensor ID in the storage unit 52 in association with the reception time of the grouped data (step S44).
  • the estimation unit 56C Based on the set data and the reception time stored in the storage unit 52, the estimation unit 56C, for each sensor ID, from the strain amount and the reception time associated with the sensor ID to the body surface of the user 2 of the sensor 3 Estimate the contact state of Here, it is assumed that the contact condition indicating that the sensor 3 is in contact with the body surface is satisfied (step S45).
  • FIG. 19 is a diagram showing an example of temporal changes in strain amount.
  • the horizontal axis indicates time (seconds), and the vertical axis indicates the amount of strain ( ⁇ ).
  • the estimating unit 56C starts from the time when the strain amount becomes equal to or greater than a predetermined threshold TH1 (measurement time t1), and the time when the strain amount equals or exceeds the threshold TH1 exceeds the predetermined time T1 (measurement time t2 ), it is determined that the above contact conditions are satisfied.
  • the estimating unit 56C may determine that the contact condition is satisfied when the strain amount becomes equal to or greater than a predetermined threshold TH1 (measurement time t1).
  • the providing unit 56D adds the position information detected by the position detecting unit 55 to the set data of the sensor ID and strain amount received in step S42, and transmits the combined data to the server 4.
  • the processing unit 42 of the server 4 receives the grouped data to which the position information is added via the communication unit 41 (step S46).
  • the processing unit 42 adds the current time clocked by the clock unit 44 to the received paired data and saves it in the storage unit 43 (step S47). That is, in the storage unit 43, set data including the sensor ID, strain amount, position information, and time information are registered.
  • steps S48 to S52 are executed. That is, similar to steps S41 to S44, the set data including the strain amount measured by the sensor 3 is stored in the storage unit 52 of the smartphone 5 (steps S48 to S51).
  • the estimation unit 56C Based on the set data and the reception time stored in the storage unit 52, the estimation unit 56C, for each sensor ID, from the strain amount and the reception time associated with the sensor ID to the body surface of the user 2 of the sensor 3 Estimate the contact state of Here, it is assumed that the non-contact condition indicating that the sensor 3 is not in contact with the body surface is satisfied (step S52).
  • FIG. 20 is a diagram showing an example of temporal changes in the amount of strain.
  • the horizontal axis indicates time, and the vertical axis indicates strain amount.
  • the estimating unit 56C starts from the time when the strain amount becomes less than the predetermined threshold TH2 (measurement time t3), and the time when the strain amount is less than the threshold TH2 exceeds the predetermined time T2 (measurement time t4 ) to satisfy the non-contact condition.
  • the estimation unit 56C may determine that the non-contact condition is satisfied when the strain amount becomes less than the predetermined threshold TH2 (measurement time t3).
  • the threshold TH2 may be the same as or different from the threshold TH1.
  • the predetermined time T2 may be the same as or different from the predetermined time T1.
  • the providing unit 56D does not transmit the set data of the sensor ID and strain amount received in step S49 to the server 4.
  • the smartphone 5 receives the set data of the sensor ID and the strain amount measured by the sensor 3 from the sensor 3 (steps S53 to S54).
  • the strain amount receiving unit 56B determines whether or not the sensor ID included in the received paired data has been registered in the storage unit 52, and here it is confirmed that it has not been registered (step S55).
  • the strain amount receiving unit 56B discards the group data containing the unregistered sensor ID (step S56). Accordingly, the providing unit 56D does not transmit group data including unregistered sensor IDs to the server 4 .
  • the server 4 can collect strain amounts and analyze the emotions of the user 2 without giving the user 2 a feeling of discomfort or resistance.
  • the estimating unit 56C estimates that the sensor 3 is in contact with the body surface when the strain amount is equal to or greater than the threshold TH1
  • the providing unit 56D estimates that the strain amount server 4 can start providing to Thereby, it can be estimated that the sensor 3 is in contact with the body surface, and it is possible to prevent the strain amount from being provided to the server 4 before the sensor 3 contacts. Therefore, the server 4 can accurately analyze emotions.
  • the estimating unit 56C can estimate that the sensor 3 is in contact with the body surface when the state in which the strain amount is equal to or greater than the threshold TH1 continues for the predetermined time T1.
  • the estimation unit 56C estimates that the sensor 3 is not in contact with the body surface when the strain amount is less than the threshold TH2, and the provision unit 56D determines that the sensor 3 is not in contact with the body surface.
  • the provision of the strain amount to the server 4 can be terminated. As a result, it can be estimated that the sensor 3 is not in contact with the body surface, and the strain amount is prevented from being provided to the server 4 even though the sensor 3 is not in contact with the body surface. can be done. Therefore, the server 4 can accurately analyze emotions.
  • the sensor 3 is in contact with the body surface, if the user becomes expressionless temporarily, the physical quantity may temporarily decrease, but the body surface will vibrate finely. ing. For this reason, a certain amount of distortion occurs even when the expression is neutral, and the state in which the amount of distortion is small does not last. Therefore, for example, it can be estimated that the sensor 3 is not in contact with the body surface when the state in which the strain amount is less than the threshold TH2 continues for a predetermined time T2.
  • the registration unit 56E of the smartphone 5 registers the sensor ID of the sensor 3 used by the user 2 or his companion.
  • the strain amount receiving unit 56B receives set data of strain amounts and sensor IDs from the plurality of sensors 3 .
  • the providing unit 56D provides the server 4 with grouped data including the sensor ID registered by the registering unit 56E, among the grouped data received by the strain amount receiving unit 56B. Therefore, the strain amounts of the user 2 and the companion can be efficiently provided to the server 4 .
  • the providing unit 56D does not provide the server 4 with grouped data including sensor IDs not registered in the smartphone 5, among the grouped data received by the strain amount receiving unit 56B.
  • the smartphone 5 with which the sensor ID is registered is uniquely set, the paired data of the sensor ID and strain amount is provided to the server 4 only from one smartphone 5 . Therefore, it is possible to prevent duplicate strain amounts from being provided to the server 4 .
  • User information 80 including a user ID and a sensor ID is also registered in the server 4 . Therefore, the server 4 can identify the user 2 from the set data of the strain amount and the sensor ID provided from the smartphone 5 and can analyze the emotion of each user 2 . Note that the user ID is not included in the set data provided from the smartphone 5 to the server 4 . Therefore, even if a third party intercepts the paired data, the third party cannot identify the user 2 who measured the strain amount. Therefore, user 2's privacy is protected.
  • the provision unit 56D of the smartphone 5 transmits the set data including the measurement position information of the strain amount to the server 4. Therefore, the server 4 can analyze emotions for each measurement position.
  • FIG. 21 is a block diagram showing an example of the configuration of the smartphone 5 according to the modification.
  • the configuration of the smartphone 5 is the same as the configuration of the smartphone 5 according to the embodiment shown in FIG.
  • the processing unit 56 further includes a setting unit 56F as a functional processing unit realized by executing a computer program stored in the storage unit 52 in advance.
  • the setting unit 56F sets whether or not the user 2 allows the providing unit 56D to provide the strain amount to the server 4 for each sensor ID. For example, it is assumed that a button for setting permission or non-permission to provide strain amounts for each sensor ID is provided in the menu of the emotion analysis application. The user 2 taps the button to set permission or disapproval of the provision of the amount of strain, and the setting unit 56F notifies the provision unit 56D of the set result of permission or disapproval.
  • the providing unit 56D includes the strain amount for the server 4 even when the sensor 3 is in contact with the body surface of the user 2 when the disapproval of the strain amount provision is set by the user 2. Discontinue provision of grouped data.
  • the provision unit 56D sends a group including the strain amount to the server 4. Resume providing data.
  • the strain amount measured by the sensor 3 is transmitted to the server 4 via the smartphone 5 in the above-described embodiment, it may be transmitted to the server 4 without via the smartphone 5 .
  • an access point is provided for each area of the venue, the sensor 3 communicates with the access point, and transmits set data of the strain amount and the sensor ID to the access point.
  • the access point transmits the grouped data received from the sensor 3 to the server 4 via the network 6 .
  • User information 80 including sensor IDs and user IDs is registered in the server 4 . Therefore, the server 4 can analyze each user's emotion based on the set data including the sensor ID registered in the user information 80 . On the other hand, if the sensor ID included in the received grouped data is not registered in the user information 80, the grouped data cannot be associated with the user ID. Therefore, the server 4 may discard the grouped data, or may analyze the emotion of each sensor 3 based on the grouped data, although the user cannot be specified.
  • the server 4 can know the access points through which the grouped data passes, it can analyze the emotions of the user 2 for each access point (that is, for each area where the access point is installed).
  • the smartphone 5 does not transmit the time information to the server 4, but when the grouped data received from the sensor 3 is collectively transmitted to the server 4, the grouped data is received together with the grouped data. The time may be transmitted to the server 4.
  • a part or all of the components constituting each of the above devices may be composed of one or more semiconductor devices such as system LSIs.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip. Specifically, it is a computer system that includes a microprocessor, ROM, RAM, etc. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • the computer program described above may be recorded on a non-temporary computer-readable recording medium, such as an HDD, CD-ROM, semiconductor memory, etc., and distributed. Also, the computer program may be transmitted and distributed via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • a non-temporary computer-readable recording medium such as an HDD, CD-ROM, semiconductor memory, etc.
  • the computer program may be transmitted and distributed via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the server 4 may be realized by a plurality of processors or a plurality of computers.
  • part or all of the functions of the server 4 may be provided by cloud computing. That is, part or all of the functions of the server 4 may be realized by the cloud server.
  • the sensor unit 32 may be a myoelectric sensor.
  • a myoelectric sensor is a sensor that measures a weak electric field change (potential difference) generated in a muscle.
  • the myoelectric sensor outputs a current corresponding to the potential difference.
  • the current value output from the myoelectric sensor is an example of a physical quantity that indicates the degree of change in the shape of the surface (the face of the user 2) with which the adhesive surface of the sensor section 32 contacts.
  • 1 Emotion analysis system (providing system), 2 User, 3 Sensor, 3A Adhesive layer, 3B Circuit layer, 3C Print layer, 3D Release sheet, 4 Server, 5 Smartphone, 6 Network, 7 Wireless base station, 31 Power supply unit, 32 sensor unit, 34 wireless communication unit, 38 strain gauge, 39 storage unit, 41 communication unit, 42 processing unit, 43 storage unit, 44 timing unit, 51 communication unit, 52 storage unit, 53 touch panel, 54 camera, 55 position detection unit , 56 processing unit, 56A presentation unit, 56B strain amount reception unit (physical quantity reception unit), 56C estimation unit, 56D provision unit, 56E registration unit, 56F setting unit, 57 internal bus, 61 Terms of use, 62 QR code, 72 OK button, 73 Cancel button, 80 User information, 90 Event information screen, 92 OK button, 93 Cancel button, 100 Sticker information screen, 102A Sticker, 102B Sticker, 102C Sticker, 103A Number input field, 103B Number input field, 103C Number input Column, 104 OK button, 105 Cancel

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供システムは、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部と、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部と、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部と、を備える。

Description

提供システム、提供方法、及びコンピュータプログラム
 本開示は、提供システム、提供方法、及びコンピュータプログラムに関する。
 従来、コンサートなどのライブ会場において、イベント参加者の表情をカメラで撮影した映像から、イベント参加者の感情の推移を解析するシステムが開発されている(例えば、非特許文献1参照)。
 また、ユーザが装着するウェアラブル端末などを用いて、ユーザの感情を解析する情報処理システムが提案されている(例えば、特許文献1参照)。
国際公開第2017/064891号
"エイベックス×MSが観客の感情を捉える--エンタメ業界でAIを活用するという挑戦"、[online]、cnet Japan(朝日インタラクティブ株式会社)、[2021年8月30日検索]、インターネット<URL:https://japan.cnet.com/article/35116085/> "薄型フレキシブル電池(Air Patch Battery)(開発中)"、[online]、マクセルホールディングス株式会社、[2021年8月30日検索]、インターネット<URL:https://biz.maxell.com/ja/primary_batteries/air_patch_battery.html> "次世代RFIDバッテリーフリーBluetooth(登録商標)タグ wiliot"、[online]、サトーホールディングス株式会社、[2021年9月22日検索]、インターネット<URL:https://www.sato.co.jp/taggingtown/wiliot.html>
 本開示の一実施態様に係る提供システムは、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部と、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部と、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部と、を備える。
 本開示の他の実施態様に係る提供方法は、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示するステップと、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定するステップと、前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始するステップと、を含む。
 本開示の他の実施態様に係るコンピュータプログラムは、コンピュータを、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提部、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部、及び、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部として機能させる。
図1は、実施形態に係る感情解析システムの全体構成の一例を示す図である。 図2は、実施形態に係る感情解析システムを構成するセンサ及びサーバのそれぞれの構成の一例を示すブロック図である。 図3は、センサの構成の一例を示す図である。 図4は、回路層へのひずみゲージの配置位置の一例を示す図である。 図5は、センサを構成する剥離シートの一例を示す図である。 図6は、実施形態に係るスマートフォンの構成の一例を示すブロック図である。 図7は、センサを利用するユーザのユーザ情報をサーバに登録するユーザ登録処理の一例を示すシーケンス図である。 図8は、ユーザ情報登録画面の一例を示す図である。 図9は、サーバに登録されたユーザ情報の一例を示す図である。 図10は、イベント登録処理の一例を示すシーケンス図である。 図11は、イベント情報画面の一例を示す図である。 図12は、シール情報画面の一例を示す図である。 図13は、利用規約情報画面の一例を示す図である。 図14は、紐づけ処理の一例を示すシーケンス図である。 図15は、QRコード(登録商標)読み取り画面の一例を示す図である。 図16は、ユーザID入力画面の一例を示す図である。 図17は、センサIDを追加登録したユーザ情報の一例を示す図である。 図18は、ひずみ量計測処理の一例を示すシーケンス図である。 図19は、ひずみ量の時間的変化の一例を示す図である。 図20は、ひずみ量の時間的変化の一例を示す図である。 図21は、変形例に係るスマートフォンの構成の一例を示すブロック図である。
 [本開示が解決しようとする課題]
 非特許文献1に記載のシステムによると、ユーザの感情や動態に関連する映像等のデータの取得及び解析が、ユーザの許諾なしになされる場合がある。このため、ユーザによっては不快に感じる場合がある。このため、ユーザによっては、自身の感情を読み取られるという拒否感又は恐怖感などの抵抗感を引き起こす可能性がある。
 また、特許文献1に記載のシステムによると、ユーザは、スマートウォッチ、スマートバンド、スマートアイグラスなどのウェアラブル端末を装着しなければならない。このようなウェアラブル端末を装着することは、ユーザにとって違和感があり、自身の感情を読み取られるという拒否感又は恐怖感などの抵抗感を引き起こす可能性がある。
 本開示は、このような事情に鑑みてなされたものであり、ユーザに違和感及び抵抗感を与えることなく感情を解析するための提供システム、提供方法、及びコンピュータプログラムを提供することを目的とする。
 [本開示の効果]
 本開示によれば、ユーザに違和感及び抵抗感を与えることなく感情を解析することができる。
 [本開示の実施形態の説明]
 最初に本開示の実施形態の概要を列記して説明する。
 (1)本開示の一実施形態に係る提供システムは、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部と、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部と、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部と、を備える。
 この構成によると、例えば、センサをユーザの体表面に接触させることによりユーザを計測対象とした物理量が他者へ提供されることを了承した上で、ユーザはセンサを顔等の体表面に接触させることができる。このため、ユーザが知らないうちにユーザの物理量が他者に提供されることを防止することができる。また、ユーザは顔にシールを貼る感覚でセンサを体表面に接触させることができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザは、顔にシールを貼ることへの抵抗感が少ない。よって、他者は、ユーザに違和感及び抵抗感を与えることなく物理量を収集し、ユーザの感情を解析することができる。
 (2)前記推定部は、前記物理量と第1閾値との比較結果に基づいて、前記センサが前記体表面に接触していることを推定し、前記提供部は、前記推定部により前記センサが前記体表面へ接触したと推定された場合に、前記物理量の前記他者への提供を開始してもよい。
 センサがユーザの体表面に接触していない場合には接触面の変化は小さく物理量も小さいが、例えばセンサがユーザの顔面に貼られた場合には表情筋等の動きに伴い物理量が大きくなる。このため、例えば、物理量が第1閾値以上の場合にセンサが体表面に接触していると推定し、物理量の他者への提供を開始することができる。これにより、センサが体表面に接触していることを推定することができ、センサの接触前に物理量が他者へ提供されることを防止することができる。よって、他者は感情を正確に解析することができる。
 (3)前記推定部は、前記物理量と前記第1閾値との比較結果の持続時間に基づいて、前記センサが前記体表面に接触していることを推定してもよい。
 体表面への接触前にシールが外的圧力等により一時的に変形した場合には物理量が一時的に大きくなるが、物理量が大きい状態は持続しない。このため、例えば、物理量が第1閾値以上の状態が所定時間持続した場合にセンサが体表面に接触していると推定することができる。
 (4)前記推定部は、前記物理量と第2閾値との比較結果に基づいて、前記センサが前記体表面に接触していないことを推定し、前記提供部は、前記推定部により前記センサが前記体表面に接触していないと推定された場合に、前記物理量の前記他者への提供を終了してもよい。
 センサが体表面に接触していない場合には接触面の変化は小さく物理量も小さい。このため、例えば、物理量が第2閾値未満となった場合にセンサが体表面に接触していないと推定し、物理量の他者への提供を終了することができる。これにより、センサが体表面に接触していないことを推定することができ、センサが接触していないにもかかわらずに物理量が他者へ提供されることを防止することができる。よって、他者は感情を正確に解析することができる。
 (5)前記推定部は、前記物理量と前記第2閾値との比較結果の持続時間に基づいて、前記センサが前記体表面から接触していないことを推定してもよい。
 センサが体表面に接触している状態であってもユーザが一時的に無表情になる等した場合には物理量が一時的に小さくなる場合があるが、体表面は微細に振動している。このため、無表情であっても一定の変化は発生しており、物理量が小さい状態は持続しない。よって、例えば、物理量が第2閾値未満の状態が所定時間持続した場合にセンサが体表面に接触していないと推定することができる。
 (6)前記提供システムは、前記センサを識別するセンサ識別子を登録する登録部と、前記センサから、前記物理量と当該センサの前記センサ識別子との組を受信する物理量受信部とをさらに備え、前記提供部は、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含む組を前記他者に提供してもよい。
 この構成によると、提供システムに登録されたセンサ識別子と当該センサ識別子のセンサが計測した物理量との組を他者に提供することができる。このため、提供システムは、複数のセンサから受信した物理量及びセンサ識別子の組の中から、登録したセンサ識別子を含む組を選別して他者に提供することができる。例えば、ユーザが利用するセンサのセンサ識別子を事前に登録しておくことにより、ユーザの物理量を効率的に他者に提供することができる。
 (7)前記提供部は、さらに、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含まない前記組を前記他者が利用する装置に送信しなくてもよい。
 この構成によると、物理量受信部が受信した組のうち、提供システムに登録されていないセンサ識別子を含む組は他者に提供されない。例えば、センサ識別子を登録する提供システムを一意に設定しておけば、当該センサ識別子及び物理量の組は1つの提供システムからしか他者に提供されることはない。このため、重複した物理量が他者に提供されることを防止することができる。
 (8)前記登録部は、さらに、前記ユーザを識別するユーザ識別子と前記センサ識別子とを前記他者が利用する装置に提供してもよい。
 この構成によると、他者が利用する装置は、提供システムから提供された物理量及びセンサ識別子の組からユーザを特定することができ、ユーザごとに感情を解析することができる。なお、提供システムから他者に提供される組にはユーザ識別子は含まれない。このため、第三者が当該組を傍受したとしても、第三者は物理量を計測したユーザを特定することができない。よって、ユーザのプライバシーが保護される。
 (9)前記提供部は、さらに、前記物理量の計測位置情報を前記他者が利用する装置に提供してもよい。
 この構成によると、物理量の計測位置情報の提供を受けた他者は、計測位置ごとに感情を解析することができる。
 (10)前記提供システムは、前記物理量の提供の前記ユーザによる許否を設定する設定部をさらに備え、前記提供部は、前記ユーザにより前記物理量の提供が許可されていない場合には、前記物理量の前記他者への提供を中止してもよい。
 この構成によると、ユーザがセンサを体表面に接触させた状態であっても設定により物理量の提供を停止させることも可能である。これにより、ユーザは、ユーザの意思で物理量の提供を一時的に中断することもできる。また、ユーザは、最初から物理量の提供を行わずに、センサをフェイスシール代わりに利用することもできる。
 (11)本開示の他の実施形態に係る提供方法は、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示するステップと、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定するステップと、前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始するステップと、を含む。
 この構成は、上述の提供システムが備える構成に対応するステップを含む。このため、上述の提供システムと同様の作用及び効果を奏することができる。
 (12)本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部、前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部、及び、前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部として機能させる。
 この構成によると、コンピュータを、上述の提供システムとして機能させることができる。このため、上述の提供システムと同様の作用及び効果を奏することができる。
 [本開示の実施形態の詳細]
 以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
 また、同一の構成要素には同一の符号を付す。それらの機能及び名称も同様であるため、それらの説明は適宜省略する。
 〔感情解析システムの全体構成〕
 図1は、実施形態に係る感情解析システムの全体構成の一例を示す図である。
 感情解析システム1は、センサ3と、サーバ4と、スマートフォン5とを備える。
 センサ3は、接着面を有し、かつシート状をなす。センサ3は、例えば、接着面によりユーザ2(人間)の顔に貼り付けられ、表情の変化に応じた顔の形状の変化の度合いを示す物理量を計測する。なお、センサ3の接着面は、センサ3の顔への接触面の一例である。つまり、センサ3は、センサ3を顔に接着させずとも固定具等を用いて顔に接触させることによっても物理量を計測することができる。また、センサ3を顔以外のユーザ2の体表面に貼り付けて利用するものであってもよい。また、センサ3の形状であるシート状には、表面に凹凸のない形状のみならず、ファッション性や機能性等の観点よりセンサ3の表面に多少の凹凸のある立体形状も含まれる。例えば、ファッション性の観点よりセンサ3の表面に凹凸のある装飾が施されていてもよいし、センサ3の表面が凹凸形状であってもよい。また、機能性の観点よりセンサ3の接触面に凹凸が施され、皮膚への接触を和らげる構成であってもよい。
 図1では、一人のユーザ2に貼り付けられたセンサ3のみを示しているが、複数のユーザ2の各々に、センサ3が貼り付けられるものとする。
 センサ3は、スマートフォン5との間で近距離の無線通信が可能である。例えば、センサ3は、スマートフォン5との間でBLE(Bluetooth(登録商標) Low Energy)通信を行う。センサ3は、BLEビーコンの機能を有し、例えば2.4GHz帯の電波を出力することにより、計測した物理量と、自身を他のセンサ3と識別するためのセンサID(センサ識別子)とをリアルタイムでブロードキャストする。なお、BLE通信は、アダプティブ周波数ホッピングを利用しているため、センサ3が送信する電波と他のセンサ3が送信する電波との干渉を減らすことができる。
 スマートフォン5は、ユーザ2が所持する端末装置であり、センサ3との間で近距離の無線通信が可能である。例えば、スマートフォン5は、センサ3との間でBLE通信を行い、センサ3から送信される物理量及びセンサIDを受信するレシーバーの機能を有する。
 また、スマートフォン5は、無線基地局7を介してインターネット等のネットワーク6に接続される。スマートフォン5と無線基地局7との間では、例えば、5G(第5世代移動通信システム)又はWi-Fi(登録商標)などの無線通信規格に準拠した無線通信が行われる。
 スマートフォン5は、センサ3から物理量及びセンサIDの組データの中から、あらかじめ登録されているセンサIDを含む組データを抽出し、抽出した組データにスマートフォン5の位置情報を加えた組データを、ネットワーク6を介してサーバ4にリアルタイムで送信する。ユーザ2がスマートフォン5を所持していることより、サーバ4は、スマートフォン5の位置をユーザ2の物理量の計測位置とみなすことができる。
 なお、ユーザ2は、スマートフォン5の代わりに、携帯電話、ノートパソコン等の無線通信可能な端末装置を利用することも可能である。
 サーバ4は、ユーザ2以外の他者が利用する装置である。他者とは、例えば、ユーザ2から収集したデータを用いてユーザ2の感情を解析する事業者である。サーバ4は、感情解析装置として機能し、ネットワーク6に有線又は無線で接続され、ネットワーク6を介して複数のスマートフォン5の各々から物理量、センサID及び位置情報を含む組データを受信する。センサ3及びスマートフォン5はリアルタイムで組データを送信することより、サーバ4は、組データを受信した時刻を物理量の計測時刻と推定することができる。
 サーバ4には、ユーザ2毎に、ユーザ2の性別、生年月日等の個人情報とユーザ2が利用するセンサ3のセンサIDとを含むユーザ情報が事前に登録されているものとする。このため、サーバ4は、受信した組データとユーザ情報とに基づいて、受信した組データを利用するユーザ2を特定することができ、ユーザ2ごとに、組データに含まれる物理量に基づいてユーザ2の感情を解析する。
 例えば、スポーツ観戦会場又はアトラクション会場などのイベント会場への入場時に、イベンターが参加者であるユーザ2にセンサ3を配布する。センサ3を受け取ったユーザ2は、自身の顔(例えば、頬の部分)にセンサ3を貼ることにより、センサ3を顔に接触させる。ユーザ2が抵抗なくセンサ3を貼れるように、センサ3の他者から視認可能な面には文字や画像(例えば、応援するチームのマーク)などが印刷されているのが望ましい。これにより、ユーザ2は、フェイスシールを貼る感覚でセンサ3を顔に貼ることができる。
 サーバ4は、スマートフォン5から受信した組データに含まれる位置情報に基づいて、位置又はエリアごとにユーザ2の感情を解析することができる。例えば、サーバ4は、アトラクション会場(例えば、テーマパーク)などのアトラクション(例えば、ジェットコースター、メリーゴーランド)毎にユーザの感情を分析する。これにより、サーバ4は、例えば、人気のあるアトラクションを分析することができる。
 〔センサ3及びサーバ4の構成〕
 図2は、実施形態に係る感情解析システム1を構成するセンサ3及びサーバ4のそれぞれの構成の一例を示すブロック図である。
 センサ3は、電源部31と、センサ部32と、無線通信部34と、記憶部39とを備える。
 電源部31は、センサ部32、無線通信部34及び記憶部39に、各処理部を駆動するための電力を供給する。電源部31は、例えば、シート型電池又はパッチ型電池である(例えば、非特許文献2参照)。図2では、電力の供給線を破線で示している。
 電源部31は、生体のエネルギーを利用して発電を行い、発電電力を供給してもよい。電源部31は、例えば、センサ3が貼り付けられるユーザ2の熱エネルギーを利用した温度差発電を行う。より詳細には、電源部31は、ユーザ2の皮膚に接触されるシート状のゼーベック素子(熱電素子)を備え、ゼーベック素子内部の温度差により起電力を生じるゼーベック効果を利用して発電を行う。
 また、電源部31は、生体の汗を利用して発電を行ってもよい。より詳細には、電源部31は、ユーザ2の皮膚に接触されるシート状のバイオ燃料電池を備え、バイオ燃料電池が、人間の汗に含まれている乳酸を酸化させる酵素により汗を電流に変換することで発電を行う。
 また、電源部31は、電磁波を利用して発電を行ってもよい。より詳細には、電源部31は、センサ3の周囲に存在する電磁波からエネルギーを回収し、自ら電気を生み出してもよい(例えば、非特許文献3参照)。
 なお、電源部31は、上記したものに限定されるものではない。
 記憶部39は、センサ3のセンサIDを記憶するための記憶装置である。
 センサ部32は、センサ部32の接着面が接触する面(ユーザ2の顔面)の形状の変化の度合いを示す物理量を計測する。センサ部32は、例えば、ひずみゲージを備える。ひずみゲージはユーザ2の顔の皮膚が動くことによりひずみゲージに加わった力を、電流(以下、「ひずみ量」という。)(物理量)として計測する。センサ部32は、ひずみゲージが計測したひずみ量を無線通信部34に出力する。
 無線通信部34は、小型かつ省電力の無線通信を行う通信インタフェースを備える。無線通信部34は、例えば、上述したようにBLEの通信規格に従ってデータ通信を行う。なお、無線通信部34は、例えば、Wi-SUN(Wireless Smart Utility Network)又はZigBee(登録商標)などの通信規格に従ってデータ通信を行ってもよい。無線通信部34は、センサ部32からひずみ量を受け、記憶部39からセンサIDを読み出し、ひずみ量にセンサIDを付加して、リアルタイムでブロードキャストする。
 無線通信部34は、センサ部32が計測したひずみ量と記憶部39に記憶されているセンサIDとの組データをサーバ4に送信する。
 図3は、センサ3の構成の一例を示す図である。図3では、センサ3を通常の使用方法で皮膚に貼り付ける場合に、皮膚に近い側を「下方」、皮膚から遠い側を「上方」とする。センサ3は、例えば、シート状の接着層3Aと、シート状の回路層3Bと、シート状の印刷層3Cとの3層により構成される。接着層3Aには、下方に皮膚への刺激が少ない肌用の粘着剤が塗布されている。また、粘着剤の下方には、剥離シート3Dが設けられている。ユーザ2は、剥離シート3Dを剥がした後に、接着層3Aの下方を肌に接触させることによりセンサ3を皮膚に貼り付ける。なお、ユーザ2は、センサ3を皮膚から剥がした後、貼りなおすことも可能である。
 接着層3Aの上方には、回路層3Bが配置されている。回路層3Bには、上述した電源部31、センサ部32、無線通信部34及び記憶部39を実現する回路が構成される。回路層3Bは、例えばフレキシブル基板上にIC(Integrated Circuit)チップを配置することにより構成される。なお、電源部31が温度差発電又は汗を利用した発電を行う場合には、ゼーベック素子又はバイオ燃料電池を皮膚に接触させることが望ましい。このため、ゼーベック素子又はバイオ燃料電池の下方には、接着層3Aは配置されておらず、ゼーベック素子又はバイオ燃料電池が皮膚に接触する構成とする。
 印刷層3Cは、回路層3Bの上方に配置され、印刷面を有する。印刷面は、印刷層3Cの上方に位置し、印刷面には、文字及び画像の少なくとも一方が印刷可能である。なお、ユーザ2が印刷面にペン等で文字又は画像を書き込むことができるように、印刷面の一部又は全部が白色等の無地であってもよいし、透明もしくは半透明であってもよい。
 図4は、回路層3Bへのひずみゲージ38の配置位置の一例を示す図である。ひずみゲージ38は、センサ部32の一部を構成する。回路層3Bには、例えば、四隅と中央部とにひずみゲージ38が配置されている。このように、複数の箇所にひずみゲージ38を配置することにより、ひずみゲージ38を1か所に配置する場合に比べて、センサ部32は、高精度に顔の形状の変化の度合いを計測することができる。この場合、センサ部32が計測したひずみ量は、複数のひずみゲージ38で計測されたひずみ量の代表値(例えば、平均値、最大値、最小値、中央値等)とする。ただし、複数のひずみゲージ38で計測されたひずみ量の組を、センサ部32が計測したひずみ量としてもよい。
 図5は、センサ3を構成する剥離シート3Dの一例を示す図である。剥離シート3Dの下方の面(つまり、ユーザ2が剥離シート3Dを剥がすことなく視認可能な面)には、利用規約61とQRコード(登録商標)62とがあらかじめ印刷されている。
 利用規約61には、ユーザ2がセンサ3を利用するにあたっての規約が示される。利用規約61には、特に、センサ3を貼ることが、ひずみ量をユーザ2以外の他者に提供することへの許諾の条件となることが示される。具体的には、利用規約61には、シール(センサ3)を貼った時点で生体情報(ひずみ量)の計測を開始することと、生体情報を感情解析に利用することが示される。また、利用規約61には、生体情報及び解析した感情情報が当社(ここでは、サーバ4を利用するKxx株式会社)に帰属し、二次利用されることが示されていてもよい。その他にも、利用規約61には、例えば、シールを体表面から剥がした時点で生体情報の計測を終了すること、計測の中断をアプリで設定可能であること、シールの誤った利用について当社は免責されること、シールを貼った時点で記載されているすべての事柄に許諾すること等が記載される。
 QRコード62は、センサ3のセンサIDを符号化した情報を含む。ユーザ2がスマートフォン5のカメラを利用してQRコード62を読み取ることにより、スマートフォン5は、センサ3のセンサIDを取得することができる。
 再び図2を参照して、サーバ4は、通信部41、処理部42、記憶部43及び計時部44を備える。
 サーバ4は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、通信インタフェース等を備えるコンピュータにより実現することができる。処理部42は、ROM又はHDD等の不揮発性メモリに記憶されたコンピュータプログラムをRAMに展開して、CPU上で実行することにより機能的に実現される。
 通信部41は、ネットワーク6を介して、スマートフォン5から、ひずみ量、センサID及び位置情報の組データを受信する。
 計時部44は、時刻を計時するクロック又はタイマである。
 記憶部43は、ユーザ2毎に、ユーザ2を識別するためのユーザID(ユーザ識別子)、ユーザ2の性別、生年月日等の個人情報とユーザ2が利用するセンサ3のセンサIDとを含むユーザ情報を記憶しているものとする。
 処理部42は、通信部41が受信した組データに、計時部44が計時した時刻を含めて記憶部43に記憶する。計時部44が計時した時刻は、ひずみ量の計測時刻と推定される。また、処理部42は、記憶部43から組データとユーザ情報とを読み出す。処理部42は、読み出した組データとユーザ情報とに基づいて、組データを利用するユーザ2を特定する。つまり、処理部42は、組データに含まれるセンサIDを特定し、特定したセンサIDに対応するユーザIDをユーザ情報に基づいて特定する。
 処理部42は、ユーザIDごと(ユーザ2ごと)に、当該ユーザIDに対応する組データに含まれるひずみ量に基づいて感情を解析する。解析の対象とする感情は、例えば、ユーザ2の喜びである。例えば、処理部42は、時系列のひずみ量と喜びの度合いを数値化した喜び度との関係をあらかじめ学習した学習モデルを用いて、学習モデルに計測時刻及びひずみ量を入力することにより喜び度を決定する。学習モデルは、例えば多層のニューラルネットワークであり、計測時刻とひずみ量とを入力とし、喜びの度合いを出力とする学習セットを用いてディープラーニングによりニューラルネットワークのパラメータが機械学習される。なお、学習モデルはニューラルネットワークに限定されるものではなく、例えば、線形回帰モデル、ロジスティック回帰モデル、サポートベクターマシン、ランダムフォレスト、Ada Boost、ナイーブベイズ、k近傍法等の他の識別器を用いることができる。
 処理部42は、さらに、ユーザ2ごとの喜び度の解析結果を表示装置の画面に表示するための表示データを作成してもよい。表示データは、例えば、複数のユーザ2の喜び度の分布を表形式又はグラフ形式で示すものであってもよいし、喜び度をユーザ2の位置と関連付けてマップ形式で示すものであってもよい。
 なお、ユーザIDは、個人情報と対応付けられている。このため、処理部42は、個人情報別にユーザ2の感情を解析してもよい。例えば、処理部42は、男女別にユーザ2の感情を解析してもよいし、年代別にユーザ2の感情を解析してもよい。
 また、通信部41が受信した組データには位置情報が含まれる。このため、処理部42は、位置又はエリアごとにユーザ2の感情を解析してもよい。
 〔スマートフォン5の構成〕
 図6は、実施形態に係るスマートフォン5の構成の一例を示すブロック図である。
 スマートフォン5は、内部バス57を介して相互に接続された、通信部51と、記憶部52と、タッチパネル53と、カメラ54と、位置検出部55と、処理部56とを備える。
 通信部51は、小型かつ省電力の無線通信を行う通信インタフェースを備える。無線通信部34は、例えば、上述したようにBLEの通信規格に従って、センサ3からブロードキャストされた組データを受信する。なお、通信部51は、例えば、Wi-SUN又はZigBee(登録商標)などの通信規格に従ってデータ通信を行ってもよい。
 また、通信部51は、5G又はWi-Fi(登録商標)などの無線通信規格に従った通信により、無線基地局7を介してネットワーク6に接続される。
 記憶部52は、スマートフォン5を所持するユーザ2に貼り付けられるセンサ3のセンサIDを記憶している。なお、スマートフォン5を所持しないユーザ2も存在する。このため、記憶部52には、スマートフォン5を所持するユーザ2以外のユーザ2に貼り付けられるセンサ3のセンサIDを記憶していてもよい。これにより、例えば、記憶部52には、スマートフォン5を所持するユーザ2と、当該ユーザ2に同行する他のユーザ2とのそれぞれに貼り付けられるセンサ3のセンサIDが記憶される。
 記憶部52は、例えば、不揮発性メモリ又は揮発性メモリにより構成される。
 タッチパネル53は、ユーザ2に対して各種情報を表示する表示装置(表示パネル)と、ユーザ2から各種情報の入力を受け付ける入力装置(タッチセンサ)としての機能を有する。
 カメラ54は、図5に示したセンサ3の剥離シート3Dに印刷されたQRコード62を読み取るために利用される。
 位置検出部55は、衛星航法を用いてスマートフォン5の位置を検出する。例えば、位置検出部55は、複数のGPS(Global Positioning System)衛星から受信した電波に基づいて、スマートフォン5の位置を検出する。スマートフォン5の位置は、例えば、緯度及び経度により特定することができる。衛星航法は、GPSなどの衛星測位システム(GNSS:Global Navigation Satellite System)を用いるものであるが、GPSに限定されるものではない。
 処理部56は、例えば、CPU等のプロセッサにより構成される。
 処理部56は、記憶部52にあらかじめ記憶されているコンピュータプログラムを実行することにより実現される機能的な処理部として、提示部56Aと、ひずみ量受信部56Bと、推定部56Cと、提供部56Dと、登録部56Eとを含む。
 提示部56Aは、センサ3を利用するにあたっての利用規約をタッチパネル53に表示させる。タッチパネル53に表示される利用規約は、図5に示したセンサ3の剥離シート3Dに印刷された利用規約61と同様の内容を含む。つまり、タッチパネル53に表示される利用規約には、特に、センサ3を貼ることが、ひずみ量をユーザ2以外の他者に提供することへの許諾の条件となることが示される。
 ひずみ量受信部56Bは、通信部51を介して、センサ3からひずみ量とセンサ3のセンサIDとの組データを受信する。
 推定部56Cは、ひずみ量受信部56Bが受信した組データに含まれるひずみ量に基づいて、センサ3のユーザ2の体表面への接触状態を推定する。つまり、推定部56Cは、ひずみ量に基づいて、センサ3がユーザ2の体表面に接触していること、又は、センサ3がユーザ2の体表面に接触していないことを推定する。接触状態の推定方法については後述する。
 提供部56Dは、処理部56による接触状態の推定結果に基づいて、ひずみ量のサーバ4への提供を開始する。つまり、提供部56Dは、推定部56Cによりセンサ3がユーザ2の体表面に接触していると推定された場合に、ひずみ量を含む組データのサーバ4への提供を開始する。
 具体的には、提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、記憶部52に記憶されているセンサIDを含む組データに、位置検出部55が検出した位置情報を加えて、通信部51を介してサーバ4に提供する。
 また、提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、記憶部52に記憶されているセンサIDを含まない組データを破棄し、サーバ4には提供しない。
 また、提供部56Dは、推定部56Cによりセンサ3がユーザ2の体表面に接触していないと推定された場合に、ひずみ量のサーバ4への提供を終了する。
 登録部56Eは、ユーザ2が貼り付けるセンサ3のセンサIDを登録する。具体的には、登録部56Eは、カメラ54を利用してQRコード62を読み取ることにより取得されたセンサIDを、記憶部52に記憶させる。また、登録部56Eは、取得されたセンサIDとユーザ2のユーザIDとを組にして、サーバ4に送信する。サーバ4は、当該組を受信し、センサIDとユーザIDとを対応付けてユーザ情報に登録する。
 また、登録部56Eは、ユーザ2が参加するイベントの登録処理を実行する。
 〔ユーザ登録処理について〕
 以下、感情解析システム1が実行する各処理について説明する。
 図7は、センサ3を利用するユーザ2のユーザ情報をサーバ4に登録するユーザ登録処理の一例を示すシーケンス図である。
 ユーザ2は、スマートフォン5のタッチパネル53を操作し、サーバ4に感情解析システム1のアプリ(以下、「感情解析アプリ」と言う)のダウンロードを要求する。例えば、ユーザ2は、アプリをダウンロード可能なサーバ4のWebページにアクセスし、ダウンロード可能なアプリの中から感情解析アプリを選択する。当該選択に応答して、登録部56Eは、感情解析アプリのダウンロードを要求する要求信号をサーバ4に送信する。サーバ4の処理部42は、通信部41を介して当該要求信号を受信する(ステップS1)。
 サーバ4の処理部42は、記憶部43から感情解析アプリを読み出し、読み出した感情解析アプリを通信部41を介してスマートフォン5に送信し、登録部56Eは感情解析アプリを受信する(ステップS2)。登録部56Eは、感情解析アプリをスマートフォン5にインストールする。なお、感情解析アプリを提供するのはサーバ4に限定されるものではなく、サーバ4以外のアプリを提供する専用サーバが、感情解析アプリを提供してもよい。
 ユーザ2がタッチパネル53に表示されている感情解析アプリのアイコンをタップすると、当該タップに応答して、処理部56は感情解析アプリを起動させる(ステップS3)。
 感情解析アプリ起動後に、ユーザ2がユーザ情報登録のメニューを選択すると、ユーザ情報登録画面が表示される(ステップS4)。
 図8は、ユーザ情報登録画面の一例を示す図である。ユーザ情報登録画面には、ユーザID、パスワード、性別、生年月日、氏名及び住所の入力欄と、OKボタン72及びキャンセルボタン73とを含む。例えば、ユーザ2が、タッチパネル53を操作して各入力欄にユーザ情報を入力し、OKボタン72をタップする(ステップS5)。登録部56Eは、入力されたユーザ情報を通信部51を介してサーバ4に送信し、サーバ4の処理部42は、通信部41を介してスマートフォン5からユーザ情報を受信する(ステップS6)。処理部42は、受信したユーザ情報を記憶部43に記憶させる(ステップS7)。
 なお、ユーザ2は、キャンセルボタン73をタップすることによりユーザ情報登録処理を中止することもできる。また、ユーザ2は、複数のユーザ2のユーザ情報を登録することもできる。例えば、ユーザ2は、ユーザ2に同行する他のユーザ2のユーザ情報を登録する。
 図9は、サーバ4に登録されたユーザ情報の一例を示す図である。ユーザ情報80は、ユーザID、パスワード、性別、生年月日、氏名及び住所を含む。例えば、ユーザIDが「U001」のユーザ2のパスワードは「P0123」、性別は「男」、生年月日は「2000年10月1日」、氏名は「住友太郎」、住所は「東京都港区XXX」である。また、ユーザIDが「U002」のユーザ2のパスワードは「APX3」、性別は「女」、生年月日は「2003年6月7日」、氏名は「住友花子」、住所は「東京都港区XXX」である。ここで、ユーザID「U002」のユーザ2は、ユーザID「U001」のユーザ2の同行者であるとする。
 〔イベント登録処理について〕
 ユーザ登録処理が完了した後、ユーザ2は、自身及びその同行者が参加するイベントの登録処理を実行する。
 図10は、イベント登録処理の一例を示すシーケンス図である。
 ユーザ2がスマートフォン5のタッチパネル53に表示されている感情解析アプリのアイコンをタップすると、当該タップに応答して、処理部56は感情解析アプリを起動させる(ステップS11)。
 アプリ起動後に、ユーザ2がタッチパネル53を操作してユーザID及びパスワードを入力すると、処理部56は、入力されたユーザID及びパスワードをサーバ4に送信し、サーバ4の処理部42は、スマートフォン5から送信されたユーザID及びパスワードを受信する(ステップS12)。
 処理部42は、受信したユーザID及びパスワードがユーザ情報80に登録されているか否かを判断する認証処理を実行する(ステップS13)。
 処理部42は、ユーザID及びパスワードが登録されていれば、認証されたことを示す認証済み情報を送信元のスマートフォン5に送信し、スマートフォン5の処理部56は当該情報を受信する(ステップS14)。
 認証後にユーザ2がアプリ上でイベント情報画面表示のメニューを選択すると(ステップS15)、登録部56Eは、イベント情報の要求信号をサーバ4に送信し、処理部42は、要求信号に応答して参加募集中のイベント情報を記憶部43から読み出し、スマートフォン5に送信する。登録部56Eは、当該イベント情報を受信する(ステップS17)。
 登録部56Eは、受信したイベント情報に基づいて、イベント情報画面をタッチパネル53に表示させる(ステップS18)。
 図11は、イベント情報画面の一例を示す図である。イベント情報画面90には、一例として、ユーザ2が参加可能なイベントのイベント情報が2つ表示されている。ただし、イベントの数は2つに限定されるものではない。
 各イベント情報は、イベント名、費用、場所、日時を含む。例えば、1つ目のイベントのイベント名は「お笑いライブ」、費用は「大人5,000円 中学生以下3,000円」、場所は「ZZZ市市民ホール」、日時は「2021年12月1日 18:00開場 18:30開演」である。また、2つ目のイベントのイベント名は「ロックコンサート」、費用は「大人8,000円 中学生以下5,000円」、場所は「XYZコンサートホール」、日時は「2021年12月2日 18:30開場 19:00開演」である。
 各イベント情報には参加人数の入力欄が設けられており、ユーザ2は参加を希望するイベントの参加人数を入力し、OKボタン92をタップすることにより、参加イベントの登録を行う(ステップS19)。例えば、ユーザ2は、イベント名「ロックコンサート」の参加人数の欄に「大人2人」を入力し、OKボタン92をタップしたとする。
 登録部56Eは、ユーザ2が参加を希望するイベントの識別情報(例えば、イベント名)と、参加人数とを含む参加イベント情報をサーバ4に送信し、処理部42は参加イベント情報を受信する(ステップS20)。
 処理部42は、参加イベント情報に基づいて、ユーザ2が参加を希望するイベントへの登録処理を実行する(ステップS21)。例えば、「ロックコンサート」にユーザ2が大人2人で参加することを示す情報を、記憶部43に登録する。
 なお、イベント情報画面90でユーザ2がキャンセルボタン93をタップすることにより、参加イベントの登録を中止することもできる。
 処理部42は、参加イベント登録処理(ステップS21)の後、参加予定のユーザ2に対して配布可能なセンサ3の図柄を示すシール情報をスマートフォン5に送信し、スマートフォン5の登録部56Eは、通信部51を介してシール情報を受信する(ステップS22)。
 登録部56Eは、受信したシール情報に基づいて、シール情報画面をタッチパネル53に表示させる(ステップS23)。
 図12は、シール情報画面の一例を示す図である。シール情報画面100には、ユーザ2に配布可能なセンサ3の図柄としてシール102A~102Cの3つの図柄が表示される。また、シール102A~102Cのそれぞれに対する枚数入力欄103A~103Cが表示される。ユーザ2は、枚数入力欄103A~103Cに希望するセンサ3の枚数を入力してOKボタン104をタップすることにより、シールを発注する(ステップS24)。例えば、シール102A及びシール102Bのセンサ3をそれぞれ1枚希望する場合には、ユーザ2は、枚数入力欄103A、103Bにそれぞれ「1」を入力し、OKボタン104をタップする。なお、ユーザ2は、キャンセルボタン105を押すことにより、センサ3を発注しないことも可能である。
 シール発注処理(ステップS24)が実行されると、登録部56Eは、発注されたシールの情報をサーバ4に送信し、サーバ4の処理部42は通信部41を介して当該情報を受信する(ステップS25)。例えば、シール102B及びシール102Cの識別情報と、発注枚数(各1枚)とがサーバ4に送信される。
 処理部42は、発注されたシールの情報を受信した後、シール発注処理を実行する(ステップS26)。例えば、処理部42は、ユーザ2の氏名、住所、発送するセンサ3の図柄及び枚数、ユーザ2が参加登録したイベントの識別情報等の情報を、センサ3の発送担当者のメールアドレスに送信する。センサ3をユーザ2に発送する場合には、発送担当者は、イベントの開催日前までにユーザ2に届くようにセンサ3を発送する。また、センサ3をイベント会場でユーザ2に配布する場合には、発送担当者は、イベントの開催日前までにイベント会場に届くようにセンサ3を発送する。
 処理部42は、センサ3の利用規約情報をスマートフォン5に送信し、スマートフォン5の提示部56Aは、通信部51を介して利用規約情報を受信する(ステップS27)。
 提示部56Aは、受信した利用規約情報に基づいて、利用規約情報画面をタッチパネル53に表示させる(ステップS28)。
 図13は、利用規約情報画面の一例を示す図である。利用規約情報画面110には、ユーザ2がセンサ3を利用するにあたっての利用規約111と、利用規約111に同意したことを確認するためのOKボタン112とが表示される。利用規約111は、図5に示したセンサ3の剥離シート3Dに印刷されている利用規約61と同様の内容を含む。
 ユーザ2は、利用規約111を確認した上で、OKボタン112を押す。
 〔紐づけ処理について〕
 ユーザ2は、センサ3を受け取った後に、センサ3のセンサIDと、センサ3を利用するユーザ2のユーザIDとを紐づけるための紐づけ処理を実行する。
 図14は、紐づけ処理の一例を示すシーケンス図である。
 ユーザ2がスマートフォン5のタッチパネル53に表示されている感情解析アプリのアイコンをタップすると、当該タップに応答して、処理部56は感情解析アプリを起動させる(ステップS31)。
 アプリ起動後に、ユーザ2がタッチパネル53を操作してユーザID及びパスワードを入力すると、処理部56は、入力されたユーザID及びパスワードをサーバ4に送信し、サーバ4の処理部42は、スマートフォン5から送信されたユーザID及びパスワードを通信部41を介して受信する(ステップS32)。
 処理部42は、受信したユーザID及びパスワードがユーザ情報80に登録されているか否かを判断する認証処理を実行する(ステップS33)。
 処理部42は、ユーザID及びパスワードが登録されていれば、認証されたことを示す認証済み情報を送信元のスマートフォン5に送信し、スマートフォン5の処理部56は通信部51を介して当該情報を受信する(ステップS34)。
 認証後にユーザ2がアプリ上で紐づけ処理のメニューを選択すると、登録部56Eは、センサ3に印刷されたQRコード62を読み取るためのQRコード読み取り画面をタッチパネル53に表示させる(ステップS35)。
 図15は、QRコード(登録商標)読み取り画面の一例を示す図である。QRコード読み取り画面120には、QRコード62を読み取るにあたっての説明文121と、アイコン122とが表示される。ユーザ2がアイコン122をタップすると、登録部56Eはカメラ54を起動させる。ユーザ2がカメラ54を用いてセンサ3の剥離シート3Dに印刷されたQRコード62(図5)を撮影すると、登録部56Eは撮影されたQRコード62をデコードし、センサ3のセンサIDを取得する(ステップS36)。
 処理部56は、センサIDの取得後に、センサIDに紐づけるユーザIDを入力するためのユーザID入力画面をタッチパネル53に表示させる(ステップS37)。
 図16は、ユーザID入力画面の一例を示す図である。ユーザID入力画面130には、登録部56Eが取得したセンサIDに対応付けるユーザIDの入力欄131と、ユーザIDの入力を確定するためのOKボタン132とが含まれる。
 ユーザ2が入力欄131にユーザIDを入力し、OKボタン132をタップすると(ステップS38)、登録部56Eは、取得したセンサIDと入力されたユーザIDとをセットにしてサーバ4に送信する。サーバ4の処理部42は、通信部41を介してセンサID及びユーザIDのセットを受信する(ステップS39)。
 処理部42は、受信したセットに基づいて、ユーザ情報80にセンサIDを追加登録する(ステップS41)。
 図17は、センサIDを追加登録したユーザ情報の一例を示す図である。ユーザ情報80には、センサIDの欄が追加されている。例えば、処理部42は、センサID及びユーザIDのセットとしてS123及びU001を受信した場合には、ユーザ情報80のユーザID「U001」に対応付けてセンサID「S123」を追加登録する。
 登録部56Eは、ステップS39においてサーバ4に送信したセンサID及びユーザIDのうち、少なくともセンサIDを記憶部52に保存することにより、スマートフォン5に登録する(ステップS40)。上述の例では、センサID「S123」がスマートフォン5に登録される。
 ステップS35以降の処理を繰り返し実行することにより、複数のセンサIDと複数のユーザIDとを対応付けて登録することが可能である。例えば、図17に示したユーザ情報80には、ユーザ情報80のユーザID「U002」に対応付けてセンサID「S124」も追加登録される。また、スマートフォン5には、センサID「S124」も登録される。
 〔ひずみ量計測処理〕
 センサIDとユーザIDの紐づけ処理の後、ユーザ2は、センサ3の利用を開始することができる。
 図18は、ひずみ量計測処理の一例を示すシーケンス図である。
 ユーザ2がセンサ3の剥離シート3Dを剥がす、又はセンサ3に設けられている電源スイッチをONすることにより、センサ3の電源部31から各処理部への電力の供給が開始され、センサ部32は、ひずみゲージ38のひずみ量を計測する(ステップS41)。
 センサ3の無線通信部34は、計測されたひずみ量と記憶部39に記憶されているセンサ3のセンサIDとを含む組データをスマートフォン5に送信し、スマートフォン5のひずみ量受信部56Bは、当該組データを受信する(ステップS42)。
 ひずみ量受信部56Bは、受信した組データに含まれるセンサIDが記憶部52に登録済みか否かを判断し、ここでは登録済みであることを確認したとする(ステップS43)。
 ひずみ量受信部56Bは、登録済みのセンサIDを含む組データを、当該組データの受信時刻と対応付けて記憶部52に保存する(ステップS44)。
 推定部56Cは、記憶部52に保存されている組データ及び受信時刻に基づいて、センサIDごとに、当該センサIDに対応付けられたひずみ量及び受信時刻からセンサ3のユーザ2の体表面への接触状態を推定する。ここでは、センサ3が体表面に接触していることを示す接触条件を充足したものとする(ステップS45)。
 図19は、ひずみ量の時間的変化の一例を示す図である。横軸は時間(秒)を示し、縦軸はひずみ量(ε)を示す。例えば、推定部56Cは、ひずみ量が予め定められた閾値TH1以上になった時点(計測時刻t1)を起点として、ひずみ量が閾値TH1以上の状態が所定時間T1を超えた時点(計測時刻t2)で上記接触条件を充足したと判断する。なお、推定部56Cは、ひずみ量が予め定められた閾値TH1以上になった時点(計測時刻t1)で上記接触条件を充足したと判断してもよい。
 接触条件が充足されている場合には、提供部56Dは、ステップS42で受信したセンサID及びひずみ量の組データに、位置検出部55が検出した位置情報を加えて、サーバ4に送信する。サーバ4の処理部42は、通信部41を介して位置情報が加えられた組データを受信する(ステップS46)。
 処理部42は、受信した組データに、計時部44で計時された現在時刻を加えて記憶部43に保存する(ステップS47)。つまり、記憶部43には、センサID、ひずみ量、位置情報及び時刻情報を含む組データが登録される。
 なお、接触条件を充足せずに、センサ3が体表面に接触していないことを示す非接触条件を充足する場合には、以下のステップS48~S52の処理が実行される。つまり、ステップS41~S44と同様に、センサ3で計測されたひずみ量を含む組データがスマートフォン5の記憶部52に保存される(ステップS48~S51)。
 推定部56Cは、記憶部52に保存されている組データ及び受信時刻に基づいて、センサIDごとに、当該センサIDに対応付けられたひずみ量及び受信時刻からセンサ3のユーザ2の体表面への接触状態を推定する。ここでは、センサ3が体表面に接触していないことを示す非接触条件を充足したものとする(ステップS52)。
 図20は、ひずみ量の時間的変化の一例を示す図である。横軸は時間を示し、縦軸はひずみ量を示す。例えば、推定部56Cは、ひずみ量が予め定められた閾値TH2未満になった時点(計測時刻t3)を起点として、ひずみ量が閾値TH2未満の状態が所定時間T2を超えた時点(計測時刻t4)で上記非接触条件を充足したと判断する。なお、推定部56Cは、ひずみ量が予め定められた閾値TH2未満になった時点(計測時刻t3)で上記非接触条件を充足したと判断してもよい。ここで、閾値TH2は、閾値TH1と同じであってもよいし、異なっていてもよい。また、所定時間T2は、所定時間T1と同じであってもよいし、異なっていてもよい。
 非接触条件が充足されている場合には、提供部56Dは、ステップS49で受信したセンサID及びひずみ量の組データを、サーバ4に送信しない。
 また、スマートフォン5に登録されていないセンサIDを含む組データに対しては、以下のステップS53~S56の処理が実行される。つまり、ステップS41~S42と同様に、スマートフォン5は、センサ3から、センサIDとセンサ3が計測したひずみ量との組データを受信する(ステップS53~S54)。
 ひずみ量受信部56Bは、受信した組データに含まれるセンサIDが記憶部52に登録済みか否かを判断し、ここでは未登録であることを確認したとする(ステップS55)。
 ひずみ量受信部56Bは、未登録のセンサIDを含む組データを破棄する(ステップS56)。これにより、提供部56Dは、未登録のセンサIDを含む組データをサーバ4に送信しない。
 〔実施形態の効果〕
 以上説明したように、本開示の実施形態によると、センサ3をユーザ2の体表面に貼ることによりユーザ2を計測対象としたひずみ量がサーバ4へ提供されることを了承した上で、ユーザ2はセンサ3を顔等の体表面に貼ることができる。このため、ユーザ2が知らないうちにユーザ2のひずみ量がサーバ4に提供されることを防止することができる。また、センサ3はシート状であることより、ユーザ2は顔にシールを貼る感覚でセンサ3を装着することができる。特に、スポーツ観戦会場やアトラクション会場などにおいては、ユーザ2は、顔にシールを貼ることへの抵抗感が少ない。よって、サーバ4は、ユーザ2に違和感及び抵抗感を与えることなくひずみ量を収集し、ユーザ2の感情を解析することができる。
 また、センサ3がユーザ2の体表面に接触していない場合には接触面の変化は小さくひずみ量も小さいが、例えばセンサ3がユーザ2の顔面に貼られた場合には表情筋等の動きに伴いひずみ量が大きくなる。このため、推定部56Cはひずみ量が閾値TH1以上の場合にセンサ3が体表面に接触していると推定し、提供部56Dは、接触していると推定された場合にひずみ量のサーバ4への提供を開始することができる。これにより、センサ3が体表面に接触していることを推定することができ、センサ3の接触前にひずみ量がサーバ4へ提供されることを防止することができる。よって、サーバ4は感情を正確に解析することができる。
 また、体表面への接触前にシールが外的圧力等により一時的に変形した場合にはひずみ量が一時的に大きくなるが、ひずみ量が大きい状態は持続しない。このため、推定部56Cはひずみ量が閾値TH1以上の状態が所定時間T1だけ持続した場合にセンサ3が体表面に接触していると推定することができる。
 また、センサ3が体表面に接触していない場合には接触面の変化は小さくひずみ量も小さい。このため、例えば、推定部56Cはひずみ量が閾値TH2未満となった場合にセンサ3が体表面に接触していないと推定し、提供部56Dは、センサ3が体表面に接触していないと推定された場合にひずみ量のサーバ4への提供を終了することができる。これにより、センサ3が体表面に接触していないことを推定することができ、センサ3が体表面に接触していないにもかかわらずにひずみ量がサーバ4へ提供されることを防止することができる。よって、サーバ4は感情を正確に解析することができる。
 また、センサ3が体表面に接触している状態であってもユーザが一時的に無表情になる等した場合には物理量が一時的に小さくなる場合があるが、体表面は微細に振動している。このため、無表情であっても一定のひずみは発生しており、ひずみ量が小さい状態は持続しない。よって、例えば、ひずみ量が閾値TH2未満の状態が所定時間T2だけ持続した場合にセンサ3が体表面に接触していないと推定することができる。
 また、スマートフォン5の登録部56Eは、ユーザ2又はその同行者が利用するセンサ3のセンサIDを登録する。ひずみ量受信部56Bは、複数のセンサ3から、ひずみ量とセンサIDとの組データを受信する。提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、登録部56Eが登録したセンサIDを含む組データをサーバ4に提供する。このため、ユーザ2及び同行者のひずみ量を効率的にサーバ4に提供することができる。
 また、提供部56Dは、ひずみ量受信部56Bが受信した組データのうち、スマートフォン5に登録されていないセンサIDを含む組データをサーバ4に提供しない。例えば、センサIDを登録するスマートフォン5を一意に設定しておけば、当該センサID及びひずみ量の組データは1つのスマートフォン5からしかサーバ4に提供されることはない。このため、重複したひずみ量がサーバ4に提供されることを防止することができる。
 また、サーバ4には、ユーザIDとセンサIDとを含むユーザ情報80が登録されている。このため、サーバ4は、スマートフォン5から提供されたひずみ量及びセンサIDの組データからユーザ2を特定することができ、ユーザ2ごとに感情を解析することができる。なお、スマートフォン5からサーバ4に提供される組データにはユーザIDは含まれない。このため、第三者が当該組データを傍受したとしても、第三者はひずみ量を計測したユーザ2を特定することができない。よって、ユーザ2のプライバシーが保護される。
 また、スマートフォン5の提供部56Dは、組データにひずみ量の計測位置情報を含めてサーバ4に送信する。このため、サーバ4は、計測位置ごとに感情を解析することができる。
 〔変形例1〕
 図21は、変形例に係るスマートフォン5の構成の一例を示すブロック図である。
 スマートフォン5の構成は、図6に示した実施形態に係るスマートフォン5の構成と同様である。ただし、処理部56は、記憶部52にあらかじめ記憶されているコンピュータプログラムを実行することにより実現される機能的な処理部として、設定部56Fをさらに含む。
 設定部56Fは、センサIDごとに、提供部56Dがサーバ4にひずみ量を提供することに対するユーザ2の許否を設定する。例えば、感情解析アプリのメニュー中に、センサIDごとにひずみ量の提供の許可又は不許可を設定するボタンが設けられているものとする。ユーザ2は、当該ボタンをタップすることによりひずみ量の提供の許可又は不許可を設定し、設定部56Fは、設定された許可又は不許可の結果を提供部56Dに通知する。提供部56Dは、ユーザ2によりひずみ量の提供の不許可が設定されている場合には、センサ3がユーザ2の体表面に接触している状態であっても、サーバ4に対するひずみ量を含む組データの提供を中止する。
 一方、センサ3がユーザ2の体表面に接触している状態において、ユーザ2がひずみ量の提供を不許可から許可に変更した場合には、提供部56Dは、サーバ4に対するひずみ量を含む組データの提供を再開する。
 本変形例によると、ユーザ2がセンサ3を体表面に接触させた状態であっても設定によりひずみ量の提供を停止させることが可能である。これにより、ユーザ2の意思でひずみ量の提供を一時的に中断することができる。また、最初からひずみ量の提供を行わずに、センサ3をフェイスシール代わりに利用することもできる。
 〔変形例2〕
 上述の実施形態ではセンサ3で計測されたひずみ量をスマートフォン5を経由してサーバ4に送信することとしたが、スマートフォン5を経由せずにサーバ4に送信することとしてもよい。例えば、会場のエリアごとにアクセスポイントを設け、センサ3は、アクセスポイントと通信を行い、ひずみ量及びセンサIDの組データをアクセスポイントに送信する。アクセスポイントは、センサ3から受信した組データを、ネットワーク6を介してサーバ4に送信する。
 サーバ4には、センサID及びユーザIDを含むユーザ情報80が登録されている。このため、サーバ4は、ユーザ情報80に登録されたセンサIDを含む組データに基づいて、各ユーザの感情を解析することができる。一方、受信した組データに含まれるセンサIDがユーザ情報80に登録されていない場合には、組データをユーザIDに対応付けることができない。このため、サーバ4は、当該組データを破棄してもよいし、ユーザを特定できないものの、当該組データに基づいてセンサ3ごとに感情を解析してもよい。
 また、サーバ4は、組データが経由したアクセスポイントが分かるため、アクセスポイントごと(つまり、アクセスポイントが設置されたエリアごと)に、ユーザ2の感情を解析することができる。
 [付記]
 上述の実施形態では、スマートフォン5は、サーバ4に時刻情報を送信しないとしたが、センサ3から受信した組データを纏めてサーバ4に送信する場合には、組データと合わせて組データの受信時刻をサーバ4に送信してもよい。
 上記の各装置を構成する構成要素の一部又は全部は、1又は複数のシステムLSIなどの半導体装置から構成されていてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
 上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、HDD、CD-ROM、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
 また、サーバ4は、複数のプロセッサ又は複数のコンピュータにより実現されてもよい。
 また、サーバ4の一部又は全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、サーバ4の一部又は全部の機能がクラウドサーバにより実現されていてもよい。
 また、センサ部32は、筋電センサでもよい。筋電センサとは、筋肉で発生する微弱な電場の変化(電位差)を計測するセンサである。なお、筋電センサは、上記電位差に相当する電流を出力する。筋電センサから出力される電流値は、センサ部32の接着面が接触する面(ユーザ2の顔面)の形状の変化の度合いを示す物理量の一例である。
 今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 感情解析システム(提供システム)、2 ユーザ、3 センサ、3A 接着層、3B 回路層、3C 印刷層、3D 剥離シート、4 サーバ、5 スマートフォン、6 ネットワーク、7 無線基地局、31 電源部、32 センサ部、34 無線通信部、38 ひずみゲージ、39 記憶部、41 通信部、42 処理部、43 記憶部、44 計時部、51 通信部、52 記憶部、53 タッチパネル、54 カメラ、55 位置検出部、56 処理部、56A 提示部、56B ひずみ量受信部(物理量受信部)、56C 推定部、56D 提供部、56E 登録部、56F 設定部、57 内部バス、61 利用規約、62 QRコード、72 OKボタン、73 キャンセルボタン、80 ユーザ情報、90 イベント情報画面、92 OKボタン、93 キャンセルボタン、100 シール情報画面、102A シール、102B シール、102C シール、103A 枚数入力欄、103B 枚数入力欄、103C 枚数入力欄、104 OKボタン、105 キャンセルボタン、110 利用規約情報画面、111 利用規約、112 OKボタン、120 QRコード読み取り画面、121 説明文、122 アイコン、130 ユーザID入力画面、131 入力欄、132 OKボタン

Claims (12)

  1.  接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部と、
     前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部と、
     前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部と、を備える提供システム。
  2.  前記推定部は、前記物理量と第1閾値との比較結果に基づいて、前記センサが前記体表面に接触していることを推定し、
     前記提供部は、前記推定部により前記センサが前記体表面へ接触したと推定された場合に、前記物理量の前記他者への提供を開始する、請求項1に記載の提供システム。
  3.  前記推定部は、前記物理量と前記第1閾値との比較結果の持続時間に基づいて、前記センサが前記体表面に接触していることを推定する、請求項2に記載の提供システム。
  4.  前記推定部は、前記物理量と第2閾値との比較結果に基づいて、前記センサが前記体表面に接触していないことを推定し、
     前記提供部は、前記推定部により前記センサが前記体表面に接触していないと推定された場合に、前記物理量の前記他者への提供を終了する、請求項1から請求項3のいずれか1項に記載の提供システム。
  5.  前記推定部は、前記物理量と前記第2閾値との比較結果の持続時間に基づいて、前記センサが前記体表面から接触していないことを推定する、請求項4に記載の提供システム。
  6.  前記提供システムは、
     前記センサを識別するセンサ識別子を登録する登録部と、
     前記センサから、前記物理量と当該センサの前記センサ識別子との組を受信する物理量受信部とをさらに備え、
     前記提供部は、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含む組を前記他者に提供する、請求項1から請求項5のいずれか1項に記載の提供システム。
  7.  前記提供部は、さらに、前記物理量受信部が受信した前記組のうち、前記登録部が登録した前記センサ識別子を含まない前記組を前記他者が利用する装置に送信しない、請求項6に記載の提供システム。
  8.  前記登録部は、さらに、前記ユーザを識別するユーザ識別子と前記センサ識別子とを前記他者が利用する装置に提供する、請求項6又は請求項7に記載の提供システム。
  9.  前記提供部は、さらに、前記物理量の計測位置情報を前記他者が利用する装置に提供する、請求項1から請求項8のいずれか1項に記載の提供システム。
  10.  前記提供システムは、前記物理量の提供の前記ユーザによる許否を設定する設定部をさらに備え、
     前記提供部は、前記ユーザにより前記物理量の提供が許可されていない場合には、前記物理量の前記他者への提供を中止する、請求項1から請求項9のいずれか1項に記載の提供システム。
  11.  接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示するステップと、
     前記物理量に基づいて、前記センサの前記体表面への接触状態を推定するステップと、
     前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始するステップと、を含む提供方法。
  12.  コンピュータを、
     接触面を有するセンサであって当該接触面が接触する面の変化の度合いを示す物理量を計測する前記センサがユーザの体表面に接触していることが、前記物理量を前記ユーザ以外の他者に提供することへの許諾の条件となることを、前記ユーザに提示する提示部、
     前記物理量に基づいて、前記センサの前記体表面への接触状態を推定する推定部、及び、
     前記推定部による前記接触状態の推定結果に基づいて、前記物理量の前記他者への提供を開始する提供部として機能させるためのコンピュータプログラム。
PCT/JP2021/035898 2021-09-29 2021-09-29 提供システム、提供方法、及びコンピュータプログラム WO2023053278A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023550854A JPWO2023053278A1 (ja) 2021-09-29 2021-09-29
PCT/JP2021/035898 WO2023053278A1 (ja) 2021-09-29 2021-09-29 提供システム、提供方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035898 WO2023053278A1 (ja) 2021-09-29 2021-09-29 提供システム、提供方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2023053278A1 true WO2023053278A1 (ja) 2023-04-06

Family

ID=85781535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035898 WO2023053278A1 (ja) 2021-09-29 2021-09-29 提供システム、提供方法、及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JPWO2023053278A1 (ja)
WO (1) WO2023053278A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014027373A1 (ja) * 2012-08-13 2014-02-20 テルモ株式会社 体内水分計、体内水分計の制御方法、および記憶媒体
JP2014535114A (ja) * 2011-11-09 2014-12-25 コーニンクレッカ フィリップス エヌ ヴェ データ・ネットワーク・サービスを介した感情共有のためのバイオセンサーの使用
WO2019073661A1 (ja) * 2017-10-13 2019-04-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム
JP2021129891A (ja) * 2020-02-21 2021-09-09 住友電気工業株式会社 端末装置、感情解析装置、感情解析システム、及び感情解析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535114A (ja) * 2011-11-09 2014-12-25 コーニンクレッカ フィリップス エヌ ヴェ データ・ネットワーク・サービスを介した感情共有のためのバイオセンサーの使用
WO2014027373A1 (ja) * 2012-08-13 2014-02-20 テルモ株式会社 体内水分計、体内水分計の制御方法、および記憶媒体
WO2019073661A1 (ja) * 2017-10-13 2019-04-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム
JP2021129891A (ja) * 2020-02-21 2021-09-09 住友電気工業株式会社 端末装置、感情解析装置、感情解析システム、及び感情解析方法

Also Published As

Publication number Publication date
JPWO2023053278A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
US10595072B2 (en) Systems and methods for recognizing faces using non-facial information
US11706601B2 (en) Physiologic sensors for sensing, measuring, transmitting, and processing signals
US12074723B2 (en) Information processing system, information processing device, information processing method, and recording medium
AU2007272434B2 (en) Methods and systems for compliance confirmation and incentives
US20210128979A1 (en) System and method for managing and tracking activity of a person
JP2017516170A (ja) スマートウェアラブル装置間の近接性ベースのデータ交換及びユーザ認証
US20110291953A1 (en) Robot device and platform for social networking
CN104243546A (zh) 信息处理设备、通信系统以及信息处理方法
JP2019072486A (ja) 電子装置
KR20170060462A (ko) 서비스 제공을 위한 웨어 시스템 및 방법
WO2023053278A1 (ja) 提供システム、提供方法、及びコンピュータプログラム
JP2021129891A (ja) 端末装置、感情解析装置、感情解析システム、及び感情解析方法
JPWO2020162038A1 (ja) コミュニケーション方法、プログラム、記録媒体、及び通信システム
US20240356772A1 (en) Information processing system, information processing device, information processing method, and recording medium
JP7395429B2 (ja) 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム
Moreno An approach of wearable computing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959323

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550854

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18695842

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21959323

Country of ref document: EP

Kind code of ref document: A1