WO2023074656A1 - プログラム、情報処理方法、及び情報処理装置 - Google Patents

プログラム、情報処理方法、及び情報処理装置 Download PDF

Info

Publication number
WO2023074656A1
WO2023074656A1 PCT/JP2022/039621 JP2022039621W WO2023074656A1 WO 2023074656 A1 WO2023074656 A1 WO 2023074656A1 JP 2022039621 W JP2022039621 W JP 2022039621W WO 2023074656 A1 WO2023074656 A1 WO 2023074656A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
irritability
content
user
anger
Prior art date
Application number
PCT/JP2022/039621
Other languages
English (en)
French (fr)
Inventor
拓也 茨木
智太 楠富
泰彦 今村
Original Assignee
Ｖｉｅ Ｓｔｙｌｅ株式会社
株式会社エヌ・ティ・ティ・データ経営研究所
東和薬品株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｅ Ｓｔｙｌｅ株式会社, 株式会社エヌ・ティ・ティ・データ経営研究所, 東和薬品株式会社 filed Critical Ｖｉｅ Ｓｔｙｌｅ株式会社
Publication of WO2023074656A1 publication Critical patent/WO2023074656A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Definitions

  • the present invention relates to a program, an information processing method, and an information processing apparatus.
  • Non-Patent Document 1 there is known a technology that can control the user's emotions and listen to pleasant music by estimating the user's emotions from electroencephalogram signals and playing back music that matches those emotions.
  • BPSD Behavioral and Psychological Symptoms of Dementia: mental symptoms and behavioral abnormalities that appear secondary to core symptoms, such as hallucinations, delusions, depression, restlessness, agitation, wandering, etc.
  • dementia patients frequently develop irritability, which is a psychological and physical burden not only for the patient but also for caregivers.
  • music therapy for dementia has been studied for some time, and it has been found that music therapy is particularly effective for BPSD.
  • one aspect of the disclosed technology is a program, an information processing method, and an information processing apparatus that enable appropriate selection of content that adjusts the user's irritability according to the user's irritability. intended to provide
  • a program causes a processor included in an information processing apparatus to obtain irritability information about the irritability of a given user based on electroencephalogram signals measured from an electroencephalogram measurement device worn by the given user. determining whether or not the irritability information satisfies a predetermined condition related to a degree of anger set for the predetermined user; and if the predetermined condition is satisfied, a data set associated with the predetermined user. selecting at least one content from the data set containing one or more content, based on difference information of the irritability information obtained during output of the selected content; determining a calming effect of the content.
  • a processor included in an information processing apparatus obtains irritability information related to irritability of a predetermined user based on an electroencephalogram signal measured by an electroencephalogram measurement device worn by the predetermined user. determining whether or not the irritability information satisfies a predetermined condition related to a degree of anger set for the predetermined user; and if the predetermined condition is satisfied, the information is associated with the predetermined user. selecting at least one content from a data set comprising one or more content, based on difference information of the irritability information obtained during output of the selected content; and determining the calming effect of the content.
  • An information processing device that includes a processor according to an aspect of the disclosed technology, wherein the processor acquires irritability information related to irritability of a given user based on an electroencephalogram signal measured by an electroencephalogram measurement device worn by the given user. determining whether or not the irritability information satisfies a predetermined condition related to a degree of anger set for the predetermined user; and if the predetermined condition is satisfied, a data set associated with the predetermined user. selecting at least one content from the data set containing one or more content, based on difference information of the irritability information obtained during output of the selected content; determining a calming effect of the content.
  • content that adjusts the user's irritability can be appropriately selected according to the user's irritability.
  • FIG. 10 is a diagram showing an example of an anger level input screen used in Experiment A;
  • FIG. 10 is a diagram showing an example of experimental results of Subject A in Experiment B;
  • FIG. 10 is a diagram showing an example of experimental results of Subject B in Experiment B;
  • FIG. 10 is a diagram showing another example of the experimental results of Subject A in Experiment B;
  • FIG. 10 is a diagram showing another example of the experimental results of Subject B in Experiment B;
  • FIG. 10 is a diagram showing another example of the experimental results of Subject B in Experiment B;
  • FIG. 10 is a diagram showing an example of an anger level input screen used in Experiment A;
  • FIG. 10 is a diagram showing an example of experimental results of Subject A in Experiment B;
  • FIG. 10 is a diagram showing another example of the experimental results of Subject A in Experiment B;
  • FIG. 10 is a diagram showing another example of the experimental results of Subject B in Experiment B;
  • FIG. 10 is a diagram
  • FIG. 10 is a diagram showing an example of experimental results of actual anger levels A of seven subjects in experiment B;
  • FIG. 10 is a diagram showing an example of experimental results of estimated anger levels B of seven subjects in experiment B;
  • FIG. 10 is a diagram showing an example of experimental results of subject C in experiment C;
  • FIG. 10 is a diagram showing an example of experimental results of subject D in experiment C;
  • 1 is a block diagram showing an example of an information processing device 30 according to an embodiment;
  • FIG. 1 is a block diagram showing an example of an information processing device 50 according to an embodiment;
  • FIG. 7 is a flowchart illustrating an example of model generation processing of the server according to the embodiment.
  • 6 is a flowchart showing an example of content output processing according to the embodiment;
  • 9 is a flowchart illustrating an example of data set update processing according to an embodiment; It is a figure which shows an example of the application screen in an Example.
  • a user who measures electroencephalograms wears an earphone set 10 having bioelectrodes in the ear canal as an electroencephalogram measurement device.
  • the example shown in FIG. 1 is a neck-type earphone set 10
  • any earphone may be used as long as brain wave signals can be sensed from the external auditory canal.
  • an earphone set that obtains the reference signal from the earlobe, an earphone that obtains the reference signal or ground signal from another position (another position in the ear canal), or a completely wireless earphone can be used.
  • the user may wear, for example, headgear as an electroencephalogram measurement device that measures electroencephalograms using the international 10/20 method.
  • the electroencephalogram measurement device includes a measuring device using scalp electrodes, a measuring device that measures brain activity using intracranial electrodes, and a measuring device that measures brain activity using functional magnetic resonance imaging (fMRI).
  • fMRI functional magnetic resonance imaging
  • NIRS near-infrared spectroscopy
  • the earphone set 10 acquires an electroencephalogram signal from the ear canal and transmits the electroencephalogram signal to the information processing device 30 or the information processing device 50 via the network N. Moreover, the earphone set 10 may perform a predetermined process on the electroencephalogram signal and transmit it to the information processing device 30 or the information processing device 50 . Predetermined processing includes amplification processing, sampling, filtering, difference calculation, and the like.
  • the information processing device 30 is, for example, a server, and calculates information indicating the user's emotion from electroencephalogram signals measured by an electroencephalogram measurement device. For example, the information processing device 30 may acquire emotion information indicating emotions related to irritability using a prediction model for extracting emotions related to irritability from electroencephalograms. Further, the information processing device 30 may improve the accuracy of the prediction model by using learning data annotated by the user. The information processing device 30 may transmit the generated prediction model to the information processing device 50 .
  • the information processing device 50 is, for example, a processing terminal such as a mobile terminal held by the user, and sequentially acquires electroencephalogram signals from the earphone set 10 .
  • the information processing device 50 inputs sequentially acquired electroencephalogram signals to a prediction model to acquire emotion information indicating emotions related to irritability.
  • the information processing device 50 selects content that adjusts the user's emotion when the emotional information satisfies a predetermined condition, and outputs the selected content to the earphone set 10 .
  • the content is content including sound. May include animation and the like.
  • the information processing device 50 estimates the user's emotion related to irritability from the electroencephalogram signal, executes processing for adjusting the emotion, and operates the device based on the electroencephalogram signal. It has the function of machine interface.
  • the content includes at least one of music, voice, sound data, moving images, photographs, animation, games, and the like.
  • the content is preferably content including sound, and more preferably music.
  • ⁇ Earphone set configuration> 2 and 3 outline the earphone set 10 according to the embodiment.
  • the earphone set 10 is not limited to the examples shown in FIGS. 2 and 3, and any earphone that can sense brain waves from the ear canal and output to an external device can be applied to the technology of the present disclosure. be able to.
  • FIG. 2 is a diagram showing an example of the earphone set 10 according to the embodiment.
  • Earphone set 10 shown in FIG. Earphones 100R and 100L are connected to neck portion 110 using a cable capable of signal communication, but may be connected using wireless communication.
  • RL is omitted when there is no need to distinguish left and right.
  • the neck hanging part 110 has a central member along the back of the neck and rod-shaped members (arms) 112R and 112L having curved shapes along both sides of the neck.
  • the dorsal neck-contacting surface of the central member is provided with electrodes 122, 124 for sensing electroencephalogram signals.
  • Electrodes 122 and 124 are a grounded electrode and a reference electrode, respectively.
  • the neck hanging unit 110 may have a processing unit that processes electroencephalogram signals and a communication device that communicates with the outside.
  • the rod-shaped members 112R and 112L on both sides of the neck-hanging portion 110 are heavier at the tip side than at the root side (the central member side), so that the electrodes 122 and 124 are appropriately placed on the wearer's neck. It becomes crimped.
  • weights are provided on the distal end sides of the rod-shaped members 112R and 112L. Note that the positions of the electrodes 122 and 124 are not limited to these positions.
  • FIG. 3 is a diagram showing an example of a schematic cross section of the earphone 100R according to the embodiment.
  • Earphone 100R shown in FIG. 3 may be provided with elastic member (for example, urethane) 108 between speaker 102 and nozzle 104, for example.
  • elastic member for example, urethane
  • the vibration of the speaker 102 is less likely to be transmitted to the elastic electrode of the ear tip 106, thereby preventing the elastic electrode of the ear tip 106 and the speaker 102 from interfering with sound.
  • the ear tip 106 including the elastic electrode is positioned at the sound guide port, it is possible to prevent interference due to sound vibration due to the elasticity of the elastic electrode itself.
  • the elastic member makes it difficult for sound vibrations to be transmitted to the elastic electrodes of the ear tip 106, and it is possible to prevent interference due to sound vibrations.
  • the earphone 100 may include an audio sound processor, and the audio sound processor may be used to cut sound signals below a predetermined frequency (eg, 50 Hz) corresponding to brain wave signals.
  • a predetermined frequency eg, 50 Hz
  • audio sound processors cut sound signals below 30Hz, which is a frequency band that tends to be characterized as brain wave signals, but in order not to impair the bass sound, sound signals with frequencies around 70Hz may be amplified. good.
  • the audio sound processor may cut a predetermined frequency only when brain wave signals are being sensed.
  • the ear tip 106 conducts electroencephalogram signals sensed from the ear canal to contact points of electrodes provided on the nozzle 104 .
  • the electroencephalogram signal is transmitted from the ear tip 106 to a biosensor (not shown) inside the earphone 100 via contacts.
  • the biosensor outputs sequentially obtained electroencephalogram signals to a processing device provided in the neck hanging portion 110 via a cable, or transmits the signals to an external device.
  • the eartip 106 and the housing containing the biosensor and audio sound processor may be insulated.
  • Experiment A First, in order to record electroencephalograms when subjects feel anger, Experiment A below was performed on seven subjects. - The subject recalls the angry event and relaxes about three times, at the subject's own pace. • The subject uses a pointing device, such as a mouse, to input an anger level or degree of anger in real time using an anger level gauge (see, eg, FIG. 4). • Electroencephalography is performed using the wireless bioinstrumentation device Polymate® Mini. EEG signals are recorded with 500 Hz sampling using three bilateral (T7/8) and apical (near Cz) electrodes.
  • FIG. 4 is a diagram showing an example of an anger level input screen used in Experiment A.
  • electroencephalogram data relating to anger can be extracted.
  • a learning model for estimating anger is prepared, and electroencephalogram data extracted by subjecting an electroencephalogram signal to predetermined processing and the subject's anger level at that time are learned as learning data or teacher data. This produces a predictive model that estimates anger.
  • Experiment B the predictive model for estimating anger learned in Experiment A was used, and seven subjects repeated anger and relaxation in the same manner as in Experiment A.
  • ⁇ The timing at which the anger level decoded from the electroencephalogram signal using a prediction model exceeds 2SD (Standard Deviation) within the previous 10 seconds is regarded as a "sign of anger", and the subject himself/herself selects it in advance.
  • the subjects were presented with the first 15 seconds of one of the 3 to 5 "music that seems to calm their anger” at random.
  • the next music is not played for 5 seconds after the end of the music.
  • the subject inputs his/her own anger level in real time by manipulating the gauge.
  • FIG. 5A is a diagram showing an example of the experimental result of Subject A in Experiment B
  • FIG. 5B is a diagram showing an example of the experimental result of Subject B in Experiment B.
  • the graphs on the left side of FIGS. 5A and B are graphs in which the horizontal axis represents time and the vertical axis represents anger level values. Also, the dotted line indicates the anger level A annotated by the subject, and the solid line indicates the anger level B estimated using the predictive model.
  • anger level A is also referred to as actual anger level A
  • anger level B is also referred to as estimated anger level B.
  • the graphs on the right side of FIGS. 5A and B are correlation graphs showing the correlation between the actual anger level A and the estimated anger level B.
  • the correlation value between subject A's actual anger level A and estimated anger level B is 0.79174
  • the correlation value between subject B's actual anger level A and estimated anger level B. is 0.88935. This confirmed the validity of the generated prediction model.
  • FIG. 6A is a diagram showing another example of the experimental result of Subject A in Experiment B
  • FIG. 6B is a diagram showing another example of the experimental result of Subject B in Experiment B.
  • FIG. The graphs shown in FIGS. 6A and B show the relationship between music playback and anger level.
  • the dotted line is the actual anger level A
  • the solid line is the estimated anger level B
  • the thick line is the moving average of the estimated anger level B for a predetermined period
  • the frame shows the music being played. A section (15 seconds) is shown.
  • both the actual anger level A and the estimated anger level B of both the subjects A and B are lowered by listening to music.
  • the line in the interval indicates a line connecting the point of anger level B at the time of music reproduction and the point of anger level B at the end of music. If the line in the section is downward sloping, it can be said that the anger level is decreasing.
  • FIG. 7A is a diagram showing an example of experimental results of actual anger levels A of seven subjects in experiment B.
  • FIG. 7A In the example shown in FIG. 7A, some subjects had increased anger levels after playing music, but on average anger levels decreased after playing music.
  • FIG. 7B is a diagram showing an example of experimental results of the estimated anger level B of seven subjects in experiment B.
  • FIG. 7B anger is detected using the anger level B before the music is played, and the music is played, but the anger level B is lowered after the music is played.
  • the graphs shown in FIGS. 7A and 7B are created under the following conditions. • For each of the 7 subjects, the estimated anger level B and the actual anger level A are normalized within subjects. ⁇ Regarding anger level A, 2.5SD or more is excluded as noise. ⁇ Conditions for the start of the music: When the anger level B rises by 2 SD or more in the 10-second data immediately before ⁇ Subtract the average of the anger level B at the start of the music from 10 seconds before to the start of the music as a baseline. , Averaged the data before and after the start of music for each individual ⁇ Bold black line is the average for all subjects. • Compare the 2 seconds immediately after the music starts with the 2 seconds at the end (14-15 seconds after the music starts) (paired t-test).
  • FIG. 8A is a diagram showing an example of experimental results of subject C in experiment C.
  • FIG. 8B is a diagram showing an example of the experimental result of subject D in experiment C.
  • FIG. In both FIGS. 8A and 8B the left side shows the experimental results without music, and the right side shows the experimental results with music.
  • the solid line indicates the estimated anger level B
  • the thick curve indicates the moving average of the anger level B for a predetermined period
  • the thick straight line indicates the regression line of the moving average.
  • Slope of regression line without music shown in FIG. 8A 0.37774
  • Slope of regression line with music shown in FIG. 8A 0.12363
  • both of the two subjects tended to have higher estimated anger levels over time.
  • the slope of the regression line in the graph on the right it was confirmed that neurofeedback while using music tends to keep anger levels lower.
  • the slope without music is 0.37774, while the slope with music is 0.12363. , it can be said that music contributes to the suppression of anger levels.
  • FIG. 9 is a block diagram showing an example of the information processing device 30 according to the embodiment.
  • the information processing device 30 is, for example, a server, and may be configured by one or more devices.
  • the information processing device 30 also processes an electroencephalogram signal or electroencephalogram information, and analyzes the user's emotion related to irritability from the electroencephalogram signal using, for example, a learning function of artificial intelligence.
  • Information processing device 30 is also referred to as server 30 .
  • the information processing device 30 is not necessarily a server, and may be a general-purpose computer.
  • the server 30 includes one or more processors (CPUs: Central Processing Units) 310, one or more network communication interfaces 320, a memory 330, a user interface 350, and one for interconnecting these components. or multiple communication buses 370 .
  • processors CPUs: Central Processing Units
  • a user interface 350 including a display device (not shown) and input devices such as a keyboard and/or mouse (or some other pointing device, not shown). can be mentioned.
  • Memory 330 may be high speed random access memory such as, for example, DRAM, SRAM, DDR RAM or other random access solid state storage, and may also be one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or A non-volatile memory such as another non-volatile solid-state memory device may be used. Also, the memory 330 may be a computer-readable non-transitory recording medium.
  • memory 330 may be one or more storage devices installed remotely from processor 310 .
  • memory 330 stores the following programs, modules and data structures, or subsets thereof.
  • the one or more processors 310 read and execute programs from the memory 330 as needed.
  • one or more processors 310 may configure an electroencephalogram control unit 312, an acquisition unit 313, a learning unit 314, a generation unit 315, and an output unit 316 by executing a program stored in the memory 330. good.
  • the electroencephalogram control unit 312 controls and processes electroencephalogram signals that are sequentially acquired, and controls the following processes.
  • the acquisition unit 313 acquires an electroencephalogram signal measured by an electroencephalogram measurement device, for example, a bioelectrode included in the earphone set 10 .
  • An electroencephalogram measurement device is not limited to the earphone set 10 .
  • the learning unit 314 holds a prediction model for estimating the user's anger level using irritability information based on electroencephalogram signals. For example, the learning unit 314 performs supervised learning using irritability information annotated with the degree of anger by the user as training data.
  • the generation unit 315 acquires the learning result learned by the learning unit 314 and generates a prediction model having learned parameters and the like. Note that the generation unit 315 may be a function included in the learning unit 314 .
  • the output unit 316 outputs the prediction model generated by the generation unit 315 to the predetermined information processing device 50 via the network communication interface 320 .
  • the server 30 it is possible to generate a prediction model for anger estimation of the individual user wearing the electroencephalogram measurement device from the electroencephalogram signal in the ear canal.
  • the generation unit 315 classifies the prediction models according to the characteristics of the irritability information, and combines the feature amounts of the irritability information and the classified prediction models. may be associated. This eliminates the need to generate a prediction model from scratch for users who can use a prediction model that has already been generated.
  • FIG. 10 is a block diagram showing an example of the information processing device 50 according to the embodiment.
  • the information processing device 50 is, for example, a user terminal such as a mobile terminal (such as a smart phone), a computer, or a tablet terminal.
  • the information processing device 50 is also referred to as a processing terminal 50 .
  • Processing terminal 50 includes one or more processors (e.g., CPUs) 510, one or more network communication interfaces 520, memory 530, user interface 550, and one or more processors for interconnecting these components. Includes communication bus 570 .
  • processors e.g., CPUs
  • the user interface 550 comprises a display device 551 and an input device (such as a keyboard and/or mouse or some other pointing device) 552 . Also, the user interface 550 may be a touch panel.
  • Memory 530 may be high speed random access memory such as, for example, DRAM, SRAM, DDR RAM or other random access solid state storage, and may also be one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or A non-volatile memory such as another non-volatile solid-state memory device may be used. Also, the memory 530 may be a computer-readable non-transitory recording medium.
  • memory 530 may include one or more storage devices remotely located from processor 510 .
  • memory 530 stores the following programs, modules and data structures, or subsets thereof.
  • the one or more processors 510 read and execute programs from the memory 530 as needed.
  • one or more processors 510 may configure an application controller (hereinafter also referred to as “application controller”) 512 by executing a program stored in memory 530 .
  • the application control unit 512 is an application that processes electroencephalograms, and includes an acquisition unit 513, a first determination unit 514, a selection unit 515, an output unit 516, a second determination unit 517, and an update unit 518, for example.
  • the acquisition unit 513 acquires irritability information related to the predetermined user's irritability based on the electroencephalogram signal measured by the electroencephalogram measurement device worn by the predetermined user. For example, the acquisition unit 513 may acquire irritability information via the network communication interface 520, or perform predetermined processing on an electroencephalogram signal obtained via the network communication interface 520 to obtain irritability information. may be obtained.
  • the predetermined processing includes, for example, frequency conversion and filtering for extracting irritability information from the electroencephalogram signal, input processing to a learned prediction model, and the like.
  • the first determination unit 514 determines whether or not the irritability information acquired by the acquisition unit 513 satisfies a predetermined condition regarding the degree of anger (anger level) set for a predetermined user. For example, the first determination unit 514 detects signs of anger of a predetermined user using a threshold set for each user.
  • the threshold is, for example, two standard deviations (2SD) of the irritability information of a given user. Also, the threshold may be set appropriately for each user through learning by the learning unit 314 of the information processing device 30 .
  • the selection unit 515 selects at least one content from a data set associated with a predetermined user and including one or more content when a predetermined condition regarding the degree of anger is satisfied.
  • the data set may include content pre-selected by the given user or by the given user's family, relatives, friends, and the like.
  • the content is music in this embodiment, content including sound or content including images is preferable.
  • the data set may be set with music that has the effect of suppressing anger (sedative effect) for a given user when this application is used, and may be accumulated.
  • the predetermined user or users around the predetermined user may check the irritability information of the predetermined user on a screen or the like, grasp the effect thereof, and perform an operation of accumulating it in the data set. As a result, it becomes possible to appropriately increase the content in the data set, and to create a data set that does not bore a predetermined user.
  • the application control unit 512 may monitor the irritability information of a given user in real time during music reproduction, and automatically include in the data set the music being reproduced that has the effect of suppressing anger. As a result, it is possible to reduce the burden on the user without having to perform an operation of accumulating data in the data set.
  • the output unit 516 outputs the content selected by the selection unit 515 to the earphone set 10 or a speaker provided in its own device.
  • irritability information is acquired from the electroencephalogram of a given user, conditions related to the degree of anger are set according to the given user, and music is selected from a data set corresponding to the given user, so customization to the individual user is possible. can be made possible.
  • the acquiring unit 513 sequentially inputs the electroencephalogram signals of the predetermined user to the learning model in which the irritability of the predetermined user is learned using the electroencephalogram signal of the predetermined user, and the irritability is sequentially output from the learning model. It may include obtaining information.
  • the learning model is a predictive model that estimates anger as described above.
  • the acquisition unit 513 may input the electroencephalogram signal measured by the earphone set 10 to the prediction model and acquire the irritability information output from the prediction model.
  • the prediction model may be transmitted from the information processing device 30 and possessed by the application control unit 512 or the acquisition unit 513 . Further, the acquisition unit 513 may acquire irritability information output from the earphone set 10 using a prediction model.
  • the learning model used to acquire irritability information may include a learning model learned using supervised learning annotated with irritability by a predetermined user. For example, as shown in experiment A, a more appropriate prediction model can be generated by having the user directly annotate.
  • the predetermined condition used for irritability determination may include an anger determination condition set using the predetermined user's irritability information.
  • an anger determination condition set using the predetermined user's irritability information.
  • the peak magnitude of irritability information may vary from user to user. Therefore, the conditions for detecting anger may be changed for each user, such as the threshold for user A based on user A's irritability information and the threshold for user B based on user B's irritability information.
  • the selection unit 515 may change the selected content (eg, music) to other content based on the irritability information sequentially acquired by the acquisition unit 513 . For example, if the irritability information does not appear to be suppressed or subdued during content output, the selection unit 515 may select other content without outputting the selected content to the end.
  • Conditions for changing content output include, for example, average irritability information during content output being greater than irritability information at the start of content output.
  • the system 1 can determine whether the selected content is appropriate based on the irritability information acquired in real time, and can change the selected content as necessary. Further, the selection unit 515 may lower the priority of content determined to have a low suppressing effect or sedative effect on irritability information, and may not select content with a low priority.
  • the electroencephalogram measurement device may be an earphone having bioelectrodes for measuring electroencephalogram signals, and at least one piece of music data may be output from the earphone.
  • the earphone includes an earphone set 10 as shown in FIG. 1, a wireless earphone having a bioelectrode, or the like.
  • earphones As the electroencephalogram measurement device, it is possible to use a common device for measuring electroencephalogram signals and a device for outputting selected content, thereby reducing the burden of measuring electroencephalograms on the user. become.
  • the information processing apparatus 50 by using the irritability information based on the electroencephalogram signal measured by the electroencephalogram measurement device, the anger of the predetermined user is appropriately detected, and the content that attempts to suppress the anger of the predetermined user. can be selected and output.
  • the information processing device 50 can also acquire irritability information of a predetermined user in real time and determine whether content is appropriate. The suitability determination of the content being output will be described in detail below.
  • the second determination unit 517 determines the calming effect of the content being output based on the difference information of the irritability information acquired during the output of the content selected by the selection unit 515 . For example, the second determination unit 517 determines whether the irritability information is on the way to sedation based on the difference information between the irritability information at the time of content output and the irritability information after a predetermined time has elapsed since the content was output. do. More specifically, if the second determination unit 517 indicates that the difference information of the irritability information is less than the irritability information at the time of outputting the content, the content being output has a sedative effect. judge. On the other hand, if the irritability information does not decrease even after the content is output, the second determination unit 517 determines that the content being output has no sedative effect.
  • the second determination unit 517 may calculate the average value of the differential information of the irritability information for a predetermined period of time from the start of the content output, and use this average value to determine the calming effect of the content being output. good. For example, the second determination unit 517 determines that the content being output has a calming effect when the average value of the difference information (eg, tilt information) per unit time of the irritability information is equal to or less than a threshold value, and determines that the content being output has a calming effect. If the value is greater than the threshold, it may be determined that the content being output has no sedative effect.
  • the average value of the difference information eg, tilt information
  • the update unit 518 updates the data set of the predetermined user based on the sedative effect determined by the second determination unit 517. For example, updater 518 may remove or deprioritize content that has no sedative effect from the dataset. Further, the update unit 518 may preferentially select from the data set by the selection unit 515 by associating additional information with the content having a calming effect, for example, by associating a favorite mark.
  • the second determination unit 517 may include calculating difference information using irritability information acquired within a predetermined time after the content output is started.
  • the predetermined time is, for example, 20 seconds after the content is output.
  • the second determination unit 517 may include determining which of a plurality of subdivided sets the sedative effect corresponds to, according to the magnitude of the difference information. For example, the second determination unit 517 sets a plurality of stepwise thresholds for the difference information, subdivides the sedative effect, and associates each of the plurality of sets. For example, the first set is less than the first threshold, the second set is greater than or equal to the first threshold and less than the second threshold, the third set is greater than or equal to the second threshold, and so on. It has a sedative effect, the third set has a fairly large sedative effect, and so on.
  • the update unit 518 may classify the output content into sets corresponding to the size of the difference information and update the dataset. For example, if the output content is a calming effect corresponding to the second set, the updating unit 518 classifies it into the second set and updates the data set, and the output content is a calming effect corresponding to the third set. If so, classify it into the third set and update the data set.
  • the selection unit 515 can select content according to the level of the sedative effect.
  • the selection unit 515 may also select one of the data sets based on the difference information of the irritability information when the predetermined condition indicating the anger of the predetermined user is satisfied.
  • the selection unit 515 may also include selecting at least one piece of content from among the one or more pieces of content classified into the selected set. For example, when the irritability information of a given user indicates anger, if the differential information of the irritability information (e.g., tilt information) when determined to be angry is greater than a threshold (e.g., the anger threshold is suddenly reached). ), the selection unit 515 selects content from the third set. Further, when the differential information of the irritability information when determined to be angry is smaller than the threshold, the selection unit 515 may select content from the second set.
  • a threshold e.g., the anger threshold is suddenly reached.
  • the selection unit 515 selects at least one content from among one or a plurality of content classified into a set different from the set containing the output content so that the irritability information falls within a predetermined range of the degree of anger. Selecting content may also be included. For example, when the irritability information suddenly drops by selecting the content of the third set, the selection unit 515 selects the content of the second set so that the irritability information does not drop too much. to switch the content being output.
  • the selection unit 515 selects the content of the second set. Further, when the irritability information becomes equal to or less than the eleventh threshold, the content of the third set may be switched to the content of the second set. Further, when irritability information greater than the twelfth threshold continues for a predetermined period of time while the second set of contents is being output, the selection unit 515 may select the third set of contents.
  • FIG. 11 is a flowchart illustrating an example of model generation processing of the server 30 according to the embodiment. In the example shown in FIG. 11, the process of generating a learning model by the server 30 will be described.
  • step S102 the acquiring unit 313 acquires electroencephalogram information measured by bioelectrodes in contact with the external auditory canal of the predetermined user.
  • the acquisition unit 313 acquires electroencephalogram information measured by bioelectrodes provided in ear tips of earphones.
  • step S104 the acquisition unit 313 performs preprocessing (processing) for acquiring irritability information on the acquired electroencephalogram signal.
  • the processing is, for example, at least one of sampling, filtering, frequency conversion, addition, subtraction, multiplication and division.
  • step S106 the learning unit 314 learns using training data including irritability information based on electroencephalogram information and annotation results by a predetermined user. For example, the learning unit 314 uses a predictive model for estimating anger, and when electroencephalogram information is input to the predictive model, the learning unit 314 outputs irritability information.
  • step S108 the generation unit 315 generates a prediction model that has learned to extract irritability information from electroencephalogram signals.
  • the learning unit 314 learns the irritability information based on the electroencephalogram information, so that the generation unit 315 generates a prediction model that infers the irritability of the predetermined user from the electroencephalogram information.
  • the prediction model may output irritability information including the result of detecting a sign of anger from an electroencephalogram signal.
  • FIG. 12 is a flowchart showing an example of content output processing according to the embodiment.
  • the processing executed by the information processing device 50 will be described, but the processing may be executed by the earphone set 10 .
  • step S ⁇ b>202 the acquisition unit 513 sequentially acquires electroencephalogram signals from the earphone set 10 via the network communication interface 520 .
  • step S204 the acquisition unit 513 sequentially acquires irritability information by executing predetermined processing on the electroencephalogram signal. Note that when the earphone set 10 processes the electroencephalogram signal to calculate the irritability information, the acquisition unit 513 sequentially acquires the irritability information from the earphone set 10 .
  • step S206 the determination unit 514 determines whether or not the irritability information acquired in sequence satisfies a predetermined condition regarding the degree of anger. If the predetermined condition regarding the degree of anger is satisfied (step S206-YES), the process proceeds to step S208, and if the processing regarding the degree of anger is not satisfied (step S206-NO), the process returns to step S202.
  • step S208 the determination unit 514 determines whether content is being output. If the content is not being output (step S208-NO), the process proceeds to step S210, and if the content is being output (step S208-YES), the process returns to step S202. Note that the determinations in steps S206 and S208 may be interchanged. Further, even if the content is being output, the process may proceed to step S210 if a predetermined condition regarding the degree of anger is satisfied for a predetermined period of time.
  • step S210 the selection unit 515 selects at least one content from a data set associated with a predetermined user and including one or more content.
  • step S212 the output unit 516 outputs the selected content to the earphone set 10, the speaker of its own device, or the speaker of another device.
  • FIG. 13 is a flowchart showing an example of data set update processing according to the embodiment.
  • the example shown in FIG. 13 includes processing that is executed when the content selected by the selection unit 515 is being output to the user.
  • step S302 the second determination unit 517 calculates difference information of the irritability information acquired while the content selected by the selection unit 515 is being output.
  • the difference information includes, for example, a differential value (slope) per unit time.
  • the second determination unit 517 determines the calming effect of the content being output based on the difference information. For example, the second determination unit 517 determines the sedative effect based on difference information between irritability information at the time of content output and irritability information after a predetermined time has passed since content output. As a specific example, if the second determination unit 517 indicates that the difference information of the irritability information is less than the irritability information at the time of content output by a predetermined value or more, the content being output has a calming effect. If the irritability information does not decrease even after the content is output, it may be determined that the content being output has no sedative effect.
  • step S306 the update unit 518 updates the data set of the predetermined user based on the sedative effect determined by the second determination unit 517.
  • updater 518 may remove or deprioritize content that has no sedative effect from the dataset.
  • the update unit 518 may specify content having a calming effect so that the content is preferentially selected from the data set by the selection unit 515 .
  • FIG. 14 is a diagram showing an example of an application screen in the embodiment.
  • the example shown in FIG. 14 is a diagram showing an example in which irritability information based on an electroencephalogram signal is displayed in real time during playback of music, which is an example of content.
  • information on the selected music is displayed at the top of the screen, and operations such as play, stop, fast-forward, and rewind are possible for this music.
  • a score value indicating real-time irritability information is displayed and updated sequentially. For example, a higher score value indicates a higher anger level, and a lower score value indicates a calmer level.
  • the score value of irritability information is expressed as Anger Level.
  • this Anger Level drops during music playback, it can be determined that this music is effective for irritability. may include the music that is playing.
  • the selection unit 515 may automatically register the music being played in the playlist as described above when the Anger Level drops below a predetermined threshold during music playback.
  • the STOP button is a button for stopping brain wave measurement, and when the STOP button is pressed, application control section 512 may transmit a command to stop brain wave measurement to earphone set 10 .
  • a function to change the music being played may be added to the screen example shown in FIG. 14, or the irritability information may be changed to be displayed as time-series data in a graph.
  • a user using the information processing device 50 can grasp in real time the irritability of the user whose electroencephalogram is to be measured.
  • the user who uses the information processing device 50 and the user whose electroencephalogram is to be measured may be the same user or may be different users.
  • the application described above can be suitably applied in nursing homes and the like where users with cognitive disabilities are present.
  • a user with cognitive impairment wears an electroencephalogram measurement device, and a caregiver or a family member uses the information processing device 50 . Since a user with cognitive impairment frequently becomes irritable, the timing of anger is detected and content with a calming effect is output to the user. As a result, it is possible to try to prevent the electroencephalogram measurement user from getting angry. For example, music that has a calming effect on anger differs for each user, but if music that has a calming effect is registered as a playlist, music is selected from the playlist for each user and output.
  • a playlist may be selected by a family member of a user with cognitive impairment, or may be a playlist for a user using the information processing device 50 to view real-time irritability information for music being played back, as described above. While doing so, it is possible to determine whether or not there is an effect and register it in a playlist. This is based on known knowledge that music therapy is effective for dementia patients' irritability, and that effective music differs from user to user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

プログラムは、情報処理装置に含まれるプロセッサに、所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、所定ユーザの易怒性に関する易怒性情報を取得すること、易怒性情報が、所定ユーザに対して設定される怒り度合いに関する所定条件を満たすか否かを判定すること、所定条件が満たされる場合、所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含むデータセットの中から、少なくとも１つのコンテンツを選択すること、選択されたコンテンツの出力中に取得される前記易怒性情報の差分情報に基づいて、当該コンテンツによる鎮静効果を判定すること、を実行させる。

Description

プログラム、情報処理方法、及び情報処理装置
　本発明は、プログラム、情報処理方法、及び情報処理装置に関する。
　従来、脳波信号からユーザの感情を推定し、その感情に合わせた音楽を再生することで、ユーザの感情をコントロールして自分で楽しい音楽を聴くようにすることができる技術が知られている（例えば非特許文献１参照）。
Ehrlich SK, Agres KR, Guan C, Cheng G (2019),  "A closed-loop, music-based brain-computer interface for emotion mediation", [online], March 18, 2019, PLOS ONE,  [令和３年９月９日検索]，インターネット＜URL:https://doi.org/10.1371/journal.pone.0213516＞
　従来技術では、何らかの理由により感情を調整することが困難なユーザにとっては、聞きたい音楽を生成、再生できない可能性がある。
　他方、高齢者又は認知症患者に対して、認知機能低下とともに、ＢＰＳＤ（Behavioral and Psychological Symptoms of Dementia：中核症状から二次的に出現する精神症状や行動異常で、幻覚、妄想、うつ、不穏、興奮、徘徊など）が問題となっている。例えば、認知症患者には、易刺激性が高い頻度で発生することがあり、本人だけではなく、介護者にとっても心理的、身体的負担となっている。また、以前から認知症に対する音楽療法が研究され、特にＢＰＳＤに対して音楽療法の効果があることが分かってきている。
　しかしながら、どの音楽に感情調整の効果があるのかは個人に依存するものであり、ユーザ個人に合わせて適切な音楽を再生し、そのユーザの感情の調整をすることができなかった。
　そこで、開示技術の一態様は、ユーザの易怒性に応じて、そのユーザの易怒性を調整するようなコンテンツを適切に選択することを可能にするプログラム、情報処理方法、及び情報処理装置を提供することを目的とする。
　開示技術の一態様におけるプログラムは、情報処理装置に含まれるプロセッサに、所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、前記所定ユーザの易怒性に関する易怒性情報を取得すること、前記易怒性情報が、前記所定ユーザに対して設定される怒り度合いに関する所定条件を満たすか否かを判定すること、前記所定条件が満たされる場合、前記所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含む前記データセットの中から、少なくとも１つのコンテンツを選択すること、選択されたコンテンツの出力中に取得される前記易怒性情報の差分情報に基づいて、当該コンテンツによる鎮静効果を判定すること、を実行させる。
　開示技術の一態様における情報処理方法は、情報処理装置に含まれるプロセッサが、所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、前記所定ユーザの易怒性に関する易怒性情報を取得すること、前記易怒性情報が、前記所定ユーザに対して設定される怒り度合いに関する所定条件を満たすか否かを判定すること、前記所定条件が満たされる場合、前記所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含む前記データセットの中から、少なくとも１つのコンテンツを選択すること、選択されたコンテンツの出力中に取得される前記易怒性情報の差分情報に基づいて、当該コンテンツによる鎮静効果を判定すること、を実行する。
　開示技術の一態様におけるプロセッサを含む情報処理装置は、前記プロセッサが、所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、前記所定ユーザの易怒性に関する易怒性情報を取得すること、前記易怒性情報が、前記所定ユーザに対して設定される怒り度合いに関する所定条件を満たすか否かを判定すること、前記所定条件が満たされる場合、前記所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含む前記データセットの中から、少なくとも１つのコンテンツを選択すること、選択されたコンテンツの出力中に取得される前記易怒性情報の差分情報に基づいて、当該コンテンツによる鎮静効果を判定すること、を実行する。
　開示技術の一態様によれば、ユーザの易怒性に応じて、そのユーザの易怒性を調整するようなコンテンツを適切に選択することができる。
実施形態に係るシステムの概要例を説明する図である。 実施形態に係るイヤホンセットの一例を示す図である。 実施形態に係るイヤホンの断面の概略の一例を示す図である。 実験Ａに使用される怒りレベルの入力画面の一例を示す図である。 実験Ｂにおける被験者Ａの実験結果の一例を示す図である。 実験Ｂにおける被験者Ｂの実験結果の一例を示す図である。 実験Ｂによる被験者Ａの実験結果の他の例を示す図である。 実験Ｂによる被験者Ｂの実験結果の他の例を示す図である。 実験Ｂにおける被験者７名の実際の怒りレベルＡの実験結果の一例を示す図である。 実験Ｂにおける被験者７名の推定の怒りレベルＢの実験結果の一例を示す図である。 実験Ｃにおける被験者Ｃの実験結果の一例を示す図である。 実験Ｃにおける被験者Ｄの実験結果の一例を示す図である。 実施例に係る情報処理装置３０の一例を示すブロック図である。 実施例に係る情報処理装置５０の一例を示すブロック図である。 実施例に係るサーバのモデル生成処理の一例を示すフローチャートである。 実施例に係るコンテンツ出力処理の一例を示すフローチャートである。 実施例に係るデータセット更新処理の一例を示すフローチャートである。 実施例におけるアプリケーション画面の一例を示す図である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施形態］
　以下、実施形態におけるシステムの概要を、図面を用いて説明する。
　＜システムの概要＞
　まず、図１を用いて、実施形態に係るシステム１の概要例を説明する。システム１では、脳波を測定するユーザは、脳波測定デバイスとして、外耳道に生体電極が設けられるイヤホンセット１０を装着する。図１に示す例では、首掛け式のイヤホンセット１０であるが、外耳道から脳波信号がセンシング可能であれば、いずれのイヤホンを用いてもよい。例えば、リファレンス信号を耳たぶから取得するようなイヤホンセットや、その他の位置（外耳道の他の位置）からリファレンス信号やアース信号を取得するようなイヤホンや、完全ワイヤレスのイヤホンなどが利用可能である。
　また、ユーザは、例えば、脳波測定デバイスとして、国際式１０／２０法を用いて脳波を測定するヘッドギアを装着してもよい。また、脳波測定デバイスは、頭皮電極を用いる測定器、頭蓋内電極を用いて脳活動を測定する測定器、磁気共鳴機能画像法（functional magnetic resonance imaging：ｆＭＲＩ）を用いて脳活動を測定する測定器、近赤外光分光法（Near-Infrared Spectroscopy :　ＮＩＲＳ）を用いて脳活動を測定する測定器などの脳波を測定可能な装置を含む。
　図１に示す例の場合、イヤホンセット１０は、外耳道から脳波信号を取得し、ネットワークＮを介して脳波信号を情報処理装置３０又は情報処理装置５０に送信する。また、イヤホンセット１０は、脳波信号に所定の処理を実行し、情報処理装置３０又は情報処理装置５０に送信してもよい。所定の処理は、増幅処理、サンプリング、フィルタリング、差分演算などを含む。
　情報処理装置３０は、例えばサーバであり、脳波測定デバイスにより測定される脳波信号から、ユーザの感情を示す情報を算出する。例えば、情報処理装置３０は、脳波から易怒性に関する感情を抽出する予測モデルを用いて、易怒性に関する感情を示す感情情報を取得してもよい。また、情報処理装置３０は、ユーザによりアノテーションされた学習データを用いることで、予測モデルの精度を向上させてもよい。情報処理装置３０は、生成した予測モデルを情報処理装置５０に送信してもよい。
　情報処理装置５０は、例えば、ユーザが保持する携帯端末などの処理端末であり、イヤホンセット１０から脳波信号を順次取得する。情報処理装置５０は、順次取得される脳波信号を予測モデルに入力して易怒性に関する感情を示す感情情報を取得する。
　情報処理装置５０は、感情情報が所定の条件を満たすときに、ユーザの感情を調整するようなコンテンツを選択し、選択されたコンテンツをイヤホンセット１０に出力する。図１に示す例では、出力装置としてイヤホンセット１０を例に挙げているため、コンテンツは、音を含むコンテンツであるが、出力装置として画像出力装置を用いれば、コンテンツは、動画、静止画、アニメーション等を含んでもよい。また、情報処理装置５０は、脳波信号からユーザの易怒性に関する感情を推定し、その感情を調整するような処理を実行し、機器を操作するため、脳波信号に基づき機器の操作を行うブレーンマシンインタフェースの機能を有する。
　これにより、ユーザの感情に応じて、そのユーザの感情を調整するようなコンテンツを適切に選択することができる。例えば、コンテンツは、音楽、音声、音データ、動画、写真、アニメーション及びゲームなどのうちの少なくとも１つを含む。なお、本開示技術において、コンテンツは、音を含むコンテンツが好適であり、音楽がより好適である。
　＜イヤホンセットの構成＞
　図２～３は、実施形態におけるイヤホンセット１０の概要について説明する。なお、イヤホンセット１０は、図２～３に示す例に限られず、外耳道から脳波をセンシングすることが可能であり、外部装置に出力可能であれば、いずれのイヤホンでも本開示の技術に適用することができる。
　図２は、実施形態に係るイヤホンセット１０の一例を示す図である。図２に示すイヤホンセット１０は、一対のイヤホン１００Ｒ、１００Ｌと、首掛け部１１０とを有する。各イヤホン１００Ｒ、１００Ｌは、首掛け部１１０と信号通信可能なケーブルを用いて接続されるが、無線通信を用いて接続されてもよい。以下、左右を区別する必要がない場合はＲＬを省略する。
　首掛け部１１０は、首の後方に沿う中央部材と、首の両サイドに沿って湾曲した形状を有する棒状部材（アーム）１１２Ｒ、１１２Ｌとを有する。中央部材の背中側の首に接触する表面には、脳波信号をセンシングする電極１２２、１２４が設けられる。電極１２２、１２４それぞれは、アース接続される電極と、リファレンス電極とである。これにより、後述するように、イヤホンのイヤーチップに設けられる弾性電極と距離を離すことができ、精度よく脳波信号を取得することが可能になる。また、首掛け部１１０は、脳波信号を処理する処理部や外部と通信を行う通信装置を有してもよいが、これらの処理部や通信部はイヤホン１００に設けられてもよい。
　また、首掛け部１１０の両サイドの棒状部材１１２Ｒ、１１２Ｌは、その先端側が、付け根側（中央部材側）よりも重くなっており、これにより電極１２２、１２４は、装着者の首に適切に圧着するようになる。例えば、棒状部材１１２Ｒ、１１２Ｌの先端側には重りが設けられる。なお、電極１２２、１２４の位置はこの位置に限られない。
　図３は、実施形態に係るイヤホン１００Ｒの断面の概略の一例を示す図である。図３に示すイヤホン１００Ｒは、例えば、スピーカ１０２とノズル１０４との間に弾性部材（例えばウレタン）１０８を設けてもよい。この弾性部材１０８を設けることにより、スピーカ１０２の振動がイヤーチップ１０６の弾性電極に伝わりにくくなり、イヤーチップ１０６の弾性電極とスピーカ１０２とが音について干渉することを防ぐことができる。
　さらに、弾性電極を含むイヤーチップ１０６は、音導口に位置しているが、弾性電極自身の弾性により、音振動による干渉を防ぐことが可能である。また、ハウジングには弾性部材を採用することで、この弾性部材により、音振動をイヤーチップ１０６の弾性電極に伝えにくく、音振動による干渉を防ぐことが可能である。
　イヤホン１００は、オーディオ・サウンド・プロセッサを含み、このオーディオ・サウンド・プロセッサを使用して、脳波信号に相当する所定の周波数（例えば５０Ｈｚ）以下の音信号をカットしてもよい。特にオーディオ・サウンド・プロセッサは、脳波信号として特徴が出やすい周波数帯域の３０Ｈｚ以下の音信号をカットするが、ベース音を損なわないようにするため、７０Ｈｚ周辺の周波数の音信号を増幅してもよい。
　これにより、音信号と脳波信号とが干渉することを防ぐことができる。また、オーディオ・サウンド・プロセッサは、脳波信号のセンシングがなされている場合にのみ、所定の周波数をカットするようにすればよい。
　また、イヤーチップ１０６は、外耳道からセンシングする脳波信号を、ノズル１０４に設けられる電極の接点に伝導させる。脳波信号は、イヤーチップ１０６から接点を介してイヤホン１００内部の生体センサ（不図示）に伝えられる。生体センサは、順次取得する脳波信号を、ケーブルを介して首掛け部１１０に設けられる処理装置に出力したり、外部の装置に送信したりする。また、イヤーチップ１０６と、生体センサやオーディオ・サウンド・プロセッサを含むハウジングとは、絶縁されていてもよい。
　＜実験の概要＞
　次に、発明者らが行った実験について説明する。この実験により、易怒性を推定する予測モデルの生成、推定された易怒性の妥当性、及び推定された易怒性と音楽との関連性が調べられた。
　（実験Ａ）
　まず、被験者が怒りを感じるときの脳波を記録するために、７人の被験者に対して以下の実験Ａが行われた。
・被験者が怒りイベントを思い出すこと、及びリラックスすることを３回程度、被験者自身のぺースで実行する。
・被験者がポインティングデバイス、例えばマウスを使用し、怒りレベルのゲージを用いて怒りレベル又は怒り度合いをリアルタイムに入力する（例えば図４参照）。
・脳波記録は、ワイヤレス生体計測装置Ｐｏｌｙｍａｔｅ（登録商標）Ｍｉｎｉが使用される。両側頭部（Ｔ７／８）及び頂部（Ｃｚ付近）の３電極が用いられて、５００Ｈｚサンプリングで脳波信号の記録が行われる。
　図４は、実験Ａに使用される怒りレベルの入力画面の一例を示す図である。実験Ａにより、実際の脳波信号と、被験者が入力した怒りレベルとが分析されることで、怒りに関する脳波データを抽出することができる。例えば、怒りを推定する学習モデルが用意され、脳波信号に対して所定処理を行って抽出された脳波データと、その時の被験者の怒りレベルとを学習データ又は教師データとして学習させる。これにより、怒りを推定する予測モデルが生成される。
　（実験Ｂ）
　次に、実験Ｂは、実験Ａにより学習させた怒り推定の予測モデルを利用し、７人の被験者は、実験Ａと同様に怒りとリラックスとを繰り返す。
・脳波信号から予測モデルを利用して解読された怒りレベルが、直前の１０秒内で２ＳＤ（Standard Deviation：標準偏差）を超えたタイミングを「怒りの兆候」と捉え、被験者本人が事前に選んだ「怒りが収まりそうな音楽」３曲～５曲から、ランダムに１曲の冒頭１５秒が被験者に提示される。
・音楽の終了から５秒間は、次の音楽は再生されない。
・実験Ａ同様に、被験者は、自身の怒りレベルを、ゲージ操作でリアルタイムに入力する。
　図５Ａは、実験Ｂにおける被験者Ａの実験結果の一例を示す図であり、図５Ｂは、実験Ｂにおける被験者Ｂの実験結果の一例を示す図である。図５Ａ及びＢの左側のグラフは、横軸が時間、縦軸が怒りレベルの値により表されるグラフである。また、点線は被験者によりアノテーションされた怒りレベルＡを示し、実線は予測モデルを用いて推定された怒りレベルＢを示す。以下、怒りレベルＡは、実際の怒りレベルＡ、怒りレベルＢは、推定の怒りレベルＢとも称する。
　また、図５Ａ及びＢの右側のグラフは、実際の怒りレベルＡと推定の怒りレベルＢとの相関を示す相関グラフである。この相関グラフによれば、被験者Ａの実際の怒りレベルＡと推定の怒りレベルＢとの相関値は０．７９１７４であり、被験者Ｂの実際の怒りレベルＡと推定の怒りレベルＢとの相関値は０．８８９３５である。これにより、生成された予測モデルの妥当性が確認された。
　図６Ａは、実験Ｂによる被験者Ａの実験結果の他の例を示す図であり、図６Ｂは、実験Ｂによる被験者Ｂの実験結果の他の例を示す図である。図６Ａ及びＢに示すグラフでは、音楽の再生と、怒りレベルとの関係を示す。なお、図６Ａ及びＢに示す例では、点線は実際の怒りレベルＡ、実線は推定の怒りレベルＢ、太線は推定の怒りレベルＢの所定期間の移動平均、枠内は音楽が再生されている区間（１５秒）を示す。
　図６Ａ及びＢに示される例では、被験者Ａ及びＢともに、音楽を聴くことにより、実際の怒りレベルＡと推定の怒りレベルＢとの両方の怒りレベルが下がっている。また、区間内の線は、音楽再生時点の怒りレベルＢの点と、音楽終了時の怒りレベルＢの点とをつないだ線を示す。区間内の線が右下がりであると、怒りレベルが下がっているといえる。
　図７Ａは、実験Ｂにおける被験者７名の実際の怒りレベルＡの実験結果の一例を示す図である。図７Ａに示す例では、音楽再生後に怒りレベルが上がった被験者もいるが、音楽再生後は平均して怒りレベルが下がっている。
　図７Ｂは、実験Ｂにおける被験者７名の推定の怒りレベルＢの実験結果の一例を示す図である。図７Ｂに示す例では、音楽再生前に怒りレベルＢを用いて怒りが検知され、音楽が再生されているが、音楽再生後に怒りレベルＢが下がっている。
　なお、図７Ａ及びＢに示すグラフは、以下の条件で作成されている。
・７名の被験者ごとに、推定の怒りレベルＢ、実際の怒りレベルＡは、被験者内で標準化される。
・怒りレベルＡについては、２．５ＳＤ以上はノイズとして排除する。
・音楽開始の条件：直前の１０秒のデータの中で、２ＳＤ以上怒りレベルＢが上がった時
・音楽開始時点の怒りレベルＢから、１０秒前～音楽開始時点までの平均をベースラインとして差し引き、各個人の音楽開始前後のデータを平均化
・黒い太線は全被験者平均。
・音楽開始直後の２秒と、終了時の２秒（音楽開始後１４～１５秒）とを比較（対応のあるｔ検定）。
　なお、ｔ検定の結果は、図７Ａに示す例ではｔ値＝２．１５、ｐ値＝０．０７５であり、図７Ｂに示す例ではｔ値＝２．６９、ｐ値＝０．０３６であった。図７に示す例ではｐ値が０．０５以下であるため、有意差があるといえる。
　（実験Ｃ）
　最後に、実験Ｃにおいて、実験Ａにより生成された怒り推定の予測モデルを利用し、音楽の有無で怒りレベルの調整に差があるか否かが実験された。以下、実験Ｃの条件を示す。
（ａ）音楽無しニューロフィードバック条件：被験者は音楽を聴かず、モニターに表示される自分の怒りレベルを抑えるよう努力する。
（ｂ）音楽ありニューロフィードバック条件：被験者は、自分で様々な音楽を再生しながら自分の怒りレベルをどうすれば抑えられるか試行錯誤する。
上記の２条件で、２名の被験者はできるだけ自分の怒りレベルを下げるよう努力する。
　図８Ａは、実験Ｃにおける被験者Ｃの実験結果の一例を示す図である。図８Ｂは、実験Ｃにおける被験者Ｄの実験結果の一例を示す図である。図８Ａ及びＢともに、左側が音楽なしの実験結果を示し、右側が音楽有の実験結果を示す。実線は、推定の怒りレベルＢを示し、太曲線は、怒りレベルＢの所定期間の移動平均を示し、太い直線は、移動平均の回帰直線を示す。
図８Ａに示す音楽なしの回帰直線の傾き＝０．３７７７４
図８Ａに示す音楽ありの回帰直線の傾き＝０．１２３６３
図８Ｂに示す音楽なしの回帰直線の傾き＝０．０８１９０
図８Ｂに示す音楽ありの回帰直線の傾き＝０．０４３５２
　図８Ａ及びＢに示す例では、２名の被験者は両者とも時間に従い推定される怒りレベルは高くなってしまう傾向にあった。しかし、右側のグラフの回帰直線の傾きによれば、音楽を利用しながらのニューロフィードバックの方が、怒りレベルは低く抑えられる傾向であることが確認された。例えば、図８Ａに示す例では、音楽なしの場合の傾きは０．３７７７４であるのに対し、音楽ありの場合の傾きは０．１２３６３であり、音楽ありのほうが傾きの傾斜が緩くなっており、音楽が怒りレベルの抑制に寄与しているといえる。
　以上のとおり、実験Ａ乃至Ｃから、以下の点が実証された。
・個人の怒りレベルを脳波信号から推定する予測モデルが生成された。
・怒りレベルのリアルタイムな推定ができた。
・推定された怒りレベルから怒りが検知され、音楽の再生により怒りが沈静化された。
以下、外耳道において測定される脳波信号から易怒性に関する易怒性情報を取得し、易怒性情報に基づいてユーザの怒り度合いを判定し、怒り度合いが高ければ音楽を再生する実施例について説明する。
　＜サーバの構成例＞
　図９は、実施例に係る情報処理装置３０の一例を示すブロック図である。情報処理装置３０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置３０は、脳波信号又は脳波情報を処理し、例えば、人工知能（Airtificial Intelligence）の学習機能を用いて脳波信号からユーザの易怒性に関する感情を解析する。情報処理装置３０は、サーバ３０とも表記する。なお、情報処理装置３０は、必ずしもサーバでなくてもよく、汎用コンピュータでもよい。
　サーバ３０は、１つ又は複数のプロセッサ（ＣＰＵ：Central Processing Unit））３１０、１つ又は複数のネットワーク通信インタフェース３２０、メモリ３３０、ユーザインタフェース３５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス３７０を含む。
　サーバ３０は、例えば、場合によりユーザインタフェース３５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。
　メモリ３３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ３３０は、コンピュータ読み取り可能な非一時的記録媒体でもよい。
　また、メモリ３３０の他の例として、プロセッサ３１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施例において、メモリ３３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数のプロセッサ３１０は、メモリ３３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ３１０は、メモリ３３０に格納されているプログラムを実行することで、脳波制御部３１２、取得部３１３、学習部３１４、生成部３１５、出力部３１６を構成してもよい。　脳波制御部３１２は、順に取得される脳波信号を制御したり、処理したりし、以下の各処理を制御する。
　取得部３１３は、脳波測定デバイス、例えばイヤホンセット１０に含まれる生体電極で測定される脳波信号を取得する。脳波測定デバイスは、イヤホンセット１０に限定されない。
　学習部３１４は、脳波信号に基づく易怒性情報を用いてユーザの怒り度合いを推定する予測モデルを保持する。例えば、学習部３１４は、ユーザにより怒り度合いがアノテーションされた易怒性情報を訓練データとして教師あり学習を行う。
　生成部３１５は、学習部３１４により学習された学習結果を取得し、学習済みのパラメータ等を有する予測モデルを生成する。なお、生成部３１５は、学習部３１４に含まれる機能としてもよい。
　出力部３１６は、生成部３１５により生成された予測モデルを、所定の情報処理装置５０に向けて、ネットワーク通信インタフェース３２０を介して出力する。
　以上、サーバ３０によれば、外耳道における脳波信号から、脳波測定デバイスを装着するユーザ個人の怒り推定の予測モデルを生成することができる。また、生成部３１５は、予測モデルの数が所定数以上になった場合、予測モデルを易怒性情報の特徴ごとに分類し、易怒性情報の特徴量と、分類された予測モデルとを対応付けてもよい。これにより、既に生成された予測モデルを利用可能なユーザに対しては、予測モデルが一から生成されなくて済む。
　＜処理端末の構成例＞
　図１０は、実施例に係る情報処理装置５０の一例を示すブロック図である。情報処理装置５０は、例えば、携帯端末（スマートフォンなど）、コンピュータ、タブレット端末などのユーザ端末である。情報処理装置５０は、処理端末５０とも表記する。
　処理端末５０は、１つ又は複数のプロセッサ（例、ＣＰＵ）５１０、１つ又は複数のネットワーク通信インタフェース５２０、メモリ５３０、ユーザインタフェース５５０及びこれらの構成要素を相互接続するための１つ又は複数の通信バス５７０を含む。
　ユーザインタフェース５５０は、ディスプレイ装置５５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）５５２を備える。また、ユーザインタフェース５５０は、タッチパネルでもよい。
　メモリ５３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ５３０は、コンピュータ読み取り可能な非一時的記録媒体でもよい。
　また、メモリ５３０の他の例は、プロセッサ５１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施例において、メモリ５３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数のプロセッサ５１０は、メモリ５３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ５１０は、メモリ５３０に格納されているプログラムを実行することで、アプリケーションの制御部（以下「アプリ制御部」とも称す。）５１２を構成してもよい。このアプリ制御部５１２は、脳波を処理するアプリケーションであり、例えば、取得部５１３、第１判定部５１４、選択部５１５、出力部５１６、第２判定部５１７、更新部５１８を有する。
　取得部５１３は、所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、所定ユーザの易怒性に関する易怒性情報を取得する。例えば、取得部５１３は、ネットワーク通信インタフェース５２０を介して、易怒性情報を取得してもよいし、ネットワーク通信インタフェース５２０を介して取得した脳波信号に所定の処理を行って易怒性情報を取得してもよい。所定の処理は、例えば、脳波信号に対して、易怒性情報を抽出するための周波数変換やフィルタ処理などが、学習された予測モデルへの入力処理などを含む。
　第１判定部５１４は、取得部５１３により取得された易怒性情報が、所定ユーザに対して設定される怒り度合い（怒りレベル）に関する所定条件を満たすか否かを判定する。例えば、第１判定部５１４は、ユーザごとに設けられた閾値を用いて、所定ユーザの怒りの兆候を検知する。閾値は、例えば、所定ユーザの易怒性情報の２標準偏差（２ＳＤ）である。また、閾値は、情報処理装置３０の学習部３１４が学習することにより、ユーザごとに適切な閾値が設定されてもよい。
　選択部５１５は、怒り度合いに関する所定条件が満たされる場合、所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含むデータセットの中から、少なくとも１つのコンテンツを選択する。例えば、データセットは、所定ユーザ又は所定ユーザの家族、親戚、友人等が事前に選んだコンテンツを含む。また、コンテンツは、本実施例では音楽を一例とするが、音を含むコンテンツ、又は画像を含むコンテンツが好適である。
　また、データセットは、このアプリケーションが使用される際に、所定ユーザにとって怒りを抑える効果（鎮静効果）がある音楽が設定され、蓄積されていってもよい。この場合、所定ユーザ又は所定ユーザの周囲のユーザが、所定ユーザの易怒性情報を画面等で確認しながら、その効果を把握し、データセットへ蓄積する操作を行ってもよい。これにより、データセット内のコンテンツを適切に増やしていくことが可能になり、所定ユーザに対して飽きさせないデータセットを作成することが可能になる。
　また、アプリ制御部５１２は、音楽再生中に所定ユーザの易怒性情報をリアルタイムにモニタリングし、怒りを抑える効果がある再生中の音楽を自動的にデータセットに含めるようにしてもよい。これにより、データセットへ蓄積する操作を行う必要がなく、ユーザ負担を軽減することが可能になる。
　出力部５１６は、選択部５１５により選択されたコンテンツを、イヤホンセット１０、又は自装置に設けられるスピーカに出力する。
　以上の処理によれば、所定ユーザの易怒性に応じて、そのユーザの易怒性を抑えるような音楽を適切に選択することができる。例えば、所定ユーザの脳波から易怒性情報が取得され、所定ユーザに応じて怒り度合いに関する条件が設定され、所定ユーザに対応するデータセットから音楽が選択されるため、使用者個人へのカスタマイズを可能とすることできる。
　また、取得部５１３は、所定ユーザの脳波信号を用いて所定ユーザの易怒性が学習された学習モデルに対し、所定ユーザの脳波信号が順に入力され、学習モデルから順に出力される易怒性情報を取得することを含んでもよい。例えば、学習モデルは、上述した怒りを推定する予測モデルである。この場合、取得部５１３は、イヤホンセット１０により測定された脳波信号を予測モデルに入力し、この予測モデルから出力された易怒性情報を取得してもよい。予測モデルは、情報処理装置３０から送信され、アプリ制御部５１２又は取得部５１３が所持していればよい。また、取得部５１３は、イヤホンセット１０により、予測モデルを用いて出力された易怒性情報を取得してもよい。
　以上の処理によれば、ユーザごとに予測モデルを生成し、ユーザごとの易怒性情報を用いることが可能になる。また、ユーザごとの易怒性に対して、ユーザに応じて閾値等を設定することなどができ、ユーザに応じたカスタマイズに対応することができる。
　また、易怒性情報の取得に用いられる学習モデルは、所定ユーザにより易怒性がアノテーションされた教師あり学習を用いて学習された学習モデルを含んでもよい。例えば、実験Ａに示すように、ユーザから直接アノテーションしてもらうことで、より適切な予測モデルを生成することができる。
　また、易怒性の判定に用いられる所定条件は、所定ユーザの易怒性情報を用いて設定される怒り判定条件を含んでもよい。例えば、図７Ｂに示すように、易怒性情報のピーク時の大きさは、ユーザによって異なり得る。よって、ユーザＡの易怒性情報に基づいてユーザＡ用の閾値、ユーザＢの易怒性情報に基づいてユーザＢ用の閾値など、ユーザごとに怒りを検知する条件が変更されてもよい。
　以上の処理により、ユーザの実際の脳波に基づく易怒性情報を用いて怒りを検知するための条件を設定することで、ユーザごとの怒りを適切に検出することが可能になる。例えば、怒りを検知するための条件として、易怒性情報に対する閾値がある。この閾値は、ユーザごとに予め設定されてもよいし、予測モデルに対する学習を随時行うことで適宜変更されてもよい。
　また、選択部５１５は、取得部５１３により順次取得される易怒性情報に基づいて、選択中のコンテンツ（例、音楽）を他のコンテンツに変更することを含んでもよい。例えば、選択部５１５は、コンテンツの出力中に、易怒性情報が抑制又は沈静化されないようであれば、選択中のコンテンツを最後まで出力せずに、他のコンテンツを選択してもよい。コンテンツの出力を変更する条件は、例えば、コンテンツの出力中の平均易怒性情報が、コンテンツ出力開始時の易怒性情報より大きいなどを含む。
　以上の処理により、本システム１は、選択されたコンテンツの適否をリアルタイムに取得される易怒性情報に基づいて判定することができ、必要に応じて選択されたコンテンツを変更することができる。また、選択部５１５は、易怒性情報の抑制効果又は鎮静効果が低いと判定されたコンテンツの優先度を低くし、優先度が低いコンテンツを選択しないようにしてもよい。
　また、脳波測定デバイスは、脳波信号を測定する生体電極を有するイヤホンであり、イヤホンから少なくとも１つの音楽データが出力されるようにしてもよい。イヤホンは、図１に示すようなイヤホンセット１０、又は生体電極を有するワイヤレスイヤホンなどを含む。
　脳波測定デバイスがイヤホンであることにより、脳波信号を測定するデバイスと、選択されたコンテンツを出力するデバイスとを共通化することができ、ユーザに対して、脳波測定に対する負担を軽減することが可能になる。
　以上、情報処理装置５０によれば、脳波測定デバイスから測定される脳波信号に基づく易怒性情報を用いることで、所定ユーザの怒りを適切に検知し、所定ユーザの怒りを抑えることを試みるコンテンツを選択して出力することが可能になる。また、情報処理装置５０は、リアルタイムで所定ユーザの易怒性情報を取得し、コンテンツの適否を判定することも可能である。出力中のコンテンツの適否判定について、以下に詳細に説明する。
　第２判定部５１７は、選択部５１５により選択されたコンテンツの出力中に取得される易怒性情報の差分情報に基づいて、出力中のコンテンツによる鎮静効果を判定する。例えば、第２判定部５１７は、コンテンツ出力時の易怒性情報とコンテンツ出力から所定時間経過後の易怒性情報との差分情報に基づいて、易怒性情報が鎮静に向かっているかを判定する。より具体的には、第２判定部５１７は、易怒性情報の差分情報が、コンテンツ出力時の易怒性情報よりも減少していることを示せば、出力中のコンテンツは鎮静効果ありと判定する。一方で、第２判定部５１７は、コンテンツ出力後も易怒性情報が減少しなければ、出力中のコンテンツは鎮静効果なしと判定する。
　また、第２判定部５１７は、コンテンツ出力開始から所定時間の間、易怒性情報の微分情報の平均値を算出し、この平均値を用いて出力中のコンテンツの鎮静効果を判定してもよい。例えば、第２判定部５１７は、易怒性情報の単位時間の差分情報（例、傾き情報）の平均値が閾値以下になった場合に、出力中のコンテンツは鎮静効果ありと判定し、平均値が閾値より大きければ、出力中のコンテンツは鎮静効果なしと判定してもよい。
　以上の処理により、出力中のコンテンツが、実際にユーザの易怒性に対して鎮静効果があるかを判定することが可能である。例えば、コンテンツ出力中も脳波を測定、分析し続けることで、脳波信号を用いての易怒性の鎮静効果の判定が可能になる。
　更新部５１８は、第２判定部５１７により判定された鎮静効果に基づいて、所定ユーザのデータセットを更新する。例えば、更新部５１８は、鎮静効果がないコンテンツをデータセットから削除したり、又は優先度を低くしたりする。また、更新部５１８は、鎮静効果があるコンテンツに付加情報を関連付けることにより、例えば、お気に入りマークを関連付けることにより、データセットから優先的に選択部５１５により選択されるようにしてもよい。
　以上の処理により、所定ユーザのデータセットに対し、出力中のコンテンツの実際の鎮静効果に応じて更新することが可能になる。その結果、ユーザごとにデータセットのカスタマイズを適切に行うことが可能になる。
　また、第２判定部５１７は、コンテンツの出力が開始されてから所定時間内に取得される易怒性情報を用いて差分情報を算出することを含んでもよい。所定時間は、例えばコンテンツ出力後の２０秒などである。
　以上の処理により、コンテンツの出力を開始してからの所定時間で、鎮静効果があるか否かを判定することが可能になり、情報処理装置５０の処理効率を向上させることが可能になる。また、鎮静効果がなさそうなコンテンツを不要に出力し続けることを防止することが可能になる。
　また、第２判定部５１７は、差分情報の大きさに応じて、鎮静効果を細分化した複数のセットのいずれに対応するかを判定することを含んでもよい。例えば、第２判定部５１７は、差分情報に対して、複数の段階的な閾値を設定しておき、鎮静効果を細分化して複数のセットのそれぞれに関連付けておく。例えば、第１セットは、第１閾値未満、第２セットは、第１閾値以上第２閾値未満、第３セットは第２閾値以上などであり、第１セットは鎮静効果なし、第２セットは鎮静効果がある、第３セットは鎮静効果がかなり大きいなどである。
　以上の処理により、差分情報の大きさに応じて鎮静効果を細分化することにより、コンテンツの鎮静効果に対してレベル分けすることが可能になる。
　更新部５１８は、出力されたコンテンツを、差分情報の大きさに対応するセットに分類してデータセットを更新することを含んでもよい。例えば、更新部５１８は、出力されたコンテンツが第２セットに対応する鎮静効果であれば、第２セットに分類してデータセットを更新し、出力されたコンテンツが第３セットに対応する鎮静効果であれば、第３セットに分類してデータセットを更新する。
　以上の処理により、鎮静効果をレベル分けし、レベルごとに対応するコンテンツのセットを生成することができる。また、選択部５１５は、鎮静効果のレベルに応じたコンテンツの選択等が可能になる。
　また、選択部５１５は、所定ユーザの怒りを示す所定条件が満たされる際の易怒性情報の差分情報に基づいて、データセット内のいずれかのセットを選択することを含んでもよい。また、選択部５１５は、選択されたセットに分類された１又は複数のコンテンツの中から、少なくとも１つのコンテンツを選択することを含んでもよい。例えば、所定ユーザの易怒性情報が怒りを示す場合に、怒りと判定された際の易怒性情報の微分情報（例、傾き情報）が閾値より大きい場合（例、急に怒り閾値に到達した場合）、選択部５１５は、第３セットの中からコンテンツを選択する。また、怒りと判定された際の易怒性情報の微分情報が閾値より小さい場合、選択部５１５は、第２セットの中からコンテンツを選択してもよい。
　以上の処理により、所定ユーザの怒りが検知された際に、所定ユーザが急に怒り出したのか、穏やかに怒りだしたのかに応じて、出力するコンテンツを使い分けることが可能になる。例えば、所定ユーザが急に怒り出した場合、鎮静効果がより大きいセットの中からコンテンツが選択され、所定ユーザが穏やかに怒り出した場合、鎮静効果が一定程度あるセットの中からコンテンツが選択され得る。
　また、選択部５１５は、易怒性情報が怒り度合いの所定範囲内に収まるように、出力されたコンテンツを含むセットとは異なるセットに分類された１又は複数のコンテンツの中から、少なくとも１つのコンテンツを選択することを含んでもよい。例えば、選択部５１５は、第３セットのコンテンツを選択することにより、易怒性情報が急に下がってきた場合、易怒性情報が下がりすぎないように、第２セットのコンテンツを選択することで、出力中のコンテンツを切り替えるようにする。
　具体例として、下限の第１１閾値と上限の第１２閾値とにより所定範囲が示される場合、第３セット内のコンテンツの出力後に、易怒性情報の微分情報が閾値を超えて第１２閾値以下になった場合に、選択部５１５は、第２セットのコンテンツを選択する。また、易怒性情報が第１１閾値以下になった場合に、第３セットから第２セットのコンテンツに切り替えられてもよい。また、第２セットのコンテンツの出力中に、第１２閾値より大きい易怒性情報が所定時間続いた場合、選択部５１５は、第３セットのコンテンツを選択してもよい。
　以上の処理により、コンテンツの鎮静効果を考慮してコンテンツを切り替えることにより、易怒性を適度な所定範囲内に収めようとすることができる。
　＜動作＞
　次に、実施例に係るシステム１の動作について説明する。図１１は、実施例に係るサーバ３０のモデル生成処理の一例を示すフローチャートである。図１１に示す例では、サーバ３０が、学習モデルを生成する処理について説明する。
　ステップＳ１０２において、取得部３１３は、所定ユーザの外耳道に接触する生体電極により測定される脳波情報を取得する。例えば、取得部３１３は、イヤホンのイヤーチップに設けられる生体電極により測定される脳波情報を取得する。
　ステップＳ１０４において、取得部３１３は、取得された脳波信号に対して、易怒性情報を取得するための前処理（加工処理）を行う。加工処理は、例えば、サンプリング処理、フィルタリング処理、周波数変換処理、加減乗除処理などのうち、少なくとも１つである。
　ステップＳ１０６において、学習部３１４は、脳波情報に基づく易怒性情報と、所定ユーザによるアノテーション結果とを含む訓練データを用いて学習する。例えば、学習部３１４は、怒りを推定する予測モデルを用いて、脳波情報を予測モデルに入力すると、易怒性情報を出力する。
　ステップＳ１０８において、生成部３１５は、脳波信号からの易怒性情報の抽出を学習した予測モデルを生成する。例えば、学習部３１４により脳波情報に基づく易怒性情報が学習されることで、生成部３１５は、脳波情報から所定ユーザの易怒性を推論するような予測モデルを生成する。なお、予測モデルは、脳波信号から怒りの予兆を検出した結果を含む易怒性情報を出力するようにしてもよい。
　以上の処理によれば、外耳道における脳波信号から、脳波測定デバイスを装着するユーザごとに怒り推定の予測モデルを生成することができる。
　図１２は、実施例に係るコンテンツ出力処理の一例を示すフローチャートである。図１２に示す例では、情報処理装置５０が実行する処理として説明するが、イヤホンセット１０が実行する処理でもよい。
　ステップＳ２０２において、取得部５１３は、イヤホンセット１０から、ネットワーク通信インタフェース５２０を介して脳波信号を順に取得する。
　ステップＳ２０４において、取得部５１３は、脳波信号に所定の処理を実行して易怒性情報を順に取得する。なお、イヤホンセット１０が脳波信号を処理して易怒性情報を算出する場合、取得部５１３は、イヤホンセット１０から易怒性情報を順に取得する。
　ステップＳ２０６において、判定部５１４は、順に取得される易怒性情報が、怒り度合いに関する所定条件を満たすか否かを判定する。怒り度合いに関する所定条件が満たされると（ステップＳ２０６－ＹＥＳ）、処理はステップＳ２０８に進み、怒り度合いに関する処理が満たされないと（ステップＳ２０６－ＮＯ）、処理はステップＳ２０２に戻る。
　ステップＳ２０８において、判定部５１４は、コンテンツが出力中であるか否かを判定する。コンテンツが出力中でなければ（ステップＳ２０８－ＮＯ）、処理はステップＳ２１０に進み、コンテンツが出力されていれば（ステップＳ２０８－ＹＥＳ）、処理はステップＳ２０２に戻る。なお、ステップＳ２０６とＳ２０８の判定を入れ替えてもよい。また、コンテンツが出力中であっても、所定時間、怒り度合いに関する所定条件を満たす場合は、処理はステップＳ２１０に進んでもよい。
　ステップＳ２１０において、選択部５１５は、所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含むデータセットの中から、少なくとも１つのコンテンツを選択する。
　ステップＳ２１２において、出力部５１６は、選択されたコンテンツをイヤホンセット１０、自装置のスピーカ、又は他装置のスピーカに出力する。
　以上の処理により、脳波測定デバイスから測定される脳波信号に基づく易怒性情報を用いることで、所定ユーザの怒りを適切に検知し、所定ユーザの怒りを抑えることを試みるコンテンツを選択して出力することが可能になる。
　図１３は、実施例に係るデータセット更新処理の一例を示すフローチャートである。図１３に示す例は、選択部５１５により選択されたコンテンツがユーザに出力されている際に実行される処理を含む。
　ステップＳ３０２において、第２判定部５１７は、選択部５１５により選択されたコンテンツの出力中に取得される易怒性情報の差分情報を算出する。差分情報は、例えば、単位時間当たりの微分値（傾き）を含む。
　ステップＳ３０４において、第２判定部５１７は、差分情報に基づいて、出力中のコンテンツによる鎮静効果を判定する。例えば、第２判定部５１７は、コンテンツ出力時の易怒性情報とコンテンツ出力から所定時間経過後の易怒性情報との差分情報に基づいて鎮静効果を判定する。具体例として、第２判定部５１７は、易怒性情報の差分情報が、コンテンツ出力時の易怒性情報よりも所定値以上減少していることを示せば、出力中のコンテンツは鎮静効果ありと判定し、コンテンツ出力後も易怒性情報が減少しなければ、出力中のコンテンツは鎮静効果なしと判定してもよい。
　ステップＳ３０６において、更新部５１８は、第２判定部５１７により判定された鎮静効果に基づいて、所定ユーザのデータセットを更新する。例えば、更新部５１８は、鎮静効果がないコンテンツをデータセットから削除したり、又は優先度を低くしたりする。また、更新部５１８は、鎮静効果があるコンテンツを特定することにより、データセットから優先的に選択部５１５により選択されるようにしてもよい。
　以上の処理により、所定ユーザのデータセットを、出力中のコンテンツの実際の鎮静効果に応じて更新することが可能になる。その結果、ユーザごとにデータセットのカスタマイズを適切に行うことが可能になる。
　＜画面例＞
　図１４は、実施例におけるアプリケーション画面の一例を示す図である。図１４に示す例では、コンテンツの一例である音楽の再生中に、脳波信号に基づく易怒性情報がリアルタイムに表示される一例を示す図である。例えば、画面上部において、選択された音楽の情報が表示され、また、この音楽に対して、再生、停止、早送り、巻き戻しなどの操作が可能である。
　画面中央には、リアルタイムの易怒性情報を示すスコア値が表示され、順次更新される。例えばスコア値が大きい方が怒りレベルが高く、スコア値が小さい方が落ち着いていることを示す。図１４に示す例では、易怒性情報のスコア値は、Ａｎｇｅｒ　Ｌｅｖｅｌと表記される。
　音楽再生中にこのＡｎｇｅｒ　Ｌｅｖｅｌが下がってきた場合、この音楽は易怒性に効果があると判断できるため、情報処理装置５０利用するユーザがハートマークの記号を押下するなどして、脳波測定ユーザのプレイリストに、再生中の音楽を含めるようにしてもよい。なお、選択部５１５は、音楽再生中に所定の閾値以下にＡｎｇｅｒ　Ｌｅｖｅｌが下がった場合に、上述したとおり、再生中の音楽を自動でプレイリストに登録してもよい。ＳＴＯＰボタンは、脳波の測定を中止するボタンであり、ＳＴＯＰボタンが押下されると、アプリ制御部５１２が、イヤホンセット１０に脳波の測定を中止するコマンドを送信してもよい。
　図１４に示す画面例に、再生中の音楽を変更する機能が追加されたり、易怒性情報が時系列データとしてグラフで表示されるように変更されたりしてもよい。情報処理装置５０を利用するユーザは、脳波測定対象のユーザの易怒性をリアルタイムに把握することが可能になる。なお、情報処理装置５０を利用するユーザと、脳波測定対象のユーザは、同一ユーザであってもよいし、異なるユーザであってもよい。
　＜適用例＞
　上述したアプリケーションは、認知障害を有するユーザがいる介護施設等で好適に適用されうる。例えば、認知障害を有するユーザに脳波測定デバイスを装着してもらい、介護者又は家族が情報処理装置５０を利用する。認知障害を有するユーザは、頻繁に怒りっぽくなってしまうため、怒るタイミングを検知して、このユーザに対して鎮静効果のあるコンテンツを出力する。これにより、脳波測定ユーザが怒ってしまうことを未然に防ぐことを試みることができる。例えば、ユーザごとに怒りの鎮静効果がある音楽は異なるが、鎮静効果のある音楽がプレイリストとして登録されていれば、ユーザごとのプレイリストの中から音楽が選択されて出力される。
　例えば、プレイリストは、認知障害を有するユーザの家族などが選曲したり、上述したように、情報処理装置５０を利用するユーザが、再生中の音楽に対して、リアルタイムの易怒性情報を見ながら、効果の有無を判定してプレイリストに登録したりすることができる。これは、認知症患者の易怒性に関し、音楽療法が効き、ユーザごとに効果のある音楽が異なるという公知の知見に基づいている。
　また、コンテンツは、音楽を例にしているが、音の要素を含む動画、ゲームなどでもよい。また、上述した実験Ａ及びＢなどにより、音楽の代わりに、静止画や音要素を含まない動画、アニメーションなどを実験することにより、ユーザごとに効果のなるコンテンツを特定してもよい。
　＜変形例＞
　以上、上述した実施形態及び実施例は、本開示の技術を説明するための例示であり、本開示の技術をその実施形態及び実施例のみに限定する趣旨ではなく、本開示の技術は、その要旨を逸脱しない限り、さまざまな変形が可能である。
１　システム
１０　イヤホンセット
３０、５０　情報処理装置
１００　イヤホン
１０４　ノズル
１０６　イヤーチップ（弾性電極）
３１０　プロセッサ
３１２　脳波制御部
３１３　取得部
３１４　学習部
３１５　生成部
３１６　出力部
３３０　メモリ
３１０　プロセッサ
５１２　アプリ制御部
５１３　取得部
５１４　第１判定部
５１５　選択部
５１６　出力部
５１７　第２判定部
５１８　更新部
５３０　メモリ
 

Claims (9)

  1. 　情報処理装置に含まれるプロセッサが、
    　所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、前記所定ユーザの易怒性に関する易怒性情報を取得すること、
    　前記易怒性情報が、前記所定ユーザに対して設定される怒り度合いに関する所定条件を満たすか否かを判定すること、
    　前記所定条件が満たされる場合、前記所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含む前記データセットの中から、少なくとも１つのコンテンツを選択すること、
    　選択されたコンテンツの出力中に取得される前記易怒性情報の差分情報に基づいて、当該コンテンツによる鎮静効果を判定すること、
    　を実行する情報処理方法。
  2. 　判定された鎮静効果に基づいて、前記データセットを更新することをさらに実行する、請求項１に記載の情報処理方法。
  3. 　前記判定することは、
    　前記コンテンツの出力が開始されてから所定時間内に取得される前記易怒性情報を用いて前記差分情報を算出することを含む、請求項１に記載の情報処理方法。
  4. 　前記判定することは、
    　前記差分情報の大きさに応じて、前記鎮静効果を細分化した複数のセットのいずれに対応するかを判定することを含む、請求項２に記載の情報処理方法。
  5. 　出力されたコンテンツを、対応する前記セットに分類して前記データセットを更新することをさらに実行する、請求項４に記載の情報処理方法。
  6. 　前記選択することは、
    　前記所定条件が満たされる際の前記易怒性情報の差分情報に基づいて、前記データセット内のいずれかのセットを選択すること、
    　選択されたセットに分類された１又は複数のコンテンツの中から、少なくとも１つのコンテンツを選択することを含む、請求項５に記載の情報処理方法。
  7. 　前記選択することは、
    　前記易怒性情報が前記怒り度合いの所定範囲内に収まるように、出力されたコンテンツを含むセットとは異なるセットに分類された１又は複数のコンテンツの中から、少なくとも１つのコンテンツを選択することを含む、請求項５に記載の情報処理方法。
  8. 　情報処理装置に含まれるプロセッサに、
    　所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、前記所定ユーザの易怒性に関する易怒性情報を取得すること、
    　前記易怒性情報が、前記所定ユーザに対して設定される怒り度合いに関する所定条件を満たすか否かを判定すること、
    　前記所定条件が満たされる場合、前記所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含む前記データセットの中から、少なくとも１つのコンテンツを選択すること、
    　選択されたコンテンツの出力中に取得される前記易怒性情報の差分情報に基づいて、当該コンテンツによる鎮静効果を判定すること、
    　を実行させるプログラム。
  9. 　プロセッサを含む情報処理装置であって、
    　前記プロセッサが、
    　所定ユーザに装着された脳波測定デバイスから測定される脳波信号に基づき、前記所定ユーザの易怒性に関する易怒性情報を取得すること、
    　前記易怒性情報が、前記所定ユーザに対して設定される怒り度合いに関する所定条件を満たすか否かを判定すること、
    　前記所定条件が満たされる場合、前記所定ユーザに関連付けられるデータセットであって、１又は複数のコンテンツを含む前記データセットの中から、少なくとも１つのコンテンツを選択すること、
    　選択されたコンテンツの出力中に取得される前記易怒性情報の差分情報に基づいて、当該コンテンツによる鎮静効果を判定すること、
    　を実行する情報処理装置。
     
     
     
PCT/JP2022/039621 2021-10-29 2022-10-25 プログラム、情報処理方法、及び情報処理装置 WO2023074656A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/040131 WO2023073956A1 (ja) 2021-10-29 2021-10-29 プログラム、情報処理方法、及び情報処理装置
JPPCT/JP2021/040131 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023074656A1 true WO2023074656A1 (ja) 2023-05-04

Family

ID=86157656

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2021/040131 WO2023073956A1 (ja) 2021-10-29 2021-10-29 プログラム、情報処理方法、及び情報処理装置
PCT/JP2022/039621 WO2023074656A1 (ja) 2021-10-29 2022-10-25 プログラム、情報処理方法、及び情報処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040131 WO2023073956A1 (ja) 2021-10-29 2021-10-29 プログラム、情報処理方法、及び情報処理装置

Country Status (1)

Country Link
WO (2) WO2023073956A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041460A (ja) * 2016-09-09 2018-03-15 ソニー株式会社 感情状態検出に基づいて電子デバイス上で推奨を提供するためのシステム及び方法
JP2019129914A (ja) * 2018-01-29 2019-08-08 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US20200315510A1 (en) * 2019-04-04 2020-10-08 Hi Llc Modulation of mental state of a user using a non-invasive brain interface system and method
JP2020177577A (ja) * 2019-04-22 2020-10-29 株式会社デンソー ウェアラブルセンサおよびそれを用いた操作支援システム
CN112545516A (zh) * 2020-12-07 2021-03-26 中国第一汽车股份有限公司 一种情绪调节方法、装置、系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018187044A (ja) * 2017-05-02 2018-11-29 国立大学法人東京工業大学 感情推定装置、感情推定方法およびコンピュータプログラム
JP7410557B2 (ja) * 2020-02-04 2024-01-10 株式会社Agama-X 情報処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041460A (ja) * 2016-09-09 2018-03-15 ソニー株式会社 感情状態検出に基づいて電子デバイス上で推奨を提供するためのシステム及び方法
JP2019129914A (ja) * 2018-01-29 2019-08-08 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US20200315510A1 (en) * 2019-04-04 2020-10-08 Hi Llc Modulation of mental state of a user using a non-invasive brain interface system and method
JP2020177577A (ja) * 2019-04-22 2020-10-29 株式会社デンソー ウェアラブルセンサおよびそれを用いた操作支援システム
CN112545516A (zh) * 2020-12-07 2021-03-26 中国第一汽车股份有限公司 一种情绪调节方法、装置、系统及存储介质

Also Published As

Publication number Publication date
WO2023073956A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
CN111867475B (zh) 次声生物传感器系统和方法
US10824232B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US10345901B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US10685577B2 (en) Systems and methods for delivering sensory input during a dream state
JP4861538B2 (ja) 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
US20240023892A1 (en) Method and system for collecting and processing bioelectrical signals
US20180184964A1 (en) System and signatures for a multi-modal physiological periodic biomarker assessment
WO2017069644A2 (en) Wireless eeg headphones for cognitive tracking and neurofeedback
CN112005311A (zh) 用于基于睡眠架构模型向用户递送感官刺激的系统和方法
US20220022809A1 (en) Systems and methods to detect and treat obstructive sleep apnea and upper airway obstruction
JP2015229040A (ja) 感情分析システム、感情分析方法および感情分析プログラム
JP2010042236A (ja) ヒトの感覚判定方法及びその判定装置
Alcaide et al. EEG-based focus estimation using neurable’s enten headphones and analytics platform
WO2023074656A1 (ja) プログラム、情報処理方法、及び情報処理装置
Kumar et al. Estimation of affective states in virtual reality environments using EEG
JP2009183346A (ja) 精神状態変動装置
JP3154384U (ja) 精神状態変動装置
JP5011555B2 (ja) 睡眠計及び睡眠状態判定プログラム
CN113208621A (zh) 一种基于eeg信号的梦境交互方法、系统
JP2013085731A (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
TW202137939A (zh) 病理狀況分析系統，病理狀況分析裝置，病理狀況分析方法和病理狀況分析程式
WO2024009944A1 (ja) 情報処理方法、記録媒体、及び情報処理装置
WO2024101388A1 (ja) 情報処理方法、プログラム、及び情報処理装置
KR102361994B1 (ko) 배틀 게임 시스템
WO2023136336A1 (ja) 診断支援システム、診断支援方法、及び診断支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886983

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023556449

Country of ref document: JP

Kind code of ref document: A