WO2024101388A1 - 情報処理方法、プログラム、及び情報処理装置 - Google Patents

情報処理方法、プログラム、及び情報処理装置 Download PDF

Info

Publication number
WO2024101388A1
WO2024101388A1 PCT/JP2023/040207 JP2023040207W WO2024101388A1 WO 2024101388 A1 WO2024101388 A1 WO 2024101388A1 JP 2023040207 W JP2023040207 W JP 2023040207W WO 2024101388 A1 WO2024101388 A1 WO 2024101388A1
Authority
WO
WIPO (PCT)
Prior art keywords
sedation
information processing
user
depth
electroencephalogram
Prior art date
Application number
PCT/JP2023/040207
Other languages
English (en)
French (fr)
Inventor
拓也 茨木
友規 矢野
雄介 依田
弘憲 砂川
崇 渡邊
学 橋本
Original Assignee
Ｖｉｅ株式会社
国立研究開発法人国立がん研究センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｅ株式会社, 国立研究開発法人国立がん研究センター filed Critical Ｖｉｅ株式会社
Publication of WO2024101388A1 publication Critical patent/WO2024101388A1/ja

Links

Images

Definitions

  • the present invention relates to an information processing method, a program, and an information processing device.
  • the Bispectral Index (BIS) technology which monitors electroencephalograms, has been known as a method for determining a patient's state of sedation during anesthesia.
  • BIS Bispectral Index
  • a technology that applies electrical stimulation to a living body determines the state of analgesia from the body's reaction, and outputs an index related to the patient's sedation
  • Patent Document 1 There is also a technology that uses machine learning to estimate the sedation level from electroencephalogram signals (see, for example, Patent Document 2).
  • Patent Document 2 also uses a sensor that has at least six electrodes and is attached to the skin on the forehead (e.g., Masimo's SedLine (registered trademark)), which raises concerns about the discomfort and ease of wearing it.
  • Masimo's SedLine registered trademark
  • one aspect of the disclosed technology aims to provide an information processing method, program, and information processing device that enable a simple and appropriate sedation monitoring method.
  • the information processing method involves an information processing device sequentially acquiring EEG signals from an EEG measuring device worn on a user's ear, estimating the sedation depth for the EEG signals acquired in the sequence using the sequentially acquired EEG signals and a learning model that has learned learning data including the EEG signals and the sedation depth for the EEG signals, and outputting sedation depth information related to the estimated sedation depth.
  • One aspect of the disclosed technology makes it possible to provide a simple and appropriate sedation monitoring method.
  • FIG. 1 is a diagram illustrating an example of an overview of an information processing system according to an embodiment.
  • FIG. 1 is a diagram illustrating an example of an earphone set according to an embodiment. 1 is a diagram showing an example of a schematic cross section of an earphone according to an embodiment.
  • FIG. FIG. 1 is a diagram illustrating an application example of an information processing system 1 according to an embodiment.
  • FIG. 1 shows the scores of the sedation scale RASS.
  • FIG. 13 is a diagram showing an example of data of subject A in this experiment.
  • FIG. 13 shows the classification accuracy of subject A.
  • FIG. 13 is a diagram showing the relationship between RASS and BIS throughout the measurement period in subject A and the estimated values of the estimation model.
  • FIG. 13 is a diagram showing the relationship between three electroencephalogram signals and sedation depth.
  • FIG. 13 is a diagram showing the accuracy of the estimated values of the estimation model for each subject.
  • FIG. 13 shows the results of a t-test using cross-correlation coefficients.
  • FIG. 2 is a block diagram showing an example of a server according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a processing terminal according to the embodiment.
  • 13 is a flowchart illustrating an example of an estimation model generation process of the server according to the embodiment.
  • 13 is a flowchart illustrating an example of a process for estimating a sedation depth by the processing terminal according to the embodiment.
  • 13 is a flowchart illustrating an example of a learning model generation process of the processing terminal according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a display screen according to the embodiment.
  • a user who is to measure an electroencephalogram wears an earphone set 10 having a bioelectrode provided in an ear canal as an electroencephalogram measuring device.
  • a neck-worn earphone set 10 is used, but any earphones may be used as long as they are capable of sensing EEG signals from the ear canal.
  • earphone sets that obtain a reference signal from the earlobe, earphones that obtain a reference signal or earth signal from other positions (other positions in the ear canal), completely wireless earphones, etc. can be used.
  • the EEG measuring device is not limited to the earphone type, and may be, for example, a headphone type, with a bioelectrode provided in the earmuff portion.
  • the earphone set 10 acquires an EEG signal from the ear canal and transmits the EEG signal to the information processing device 30 or the information processing device 50 via the network N.
  • the network N includes a wired or wireless network, and may use short-range wireless communication such as Bluetooth (registered trademark).
  • the earphone set 10 may also perform a predetermined process on the EEG signal and transmit it to an information processing device 30 that acts as a server or an information processing device 50 used by the user.
  • the predetermined process includes at least one of the following processes: amplification, sampling, filtering, and differential calculation.
  • the information processing device 30 is, for example, a server, which acquires EEG signals measured by an EEG measuring device and executes various processes. For example, the information processing device 30 extracts feature data from the EEG signals of a user (e.g., a patient) receiving an anesthetic, performs machine learning using learning data in which this feature data is labeled with the user's sedation depth, and generates an estimation model that estimates the sedation depth. This makes it possible to generate an estimation model that acquires EEG signals and estimates the sedation depth while reducing the burden on the user by using a simple device.
  • the information processing device 30 may also transmit the generated estimation model to the information processing device 50.
  • the information processing device 30 may also be configured so that the information processing device 50 first acquires an EEG signal, and then acquires the EEG signal via a specified application.
  • the information processing device 30 may also calculate feature data based on the EEG signals acquired in sequence, input the feature data into the estimation model, and transmit sedation depth information including the estimated sedation depth to the information processing device 50.
  • the information processing device 50 is, for example, a processing terminal such as a mobile terminal held by a user, and sequentially acquires EEG signals from the earphone set 10.
  • the information processing device 50 may input the sequentially acquired EEG signals into an estimation model to acquire sedation depth information.
  • the information processing device 50 may also output the acquired EEG signals or feature data to the information processing device 30, and acquire sedation depth information from the information processing device 30.
  • the information processing device 50 may output an alarm, an estimated dose of anesthesia, a waveform of the sedation depth, etc., based on the estimated sedation depth to a display, or may output sound data, etc., to a sound output device (e.g., earphone set 10). This makes it possible to output information regarding the sedation depth estimated from the EEG signal, making it possible to inform other users (e.g., doctors, etc.) of the patient's sedation state.
  • a sound output device e.g., earphone set 10
  • ⁇ Earphone set composition> 2 and 3 will explain an overview of the earphone set 10 in the embodiment.
  • the earphone set 10 is not limited to the example shown in Fig. 2 and 3, and any earphones can be applied to the technology of the present disclosure as long as they are capable of sensing brain waves from the ear canal and outputting them to an external device.
  • FIG. 2 is a diagram showing an example of an earphone set 10 according to an embodiment.
  • the earphone set 10 shown in FIG. 2 has a pair of earphones 100R, 100L and a neck strap 110.
  • Each of the earphones 100R, 100L is connected to the neck strap 110 using a cable capable of signal communication, but may also be connected using wireless communication.
  • RL will be omitted when there is no need to distinguish between left and right.
  • the neck strap 110 has a central member that fits along the back of the neck, and rod-shaped members (arms) 112R, 112L that are curved along both sides of the neck. Electrodes 122, 124 for sensing EEG signals are provided on the surface of the central member that comes into contact with the neck on the back side.
  • the electrodes 122, 124 are an electrode that is connected to earth and a reference electrode, respectively. This allows the electrodes to be spaced apart from the elastic electrodes provided on the ear tips of the earphones, as described below, making it possible to acquire EEG signals with high accuracy.
  • the neck strap 110 may also have a processing unit that processes EEG signals and a communication device that communicates with the outside, but these processing units and communication units may be provided in the earphones 100.
  • the rod-shaped members 112R, 112L on both sides of the neck strap 110 are heavier at their tips than at their bases (the central member side), which allows the electrodes 122, 124 to be properly pressed against the wearer's neck.
  • weights are provided at the tips of the rod-shaped members 112R, 112L. Note that the positions of the electrodes 122, 124 are not limited to these positions.
  • FIG. 3 is a diagram showing an example of a schematic cross section of an earphone 100R according to an embodiment.
  • the earphone 100R shown in FIG. 3 may have an elastic member (e.g., urethane) 108 between the speaker 102 and the nozzle 104, for example.
  • an elastic member e.g., urethane
  • vibrations from the speaker 102 are less likely to be transmitted to the elastic electrode of the ear tip 106, preventing sound interference between the elastic electrode of the ear tip 106 and the speaker 102.
  • the ear tip 106 including the elastic electrode is located at the sound guide port, but the elasticity of the elastic electrode itself makes it possible to prevent interference from sound vibrations. Also, by using an elastic material for the housing, this elastic material makes it difficult for sound vibrations to be transmitted to the elastic electrode of the ear tip 106, making it possible to prevent interference from sound vibrations.
  • the earphones 100 may include an audio sound processor, which may be used to cut sound signals below a certain frequency (e.g., 50 Hz) that corresponds to an EEG signal.
  • the audio sound processor cuts sound signals below 30 Hz, a frequency band that is likely to produce characteristic EEG signals, but may also amplify sound signals with frequencies around 70 Hz in order to avoid compromising the bass sound.
  • the audio sound processor can be configured to cut off certain frequencies only when brainwave signals are being sensed.
  • the ear tip 106 also transmits the brainwave signal sensed from the ear canal to the contact of an electrode provided in the nozzle 104.
  • the brainwave signal is transmitted from the ear tip 106 via the contact to a biosensor (not shown) inside the earphone 100.
  • the biosensor sequentially outputs the acquired brainwave signal via a cable to a processing device provided in the neck strap 110 or transmits it to an external device.
  • the ear tip 106 may also be insulated from the housing containing the biosensor and audio sound processor.
  • Fig. 4 is a diagram showing an application example of the information processing system 1 according to the embodiment.
  • the earphone set 10 is worn by a patient, and a drug (e.g., an anesthetic) is administered during surgery. During this time, the user's brainwave signal is acquired via the electrodes of the earphone set 10.
  • a drug e.g., an anesthetic
  • the acquired EEG signal is subjected to, for example, filtering, feature calculation, and noise removal, and the sedation depth is estimated from the EEG signal after noise removal.
  • the estimated sedation depth may be output to a medical device or the like via a user interface.
  • machine learning is performed based on the user's EEG signal and the sedation depth linked to this EEG signal. This allows an estimation model to be constructed that estimates the sedation depth from the EEG signal.
  • a Nihon Kohden BIS (Bispectral Index) monitoring system the heart rate (HR), pulse rate (PR), respiratory rate (RR), arterial blood oxygen saturation (SpO2) measured using a pulse oximeter, BIS, and SQIBIS (BIS signal quality value) are obtained.
  • HR heart rate
  • PR pulse rate
  • RR respiratory rate
  • SpO2 arterial blood oxygen saturation
  • BIS blood oxygen saturation
  • SQIBIS BIS signal quality value
  • brainwave signals are obtained from the ear canals of both ears at a sampling rate of 600 Hz.
  • the reference electrode and the earth electrode are the back of the neck (electrodes 122, 124 in Fig. 2).
  • a total of three signals are used: the signal from the left or right ear, and the differential signal between the left and right ears.
  • the differential signal is used as a signal from which noise commonly mixed into the left and right electrodes has been removed.
  • RASS (described later using FIG. 5) is evaluated manually at intervals of 1 to 10 minutes. Data on medication, etc. are also entered from the system and recorded. In this experiment, for RASS, since it was not possible to speak to the subject or compress the chest, physical stimuli were applied by tapping or pinching the subject's feet, and the subject's reaction was recorded. Other events such as body movements were also recorded manually. BIS data and EEG data were synchronized with the recording time of a personal computer (PC).
  • PC personal computer
  • a 1-40 Hz bandpass filter is applied to all three signals.
  • Data is extracted from each electrode of the earphone set 10 in a 4 second time window with 1 second sliding.
  • the power (Welch's power spectral density) from 1 to 40 Hz is calculated in 0.5 Hz increments. Any signal whose average absolute amplitude value of each window exceeds 50 ⁇ V (threshold) is removed as noise.
  • the power of each frequency band is standardized within the subject and a principal component analysis is performed. Data of 1 to 100 dimensions is extracted and further standardized.
  • FIG. 5 is a diagram showing the scores of the sedation scale RASS (Richmond Agitation-Sedation Scale). As shown in FIG. 5, the RASS is expressed by a score ranging from ⁇ 5 to +4. In this experiment, in order to generate teacher data for a sedation depth estimation model (hereinafter also referred to as an “estimation model”), the RASS scores are classified into the teacher labels shown below. In this experiment, labeling is performed with moderate sedation as the boundary.
  • an index that increases as the patient becomes more awake such as the RASS
  • moderate sedation or higher means “moderate sedation” to “combative”, and less than moderate sedation means “deep sedation” and “unaroused”.
  • Teacher label 1 Indicates a state close to awakening, with a RASS score of -3 or more (moderate sedation or more).
  • Teacher label 0 Indicates deep sedation, with a RASS score of -4 or less (less than moderate sedation).
  • Metric 1 Accuracy of binary classification in test data (equal positive and negative)
  • FIG. 6 is a diagram showing an example of data of subject A in this experiment.
  • FIG. 6(A) is a diagram showing the original waveform of subject A measured by the earphone set 10.
  • the vertical axis represents the amplitude value (unit: ⁇ V), and the horizontal axis represents the measurement time (unit: minutes).
  • FIG. 6(A) shows the original waveforms of three signals indicating the right, left, and left-right differences. As shown in the example in FIG. 6(A), it can be seen that noise is introduced every time an electric scalpel is used during surgery.
  • Figure 6 (B) shows the spectral power (Z) of the differential signal.
  • the vertical axis represents the spectral power value (unit: Hz), and the horizontal axis represents the measurement time.
  • the Z value is expressed as 1 to 40 Hz.
  • Figure 6 (B) when an electric scalpel is used, it is identified as noise and is not used as learning data.
  • Figure 6 (C) is a diagram showing an example of the relationship between RASS and additional medication.
  • the left vertical axis represents the RASS score
  • the right vertical axis represents the amount of medication administered
  • the horizontal axis represents the measurement time.
  • an anesthetic drug was administered at times T1 to T5
  • an antagonist was administered at time T6.
  • Times T2, T4, and T5 are when RASS indicates -4
  • T4 and T5 are when body movement was observed.
  • FIG. 6(D) is a diagram showing an example of the relationship between BIS and vital information.
  • the left vertical axis represents the BIS score
  • the right vertical axis represents SQIBIS (unit: %)
  • the horizontal axis represents the measurement time.
  • BIS, HR, PR, RR, SpO2, and SQIBIS are measured and displayed on a single graph.
  • (Classification accuracy of subject A) 7 is a diagram showing the classification accuracy of subject A.
  • a value estimated from an EEG signal using an estimation model using the above-mentioned sparse modeling LASSO is compared with an actual RASS observed manually.
  • RASS-3 or higher is classified as moderate sedation or higher and RASS-4 or lower is classified as less than moderate sedation using the EEG signal of subject A
  • the classification accuracy is 94.5312%. This shows that the EEG signal acquired by the earphone set 10 is at a practical level.
  • FIG. 8 is a diagram showing the relationship between RASS and BIS over the entire measurement period in subject A and the estimated values of the estimation model.
  • the left vertical axis in FIG. 8 represents the RASS value
  • the right vertical axis represents the BIS value
  • the horizontal axis represents the measurement time.
  • the various conditions and the results of the cross-correlation coefficient are as follows. (Various conditions) For the value of RASS, the nearest neighbor value in the EEG time window of interest is taken. For estimates, there is a binary classification (0 or 1), but for ease of comparison, 0-(estimate) x 5 is used. A moving average filter is applied to the EEG signal using data from the previous 10 seconds.
  • Cross-correlation coefficient results Cross-correlation coefficient between RASS and estimated value: 0.86378
  • Cross-correlation coefficient between RASS and BIS 0.50357
  • Cross-correlation coefficient between the estimate and the BIS 0.58321
  • FIG. 8 it can be seen that there is a high correlation between the actual value of RASS and the estimated value of RASS.
  • Figure 9 shows the relationship between the three EEG signals and the depth of sedation.
  • the vertical axis of the graph shown in Figure 9 indicates the EEG power value (Z) obtained by subtracting data below RASS-4 from data above RASS-3, and the horizontal axis indicates the EEG frequency.
  • Z EEG power value
  • the differential signal is most likely to have power differences at each frequency, and that the higher the frequency, the more likely the power differences are to occur.
  • Fig. 10 is a diagram showing the accuracy of the estimated values of the estimation model for each subject. As described above, the accuracy of the estimation model for subject A shown in Fig. 10 was 94.53%, and the accuracy for the other nine subjects was between 66.53% and 92.07%, with the average value being 81.68%.
  • the first average value of the cross-correlation coefficient between the RASS and the estimated value is 0.67
  • the second average value of the cross-correlation coefficient between the BIS and the estimated value is 0.44
  • the third average value of the cross-correlation coefficient between the RASS and the BIS is 0.44.
  • FIG. 11 is a diagram showing the results of a t study using cross-correlation coefficients.
  • the left side shows the cross-correlation coefficient between RASS and the estimated value
  • the right side shows the cross-correlation coefficient between RASS and BIS.
  • ⁇ Server configuration example> 12 is a block diagram showing an example of an information processing device 30 according to an embodiment.
  • the information processing device 30 is, for example, a server, and may be composed of one or more devices.
  • the information processing device 30 processes an electroencephalogram signal or electroencephalogram information, and performs an estimation process of the sedation depth from the electroencephalogram signal using, for example, a learning function of artificial intelligence (AI).
  • AI artificial intelligence
  • the information processing device 30 is also referred to as a server 30. Note that the information processing device 30 does not necessarily have to be a server, and may be a general-purpose computer.
  • the server 30 includes one or more processors (CPU: Central Processing Unit) 310, one or more network communication interfaces 320, memory 330, a user interface 350, and one or more communication buses 370 for interconnecting these components.
  • processors CPU: Central Processing Unit
  • Server 30 may, for example, optionally include a user interface 350, which may include a display device (not shown) and a keyboard and/or mouse (or some other input device, such as a pointing device, not shown).
  • a user interface 350 may include a display device (not shown) and a keyboard and/or mouse (or some other input device, such as a pointing device, not shown).
  • Memory 330 may be, for example, a high-speed random access memory such as a DRAM, SRAM, DDR RAM, or other random access solid-state storage device, or may be a non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid-state storage devices. Memory 330 may also be a non-transitory computer-readable recording medium having a program recorded thereon.
  • memory 330 may be one or more storage devices located remotely from processor 310.
  • memory 330 stores the following programs, modules and data structures, or a subset thereof:
  • the one or more processors 310 read and execute programs from the memory 330 as necessary.
  • the one or more processors 310 may configure an EEG control unit 312, an acquisition unit 313, a learning unit 314, a generation unit 315, and an output unit 316 by executing programs stored in the memory 330.
  • the EEG control unit 312 controls and processes the EEG signals acquired in sequence, and controls each of the following processes.
  • the acquisition unit 313 acquires an EEG signal measured by an EEG measuring device, for example, a bioelectrode included in the earphone set 10. For example, the acquisition unit 313 sequentially acquires EEG signals measured in the user's ear canal from an EEG measuring device worn in the user's ear. Note that the EEG measuring device is not limited to the earphone set 10.
  • the EEG signal may be, for example, an EEG signal indicating characteristic data (power vector for each frequency per unit time) of the target user's in-ear EEG.
  • the learning unit 314 performs supervised learning by inputting the EEG signals acquired in sequence into learning data including the EEG signal and the sedation depth for this EEG signal.
  • the EEG signal may be at least one of a brain half signal measured by the right ear, an EEG signal measured by the left ear, and a left-right differential signal.
  • a signal calculated from left and right signals, such as a differential signal may be used.
  • the depth of sedation may be annotated to the EEG signal and, for example, assigned to the EEG signal as a teacher label related to the level of RASS.
  • the depth of sedation may be annotated to the EEG signal and, for example, assigned to the EEG signal as a teacher label related to the level of RASS.
  • EEG signals having teacher labels of sedation depth may be used as training data.
  • a training model for example, a generalized linear model sparse modeling LASSO is used, but this is merely one example, and a training model that solves other classification problems or regression problems may also be used.
  • the generation unit 315 receives the learning data input by the learning unit 314 and generates the learned learning model as an estimated model. For example, when a learning model trained from the learning data is evaluated using test data, if the evaluation value is equal to or greater than a threshold, the generation unit 315 may use the learning model as the estimated model.
  • the output unit 316 outputs the estimation model generated by the generation unit 315.
  • the output unit 316 outputs the estimation model to another information processing device 50, such as a medical device or a processing terminal used by a user (e.g., a doctor, etc.), a personal computer, a smartphone, or a tablet terminal.
  • the other information processing device 50 estimates the sedation depth of a user wearing an EEG measuring device using the estimation model that estimates the sedation depth from an EEG signal.
  • the above processing enables the information processing device 30 to generate a sedation depth estimation model using the learning data measured by the target user. Furthermore, the information processing device 30 can generate a more general-purpose sedation depth estimation model by learning the learning data of a large number of target users.
  • Example of processing terminal configuration> 13 is a block diagram showing an example of an information processing device 50 according to an embodiment.
  • the information processing device 50 includes, for example, a medical device, a mobile terminal (such as a smartphone), a computer, a tablet terminal, etc.
  • the information processing device 50 is also referred to as a processing terminal 50.
  • the processing terminal 50 includes one or more processors (e.g., CPUs) 510, one or more network communication interfaces 520, memory 530, a user interface 550, and one or more communication buses 590 for interconnecting these components.
  • processors e.g., CPUs
  • the user interface 550 includes a display 551 and an input device (such as a keyboard and/or a mouse or some other pointing device) 552.
  • the user interface 550 may also be a touch panel.
  • Memory 530 may be, for example, a high-speed random access memory such as a DRAM, SRAM, DDR RAM, or other random access solid-state storage device, or may be a non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid-state storage devices. Memory 530 may also be a non-transitory computer-readable recording medium that records a program.
  • a high-speed random access memory such as a DRAM, SRAM, DDR RAM, or other random access solid-state storage device
  • Memory 530 may also be a non-transitory computer-readable recording medium that records a program.
  • memory 530 may be one or more storage devices located remotely from processor 510.
  • memory 530 stores the following programs, modules and data structures, or a subset thereof:
  • the one or more processors 510 read and execute a program from the memory 530 as necessary.
  • the one or more processors 510 may configure an application control unit (hereinafter also referred to as an "app control unit") 512 by executing a program stored in the memory 530.
  • the app control unit 512 is an application that processes EEG signals, and has, for example, an acquisition unit 513, an estimation unit 514, an output unit 515, a selection unit 516, and a generation unit 517.
  • the acquisition unit 513 sequentially acquires the EEG signals measured by the EEG measuring device attached to the ear of a specific user.
  • the acquisition unit 513 may acquire the EEG signals from the earphone set 10 via the network communication interface 520, or may acquire the EEG signals that have been subjected to specific processing via the network communication interface 520.
  • the specific processing includes, for example, frequency conversion, filtering, and differential calculation of the EEG signals.
  • the acquisition unit 513 may also acquire feature data related to the EEG signals (power vector for each frequency per unit time).
  • the acquisition unit 513 may also perform a predetermined process on the EEG signal acquired at a predetermined sampling rate.
  • the predetermined process may include bandpass filtering in a predetermined range (e.g., 1 to 40 Hz), setting a time window of a predetermined time (e.g., 4 seconds), and setting a movement time of the time window of a predetermined time (e.g., 1 second).
  • the estimation unit 514 estimates the sedation depth for the EEG signals acquired in sequence by the acquisition unit 513, using a learning model that has learned learning data including the EEG signals and the sedation depth for these EEG signals.
  • the learning model may be an estimation model generated by the server 30, an estimation model generated by the generation unit 517, or an estimation model customized by the estimation unit 514.
  • the estimation unit 514 inputs the sequentially acquired EEG signals into an estimation model generated by the server 30, and outputs an estimated value of the sedation depth.
  • the sequentially acquired EEG signals may be EEG signals after a predetermined process.
  • the estimation unit 514 may also estimate the sedation depth using an estimation model generated for an individual by the generation unit 517 described later.
  • the output unit 515 outputs sedation depth information regarding the sedation depth estimated by the estimation unit 514.
  • the output unit 515 outputs sedation depth information including an estimated value of the sedation depth to a display device (display 551 or an external display device).
  • the output unit 515 may output an alarm to a sound output device (e.g., a speaker) when the estimated value satisfies a predetermined condition regarding an alarm.
  • the predetermined condition regarding an alarm includes the estimated value exceeding a threshold value.
  • the above process makes it possible to appropriately estimate the depth of sedation based on EEG signals while reducing the burden on the user by using a simple EEG measuring device that can acquire EEG signals from the ear. Furthermore, while previous research has looked at the depth of anesthesia for anesthetic drugs such as general anesthesia, there is no technology to estimate the depth of moderate sedation in endoscopic procedures, for example. In contrast, the technology disclosed herein makes it possible to appropriately estimate the depth of moderate sedation.
  • BIS performs analysis over a time range of one minute and is therefore unable to respond to sudden changes in sedation depth
  • the disclosed technology estimates sedation depth from EEG data over a recent specified time window (e.g., four seconds), allowing for rapid estimation and the ability to respond to sudden changes in sedation depth.
  • the disclosed technology uses earphone set 10 for a wearable simplified EEG meter and ear canal electrodes, making it easy to wear like regular earphones and to easily obtain EEG signals, reducing the burden on the user.
  • the EEG measuring device 50 includes both the functions of an earphone for EEG measurement and an earphone for sound output, the information processing device 50 may have the following processing.
  • the selection unit 516 selects sound data based on the estimated sedation depth. For example, when the estimated sedation depth falls below a threshold, the selection unit 516 may select one sound from a playlist that includes one or more sounds (music, binaural beats) that are generally considered to have a high sedative effect. For example, it is known that delivering audio stimuli of different frequencies from the left and right ears, known as binaural beats, to the brain enhances brain waves in the differential frequency band (Schmid, W. et al. Brainwave entrainment to minimize sedative drug doses in paediatric surgery: a randomised controlled trial. Br. J. Anaesth. 125, 330-335 (2020)).
  • the output unit 515 may output the sound data selected by the selection unit 516 to the earphone set 10.
  • the output unit 515 outputs the selected sound data to the binaural earphones 100 or the monoaural earphone 100L or right.
  • the above process makes it possible to support a calming effect by utilizing the sound output function of the brainwave measuring device.
  • the sound data to be output may also include sound data specified according to the user whose brainwaves are being measured. For example, the user whose brainwaves are being measured may be asked to select in advance soothing, healing music, or favorite music, and a playlist may be created.
  • the selection unit 516 selects sound data from the playlist for each user.
  • the above process makes it possible to select sound data from a playlist appropriate for the user undergoing EEG measurement, and to support the sedative effect with the user's preferred sound data.
  • the acquisition unit 513 may also include sequentially acquiring electroencephalogram signals when an anesthetic is administered to the user.
  • the output unit 515 may include outputting information regarding the dosage of the anesthetic based on the depth of sedation estimated by the estimation unit 514.
  • the information regarding the dosage of the anesthetic agent may include the dosage to be administered to the user, or a difference between the current dosage and the dosage to be administered.
  • the estimation unit 514 may determine the dosage of the drug to be administered to the user according to the estimated sedation depth by referring to a correspondence table between the sedation depth and the dosage to be administered. The correspondence table may be stored in the memory 530 for each drug. Furthermore, if the information processing device 50 can obtain the user's current dosage from another device, the estimation unit 514 may determine the difference between the current dosage and the dosage to be administered.
  • the above process makes it possible to output to a display device the next dosage to be administered to the user and the timing of administration according to the estimated level of sedation. As a result, doctors and others can determine the dosage and timing of administration of the drug based on objective data.
  • the generation unit 517 executes the process of generating a learning model based on an EEG signal acquired within a predetermined time period from the user whose EEG is being measured, and the user's sedation depth in response to this EEG signal. For example, the generation unit 517 may generate an estimation model suitable for this user by inputting learning data including an EEG signal acquired within a predetermined time period and teacher labels annotated to this EEG signal into the learning model.
  • the estimation unit 514 may input EEG signals acquired in sequence after a predetermined time has elapsed into the estimation model to estimate the sedation depth of the user. For example, by using the estimation model generated for each user, the estimation unit 514 becomes able to estimate the sedation depth according to the characteristics of the EEG data of that user.
  • the generating unit 517 may determine the level of the user's awake state within the depth of sedation based on an EEG signal acquired from the user before the predetermined time and before the anesthetic is administered. For example, since the power of the EEG signal in the awake state may differ for each user, the generating unit 517 may set a standard for the EEG signal in the awake state of the user (teacher label for the awake state) using the EEG signal for a predetermined time before the anesthetic is administered.
  • the generation unit 517 may set a standard for the wakefulness state using an EEG signal for a first predetermined time (e.g., 3 minutes), and generate an estimation model that estimates the sedation depth of the individual using learning data generated by annotating an EEG signal for a second predetermined time (e.g., 3 minutes) after anesthesia is administered after the first predetermined time.
  • a first predetermined time e.g. 3 minutes
  • an estimation model that estimates the sedation depth of the individual using learning data generated by annotating an EEG signal for a second predetermined time (e.g., 3 minutes) after anesthesia is administered after the first predetermined time.
  • the above processing makes it possible to generate an estimation model that estimates the sedation depth from the EEG signal according to the EEG state of each individual. As a result, it becomes possible to more appropriately estimate the sedation depth according to the characteristics of the EEG state of the EEG target user.
  • the estimation unit 514 may also remove EEG signals equal to or greater than a threshold value from among the EEG signals acquired in sequence. For example, the estimation unit 514 or acquisition unit 513 removes EEG signals (e.g., amplitude values) equal to or greater than a threshold value from values to be input to the estimation model in order to remove EEG signals containing noise. In the experiment described above, a threshold value of 50 ⁇ V was used.
  • the above processing makes it possible to remove EEG signals containing noise caused by procedures such as electrosurgical surgery, improving the reliability of the estimated sedation depth.
  • the application control unit 512 when the application control unit 512 is able to acquire body movement and vital information, it may associate this information with the EEG signal and store it in the memory 530. This makes it possible to investigate the relationship between the EEG signal, the sedation depth, and vital information.
  • an example has been described in which an individual estimation model is generated using a first predetermined time for determining the standard of the wakefulness state and a second predetermined time for generating learning data, but as the number of EEG measurement users increases, a generalized estimation model may be generated.
  • a generalized standard of the wakefulness state is set using the EEG signal for each user at the first predetermined time, and a generalized estimation model can be generated using this standard of the wakefulness state and learning data generated at the second predetermined time.
  • a generalized estimation model e.g., an estimation model generated by the server 30
  • no learning time is required, so it can be used from the start of treatment.
  • the application control unit 512 stores the administered drug in association with the EEG signal, making it possible to estimate the sedation depth for each drug. For example, it becomes possible to estimate what the future sedation depth will be depending on which drug and how much is administered. Specifically, the application control unit 512 associates an estimation model with each drug, and when the drug to be administered is determined, the estimation unit 514 performs estimation processing using the estimation model associated with that drug.
  • the information displayed on the display device or sound output device may include, for example, the following information.
  • - Estimated sedation depth calculated in real time (sedation depth estimate updated approximately every 0.1 seconds from the last 4 seconds of EEG data) in the range of 0 to 100.
  • An alert sound is issued using a specific threshold, and real-time estimates and log data of estimates are visually displayed, allowing the user to grasp the sedation trend in real time and over time.
  • Real-time noise level allowing the operator to assess the reliability of the current estimate (e.g. greying out the use of electrocautery to indicate high noise).
  • Fig. 14 is a flowchart showing an example of an estimation model generation process of the server 30 according to the embodiment.
  • a process in which the server 30 generates an estimation model for estimating a sedation depth from an EEG signal will be described.
  • the process shown in Fig. 14 can also be processed by the application control unit 512 (e.g., the generation unit 517) of the processing terminal 50.
  • step S102 the acquisition unit 313 sequentially acquires EEG signals from an EEG measuring device attached to the user's ear.
  • the acquisition unit 313 sequentially acquires EEG signals measured by bioelectrodes provided on the ear tips of earphones.
  • step S104 the acquisition unit 313 or the learning unit 314 performs processing on the acquired EEG signal.
  • the processing includes, for example, calculating the difference between the left and right EEG signals, frequency conversion, calculating the power value at each frequency, filtering, etc.
  • step S106 the learning unit 314 performs machine learning using learning data including the processed EEG signals acquired in sequence and the sedation depth (teacher label) for these EEG signals.
  • step S108 the generation unit 315 generates the trained model trained by the learning unit 314 using the training data as an estimated model.
  • the above process makes it possible to generate a sedation depth estimation model in advance using the learning data measured by the target user.
  • FIG. 15 is a flowchart showing an example of a process for estimating sedation depth by the processing terminal 50 according to an embodiment. In the example shown in FIG. 15, a process for estimating sedation depth from an electroencephalogram signal by the processing terminal 50 is described.
  • the acquisition unit 513 sequentially acquires an EEG signal from an EEG measuring device attached to the user's ear.
  • the EEG signal may mean an EEG signal on which a predetermined process such as the frequency calculation described above has been performed.
  • step S204 the estimation unit 514 estimates the sedation depth for the sequentially acquired EEG signals using a learning model (estimation model) that has learned learning data including the EEG signals and the sedation depth for these EEG signals.
  • a learning model estimation model
  • step S206 the output unit 515 outputs sedation depth information regarding the sedation depth estimated by the estimation unit 514.
  • the output unit 515 outputs the sedation depth information to a display device.
  • the above process makes it possible to estimate the depth of sedation based on EEG signals while reducing the burden on the user by using a simple EEG measuring device that can acquire EEG signals from the ear. Furthermore, the disclosed technology makes it possible to estimate and present the depth of sedation at a level that can be evaluated in real time, and is also capable of responding to sudden changes in the depth of sedation.
  • FIG. 16 is a flowchart showing an example of a learning model generation process of the processing terminal 50 according to the embodiment.
  • the process shown in FIG. 16 can be executed by the application control unit 512 of the processing terminal 50, in particular, the acquisition unit 513 and the generation unit 517.
  • the acquisition unit 513 sequentially acquires EEG signals measured by bioelectrodes in contact with the ear canal of a specific user.
  • the acquisition unit 513 sequentially acquires EEG signals measured by bioelectrodes provided on the ear tips of earphones.
  • the EEG signal may mean an EEG signal on which a specific process, such as the frequency calculation described above, has been performed.
  • step S304 the application control unit 512 determines whether or not a first predetermined time has elapsed since the start of acquisition of the EEG signal.
  • the first predetermined time is, for example, three minutes. If the first predetermined time has elapsed (step S304-YES), the process proceeds to step S306; if the first predetermined time has not elapsed (step S304-NO), the process returns to step S302.
  • step S306 the generation unit 517 uses the EEG signal measured at the first predetermined time to set a reference value for the EEG signal in the awake state of the EEG measurement user. For example, the generation unit 517 assigns a teacher label for the awake state to the average value of the EEG signal in the awake state.
  • step S308 when the drug is administered after the first predetermined time has elapsed, the acquisition unit 513 sequentially acquires the EEG signal measured by the bioelectrode in contact with the ear canal of the specified user.
  • step S310 the generator 517 assigns the sedation depth level set by the person providing the treatment (e.g., a doctor) to the EEG signal at that time and labels it.
  • the person providing the treatment e.g., a doctor
  • step S312 the application control unit 512 determines whether or not a second predetermined time has elapsed since the drug was administered to the EEG measurement user.
  • the second predetermined time is, for example, three minutes. If the second predetermined time has elapsed (step S310-YES), the process proceeds to step S314; if the second predetermined time has not elapsed (step S310-NO), the process returns to step S308.
  • step S314 the generation unit 517 performs supervised learning using the EEG signal (learning data) annotated at the second predetermined time, and generates an estimated model for the user.
  • the above process makes it possible to generate an estimation model for sedation depth from EEG signals according to the EEG state of each individual. As a result, it becomes possible to more appropriately estimate sedation depth according to the characteristics of the EEG state of the EEG target user.
  • Fig. 17 is a diagram showing an example of a display screen in the embodiment.
  • a screen D10 shown in Fig. 17 includes time-series data of the estimated value of the sedation depth of the disclosed technique, a sedation depth value (estimated value) M10, and a current drug dosage M12.
  • the estimated sedation depth values estimated using the estimation model of the disclosed technology are displayed in a time series. It is preferable that noises N10 and N12 that are mixed into this time series data during treatment with an electric scalpel, for example, are displayed so that they can be visually distinguished from normal estimated values. For example, as shown in FIG. 17, it is preferable to surround them with a frame or change the color so that it is clear at a glance that they are noise.
  • the sedation depth value M10 displays the most recent estimated sedation depth.
  • a lower sedation depth value indicates deeper sedation, and a higher sedation depth value indicates an awake state.
  • the sedation depth value may be normalized, for example, to a numerical value between 0 and 100. In this case, if the sedation depth value exceeds a threshold value indicating an awake state, or falls below a threshold value indicating an excessively deep sedated state, an alarm may be output or the color of the sedation depth value may be changed.
  • the dosage M12 indicates the current dosage of the drug.
  • the dosage M12 may also be the next dosage of the drug that is estimated based on the estimated value of the sedation depth. Note that the dosage M12 does not have to be a required display item.
  • anesthesia has been used as an example of a drug, but the disclosed technology can be applied to any drug that has a sedative effect, such as a sleeping pill or a tranquilizer.
  • a sedative effect such as a sleeping pill or a tranquilizer.
  • a user takes a sleeping pill or a tranquilizer, it is possible to learn the relationship between the user's electroencephalogram signal at the time of taking the drug and the user's sedation depth at that time.
  • the processing terminal 50 may execute the above-mentioned EEG signal acquisition process, sedation depth estimation process, output process, and the like.
  • Information processing system 10 Earphone set 30, 50 Information processing device 100 Earphone 104 Nozzle 106 Ear tip (elastic electrode) 310 Processor 312 EEG control unit 313 Acquisition unit 314 Learning unit 315 Generation unit 316 Output unit 330 Memory 510 Processor 512 Application control unit 513 Acquisition unit 514 Estimation unit 515 Output unit 516 Selection unit 517 Generation unit 530 Memory 550 User interface

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

情報処理方法は、情報処理装置が、ユーザの耳に装着された脳波測定デバイスから脳波信号を順に取得すること、順に取得される脳波信号と、脳波信号と当該脳波信号に対する鎮静深度とを含む学習データを学習した学習モデルとを用いて、順に取得される脳波信号に対する鎮静深度を推定すること、推定された鎮静深度に関する鎮静深度情報を出力すること、を実行する。

Description

情報処理方法、プログラム、及び情報処理装置
　本発明は、情報処理方法、プログラム、及び情報処理装置に関する。
　従来、麻酔使用時の患者の鎮静状態を把握する手法として、脳波をモニタリングするＢＩＳ（Bispectral Index）の技術が知られている。また、ＢＩＳ以外にも、生体に電気刺激を与え、生体の反応から鎮痛の状態を把握し、患者の鎮静に関する指標を出力する技術も知られている（例えば特許文献１参照）。また、機械学習を用いて脳波信号から鎮静レベルを推定する技術がある（例えば特許文献２参照）。
特開２０１７－１４８１８３号公報 米国特許明細書第２０２０／０２５３５４４号公報
　しかしながら、生体に電気刺激を与えずに鎮静深度を評価可能なＢＩＳのモニタリング技術は、全身麻酔領域においては広く使用されているが、様々な問題点がある。例えば、中等度鎮静のレベルでは精度・信頼性が低いことが報告されている点や、また電極の表面は微細突起形状のため意識下では装着時の痛みがあることや接触性皮膚炎が起きやすい点などがある（特許文献１も同様）。また、特許文献２においても、少なくとも６個の電極を有し、額の皮膚に接着して使用するセンサ（例、マシモのSedLine（登録商標））が用いられるため、装着時の違和感や簡便性に懸念がある。また、麻酔以外にも、睡眠薬、精神安定剤などについても鎮静深度を評価することが求められている。
　そこで、開示技術の一態様は、簡便かつ適切な鎮静モニタリング手法を可能にする情報処理方法、プログラム、及び情報処理装置を提供することを目的とする。
　開示技術の一態様における情報処理方法は、情報処理装置が、ユーザの耳に装着された脳波測定デバイスから脳波信号を順に取得すること、順に取得される脳波信号と、脳波信号と当該脳波信号に対する鎮静深度とを含む学習データを学習した学習モデルとを用いて、前記順に取得される脳波信号に対する鎮静深度を推定すること、推定された前記鎮静深度に関する鎮静深度情報を出力すること、を実行する。
　開示技術の一態様によれば、簡便かつ適切な鎮静モニタリング手法を可能にすることができる。
実施形態に係る情報処理システムの概要例を説明する図である。 実施形態に係るイヤホンセットの一例を示す図である。 実施形態に係るイヤホンの断面の概略の一例を示す図である。 実施形態に係る情報処理システム１の適用例を示す図である。 鎮静スケールＲＡＳＳのスコアを示す図である。 本実験における被験者Ａのデータの一例を示す図である。 被験者Ａの分類精度を示す図である。 被験者Ａにおける計測期間全体のＲＡＳＳとＢＩＳと推定モデルの推定値との関係を示す図である。 脳波信号の３信号と鎮静深度との関係を示す図である。 被験者ごとの推定モデルの推定値の精度を示す図である。 相互相関係数を用いてｔ検討の結果を示す図である。 実施形態に係サーバの一例を示すブロック図である。 実施形態に係る処理端末の一例を示すブロック図である。 実施形態に係るサーバの推定モデル生成処理の一例を示すフローチャートである。 実施形態に係る処理端末の鎮静深度の推定処理の一例を示すフローチャートである。 実施形態に係る処理端末の学習モデル生成処理の一例を示すフローチャートである。 実施形態における表示画面の一例を示す図である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施形態］
　以下、実施形態におけるシステムの概要を、図面を用いて説明する。
　＜システムの概要＞
　まず、図１を用いて、実施形態に係る情報処理システム１の概要例を説明する。情報処理システム１では、脳波を測定するユーザは、脳波測定デバイスとして、外耳道に生体電極が設けられるイヤホンセット１０を装着する。
　図１に示す例では、首掛け式のイヤホンセット１０であるが、外耳道から脳波信号がセンシング可能であれば、いずれのイヤホンを用いてもよい。例えば、リファレンス信号を耳たぶから取得するようなイヤホンセットや、その他の位置（外耳道の他の位置）からリファレンス信号やアース信号を取得するようなイヤホンや、完全ワイヤレスのイヤホンなどが利用可能である。また、脳波測定デバイスは、イヤホンタイプに限らず、例えばヘッドホンタイプであり、イヤーマフ部分に生体電極を設けるような構成でもよい。
　図１に示す例の場合、イヤホンセット１０は、外耳道から脳波信号を取得し、ネットワークＮを介して脳波信号を情報処理装置３０又は情報処理装置５０に送信する。ネットワークＮは、有線又は無線のネットワークを含み、Bluetooth（登録商標）などの近距離無線通信が用いられてもよい。
　また、イヤホンセット１０は、脳波信号に所定の処理を実行し、サーバとしての役割を担う情報処理装置３０、又は、ユーザが利用する情報処理装置５０に送信してもよい。所定の処理は、増幅処理、サンプリング、フィルタリング、差分演算などの処理のうち少なくとも１つを含む。
　情報処理装置３０は、例えばサーバであり、脳波測定デバイスにより測定される脳波信号を取得して各処理を実行する。例えば、情報処理装置３０は、麻酔薬を投与中のユーザ（例、患者）の脳波信号から特徴データを抽出し、この特徴データにユーザの鎮静深度をラベル付けした学習データを用いて機械学習を行い、鎮静深度を推定する推定モデルを生成する。これにより、簡便なデバイスを利用してユーザへの装着負担を減らしながら、脳波信号を取得して鎮静深度を推定する推定モデルを生成することが可能になる。
　また、情報処理装置３０は、生成した推定モデルを情報処理装置５０に送信してもよい。また、情報処理装置３０は、まずは情報処理装置５０が脳波信号を取得して、所定のアプリケーションを介して脳波信号を取得するようにしてもよい。また、情報処理装置３０は、順に取得される脳波信号に基づいて特徴データを算出し、この特徴データを推定モデルに入力し、推定された鎮静深度を含む鎮静深度情報を情報処理装置５０に送信してもよい。
　情報処理装置５０は、例えば、ユーザが保持する携帯端末などの処理端末であり、イヤホンセット１０から脳波信号を順に取得する。情報処理装置５０は、順に取得される脳波信号を推定モデルに入力し、鎮静深度情報を取得してもよい。また、情報処理装置５０は、取得した脳波信号又は特徴データを情報処理装置３０に出力し、情報処理装置３０から鎮静深度情報を取得するようにしてもよい。
　情報処理装置５０は、推定される鎮静深度に基づいて、警報、麻酔薬の推定投与量、鎮静深度の波形などをディスプレイに出力してもよく、音データなどを音出力装置（例、イヤホンセット１０）に出力してもよい。これにより、脳波信号から推定された鎮静深度に関する情報を出力することができ、他のユーザ（例、医師等）に患者の鎮静状態を知らせることが可能になる。
　＜イヤホンセットの構成＞
　図２～３は、実施形態におけるイヤホンセット１０の概要について説明する。なお、イヤホンセット１０は、図２～３に示す例に限られず、外耳道から脳波をセンシングすることが可能であり、外部装置に出力可能であれば、いずれのイヤホンでも本開示の技術に適用することができる。
　図２は、実施形態に係るイヤホンセット１０の一例を示す図である。図２に示すイヤホンセット１０は、一対のイヤホン１００Ｒ、１００Ｌと、首掛け部１１０とを有する。各イヤホン１００Ｒ、１００Ｌは、首掛け部１１０と信号通信可能なケーブルを用いて接続されるが、無線通信を用いて接続されてもよい。以下、左右を区別する必要がない場合はＲＬを省略する。
　首掛け部１１０は、首の後方に沿う中央部材と、首の両サイドに沿って湾曲した形状を有する棒状部材（アーム）１１２Ｒ、１１２Ｌとを有する。中央部材の背中側の首に接触する表面には、脳波信号をセンシングする電極１２２、１２４が設けられる。電極１２２、１２４それぞれは、アース接続される電極と、リファレンス電極とである。これにより、後述するように、イヤホンのイヤーチップに設けられる弾性電極と距離を離すことができ、精度よく脳波信号を取得することが可能になる。また、首掛け部１１０は、脳波信号を処理する処理部や外部と通信を行う通信装置を有してもよいが、これらの処理部や通信部はイヤホン１００に設けられてもよい。
　また、首掛け部１１０の両サイドの棒状部材１１２Ｒ、１１２Ｌは、その先端側が、付け根側（中央部材側）よりも重くなっており、これにより電極１２２、１２４は、装着者の首に適切に圧着するようになる。例えば、棒状部材１１２Ｒ、１１２Ｌの先端側には重りが設けられる。なお、電極１２２、１２４の位置はこの位置に限られない。
　図３は、実施形態に係るイヤホン１００Ｒの断面の概略の一例を示す図である。図３に示すイヤホン１００Ｒは、例えば、スピーカ１０２とノズル１０４との間に弾性部材（例えばウレタン）１０８を設けてもよい。この弾性部材１０８を設けることにより、スピーカ１０２の振動がイヤーチップ１０６の弾性電極に伝わりにくくなり、イヤーチップ１０６の弾性電極とスピーカ１０２とが音について干渉することを防ぐことができる。
　さらに、弾性電極を含むイヤーチップ１０６は、音導口に位置しているが、弾性電極自身の弾性により、音振動による干渉を防ぐことが可能である。また、ハウジングには弾性部材を採用することで、この弾性部材により、音振動をイヤーチップ１０６の弾性電極に伝えにくく、音振動による干渉を防ぐことが可能である。
　イヤホン１００は、オーディオ・サウンド・プロセッサを含み、このオーディオ・サウンド・プロセッサを使用して、脳波信号に相当する所定の周波数（例えば５０Ｈｚ）以下の音信号をカットしてもよい。特にオーディオ・サウンド・プロセッサは、脳波信号として特徴が出やすい周波数帯域の３０Ｈｚ以下の音信号をカットするが、ベース音を損なわないようにするため、７０Ｈｚ周辺の周波数の音信号を増幅してもよい。
　これにより、音信号と脳波信号とが干渉することを防ぐことができる。また、オーディオ・サウンド・プロセッサは、脳波信号のセンシングがなされている場合にのみ、所定の周波数をカットするようにすればよい。
　また、イヤーチップ１０６は、外耳道からセンシングする脳波信号を、ノズル１０４に設けられる電極の接点に伝導させる。脳波信号は、イヤーチップ１０６から接点を介してイヤホン１００内部の生体センサ（不図示）に伝えられる。生体センサは、順に取得する脳波信号を、ケーブルを介して首掛け部１１０に設けられる処理装置に出力したり、外部の装置に送信したりする。また、イヤーチップ１０６と、生体センサやオーディオ・サウンド・プロセッサを含むハウジングとは、絶縁されていてもよい。
　＜システムの適用例＞
　図４は、実施形態に係る情報処理システム１の適用例を示す図である。図４に示す例では、患者にイヤホンセット１０が装着され、手術の際に薬剤（例、麻酔薬）が投与される。この間、イヤホンセット１０の電極を介してユーザの脳波信号が取得される。
　取得された脳波信号に対して、例えば、フィルタ処理、特徴量演算、ノイズ除去が行われ、ノイズ除去後の脳波信号から鎮静深度が推定される。推定された鎮静深度は、ユーザインタフェースを介して医療機器等に出力されてもよい。ユーザの鎮静深度を推定するために、ユーザの脳波信号と、この脳波信号に紐づく鎮静深度とに基づき機械学習が行われる。これにより、脳波信号から鎮静深度を推定する推定モデルが構築される。以下、本開示の情報処理システムにおいて、推定モデルを構築するために行われた発明者らの実験について説明する。
　＜実験の概要＞
　（被験者）
　本実験の被験者は、食道がん内視鏡処置を行う１０名の患者である。
　（取得項目）
　日本光電製のＢＩＳ（Bispectral Index）モニタリングシステムを用いて、１分ごとの心拍（ＨＲ：HeartRate），脈拍（ＰＲ：pulse rate），呼吸数（ＲＲ：Respiratory Rate），パルスオキシメータを用いて測定した動脈血酸素飽和度（ＳｐＯ２），ＢＩＳ，ＳＱＩＢＩＳ（ＢＩＳの信号品質の値）が取得される。また、図１～３に示すイヤホンセット１０を用いて、両耳の外耳道から６００Ｈｚのサンプリングレートで脳波信号が取得される。イヤホンセット１０の場合、基準電極およびアース電極は首の後ろ部分（図２の電極１２２、１２４）である。左耳又は右耳の信号、及び左右の差分信号の全３信号が利用される。差分信号は、左右の電極に共通して混入しているノイズを排除した信号として利用する。
　（取得方法）
　被験者の鎮静前に各種センサが装着され、記録が開始される。１～１０分の間隔で、人手によりＲＡＳＳ（図５を用いて後述）が評価される。薬剤等のデータもシステムから入力して記録される。本実験の場合、ＲＡＳＳについて、声掛けと、胸部圧迫ができないため、足をたたいたりつねったりして物理刺激を加え対象者の反応が記録された。その他体動などのイベントが手動で記録された。ＢＩＳデータと脳波データとは、パーソナルコンピュータ（ＰＣ）の記録時刻で同期させた。
　（処理）
　イヤホンセット１０では、全体の３つの信号に１～４０Ｈｚのバンドパスフィルタが適用される。また、イヤホンセット１０の各電極から４秒の時間窓、１秒のスライディングでデータが抽出される。１～４０Ｈｚまでのパワー（ウェルチのパワースペクトル密度）が０．５Ｈｚ刻みで算出される。各窓データの絶対振幅値の平均が、３信号のうちどれかでも５０μＶ（閾値）を超えたものはノイズとして除去される。各周波数帯のパワーを被験者内で標準化し、主成分分析が実施される。１～１００次元のデータが抽出され、さらに標準化が実施される。
　（教師ラベル）
　図５は、鎮静スケールＲＡＳＳ（Richmond Agitation-Sedation Scale）のスコアを示す図である。図５に示すように、ＲＡＳＳは、－５から＋４のスコアで表現される。本実験では、鎮静深度推定モデル（以下「推定モデル」とも称す。）の教師データを生成するため、ＲＡＳＳのスコアを以下に示す教師ラベルに分類する。本実験では、中等度鎮静を境界としてラベリングを行う。例えば、ＲＡＳＳのように覚醒状態になるほど大きくなる指標を用い、中等度鎮静以上は、「中等度鎮静」～「闘争的」を意味し、中等度鎮静未満は、「深い鎮静」及び「覚醒せず」を意味する。
教師ラベル１：覚醒寄りの状態を示し、ＲＡＳＳスコアが－３以上の中等度鎮静以上
教師ラベル０：深い鎮静を示し、ＲＡＳＳスコアが－４以下の中等度鎮静未満
　（推定モデルの構築）
　各被験者から取得された脳波データのうち、少ない方のデータの数にあわせて、多い方のデータからランダムにリサンプリングが実施される。例えば、覚醒１００個、深い鎮静５００個であれば、深い鎮静から１００個のデータがランダムにサンプリングされる。さらにその中から９０％のデータが学習用データとして、１０％のデータがテストデータとしてランダムサンプリングされる。学習モデルとして、学習用データを対象にして一般化線形モデルのスパースモデリングＬＡＳＳＯ（least absolute shrinkage and selection operator）が用いられ、２０個のλパラメータについて１０分割交差検定が実施され、最小誤差となるλが決定される。上述の推定モデルは、各個人について作成されてもよい。
　（精度指標）
　本実験では、以下の２の指標が用いられる。
指標１：テストデータにおける２値分類の精度（正負同数）
指標２：全データに対するＲＡＳＳと推定モデルとＢＩＳの間の相互相関係数（ｍａｘ＝１）
時系列の推定値については、０～１の尤度について、０－（１－推定値）×５でＲＡＳＳの値に揃え、直前１０秒分のデータの移動平均値が利用される（スムージング目的）。
　（被験者Ａの例）
　本実験における被験者Ａのデータ例について説明する。図６は、本実験における被験者Ａのデータの一例を示す図である。図６（Ａ）は、イヤホンセット１０により測定された被験者Ａの元波形を示す図である。縦軸が振幅値（単位：μＶ）、横軸が計測時間（単位：分）を表す。図６（Ａ）には、右、左、左右の差分を示す３つの信号の元波形が示される。図６（Ａ）に示す例のように、手術中に電気メスが使用される度にノイズが入ることが分かる。
　図６（Ｂ）は、差分信号のスペクトルパワー（Ｚ）を示す図である。縦軸がスペクトルパワー値（単位：Ｈｚ）、横軸が計測時間を表す。Ｚ値は、上述したように、１～４０Ｈｚで表される。図６（Ｂ）に示すように、電気メスの使用時はノイズとして特定され、学習データとして利用されない。
　図６（Ｃ）は、ＲＡＳＳと追加薬剤との関係の一例を示す図である。左縦軸がＲＡＳＳのスコア、右縦軸が薬剤の投与量、横軸が計測時間を表す。図６（Ｃ）に示す例では、タイミングＴ１～Ｔ５において、麻酔薬が投入され、タイミングＴ６において、拮抗薬が投与されたことを示す。タイミングＴ２、Ｔ４、Ｔ５は、ＲＡＳＳが－４を示すときであり、Ｔ４、Ｔ５は体動が観察されたときである。
　図６（Ｄ）は、ＢＩＳとバイタル情報との関係の一例を示す図である。左縦軸がＢＩＳのスコア、右縦軸がＳＱＩＢＩＳ（単位：％）、横軸が計測時間を表す。図６（Ｄ）に示す例では、ＢＩＳ、ＨＲ、ＰＲ、ＲＲ、ＳｐＯ２、ＳＱＩＢＩＳが測定され、１つのグラフにおいて表示されている。
　（被験者Ａの分類精度）
　図７は、被験者Ａの分類精度を示す図である。図７に示す例により、上述したスパースモデリングＬＡＳＳＯが用いられた推定モデルを用いて脳波信号から推定した値と、実際に人手により観測されたＲＡＳＳとの比較が行われる。被験者Ａの脳波信号を用いて、ＲＡＳＳ－３以上を中等度鎮静以上とし、ＲＡＳＳ－４以下を中等度鎮静未満として分類された場合、分類精度は、９４．５３１２％である。これにより、イヤホンセット１０により取得される脳波信号において、実用化可能なレベルであることが分かる。
　図８は、被験者Ａにおける計測期間全体のＲＡＳＳとＢＩＳと推定モデルの推定値との関係を示す図である。図８に示す左縦軸にＲＡＳＳの値、右縦軸にＢＩＳの値、横軸が計測時間である。各種条件や相互相関係数の結果は以下のとおりである。
（各種条件）
ＲＡＳＳの値について、対象脳波時間窓の最近傍値が採用される。
推定値について、２値分類（０又は１）であるが、比較を容易にするため、０－（推定値）×５が利用される。
脳波信号は、直前１０秒分のデータで移動平均フィルタが適用される。
（相互相関係数の結果）
ＲＡＳＳと推定値との相互相関係数：０．８６３７８
ＲＡＳＳとＢＩＳとの相互相関係数：０．５０３５７
推定値とＢＩＳとの相互相関係数：０．５８３２１
図８に示す例では、ＲＡＳＳの実際の値とＲＡＳＳの推定値ＲＡＳＳとの相関が高いことが分かる。
　図９は、脳波信号の３信号と鎮静深度との関係を示す図である。図９に示すグラフの縦軸は、ＲＡＳＳ－３以上のデータから、ＲＡＳＳ－４以下のデータを減算した脳波のパワー値（Ｚ）を示し、横軸は脳波の周波数を示す。３つの信号のうち、差分信号が各周波数においてパワーの差が生じやすく、高周波になるほどパワーの差が生じやすいことが分かる。
　（被験者ごとの推定値の精度）
　図１０は、被験者ごとの推定モデルの推定値の精度を示す図である。図１０に示す被験者Ａの推定モデルの精度は、上述したとおり９４．５３％であり、その他９名の被験者も６６．５３％から９２．０７％の間に収まり、平均値は、８１．６８％であった。
　また、ＲＡＳＳと推定値との相互相関係数の第１平均値は０．６７であり、ＢＩＳと推定値との相互相関係数の第２平均値が０．４４であり、ＲＡＳＳとＢＩＳとの相互相関係数の第３平均値が０．４４である。すなわち、第１平均値は、第３平均値よりも大きいため、推定値は、ＢＩＳよりもＲＡＳＳとの相関が高いことが分かる。
　図１１は、相互相関係数を用いてｔ検討の結果を示す図である。図１１に示す例では、左がＲＡＳＳと推定値との相互相関係数を示し、右がＲＡＳＳとＢＩＳとの相互相関係数とを示す。図１１に示すように、ｔ値はｔ（９）＝４．５３であり、平均値に有意差がありそうであることが分かり、ｐ値はｐ＝０．００１であり、ｔ値は偶然ではないことが分かる。したがって、これらの実験結果により、イヤホンセット１０を用いることにより、臨床的に使用可能な精度で脳波信号の測定が可能であり、適切に鎮静深度を推定可能であることが分かる。以上の実験結果に基づき、以下に説明する各情報処理装置の構成を説明する。
　＜サーバの構成例＞
　図１２は、実施形態に係る情報処理装置３０の一例を示すブロック図である。情報処理装置３０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置３０は、脳波信号又は脳波情報を処理し、例えば、人工知能（Airtificial Intelligence）の学習機能を用いて脳波信号から鎮静深度の推定処理を行う。情報処理装置３０は、サーバ３０とも表記する。なお、情報処理装置３０は、必ずしもサーバでなくてもよく、汎用コンピュータでもよい。
　サーバ３０は、１つ又は複数のプロセッサ（ＣＰＵ：Central Processing Unit））３１０、１つ又は複数のネットワーク通信インタフェース３２０、メモリ３３０、ユーザインタフェース３５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス３７０を含む。
　サーバ３０は、例えば、場合によりユーザインタフェース３５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。
　メモリ３３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ３３０は、プログラムを記録したコンピュータ読取可能な非一時的な記録媒体でもよい。
　また、メモリ３３０の他の例として、プロセッサ３１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施例において、メモリ３３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数のプロセッサ３１０は、メモリ３３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ３１０は、メモリ３３０に格納されているプログラムを実行することで、脳波制御部３１２、取得部３１３、学習部３１４、生成部３１５、出力部３１６を構成してもよい。　脳波制御部３１２は、順に取得される脳波信号を制御したり、処理したりし、以下の各処理を制御する。
　取得部３１３は、脳波測定デバイス、例えばイヤホンセット１０に含まれる生体電極で測定される脳波信号を取得する。例えば、取得部３１３は、ユーザの耳に装着された脳波測定デバイスから、ユーザの外耳道において測定される脳波信号を順に取得する。なお、脳波測定デバイスは、イヤホンセット１０に限定されない。脳波信号は、例えば、対象となるユーザの外耳道脳波（In-Ear EEG）の特徴データ（単位時間あたりの周波数ごとのパワーベクトル）を示す脳波信号でもよい。
　学習部３１４は、順に取得される脳波信号を、脳波信号とこの脳波信号に対する鎮静深度とを含む学習データに入力して教師あり学習を行う。脳波信号は、例えば、右耳により測定される脳半信号、左耳により測定される脳波信号、左右の差分信号の少なくとも１つが用いられてもよい。また、差分信号のように、左右の信号から算出される信号が用いられてもよい。
　鎮静深度は、脳波信号に対してアノテーションされ、例えばＲＡＳＳのレベルに関する教師ラベルとして脳波信号に付与されてもよい。また、ラベリングについて、少なくとも中等度鎮静未満か以上かでラベルを分ける（ラベルが異なる）ことにより、中等度鎮静か否かの推定を行うことができるようになる。その結果、中等度鎮静のレベルで推定精度、信頼性を向上させることが可能になる。
　学習データについて、鎮静深度の教師ラベルを有する脳波信号が学習データとして使用されてもよい。学習モデルは、例えば、一般化線形モデルのスパースモデリングＬＡＳＳＯが用いられるが、一例に過ぎず、他の分類問題や回帰問題を解く学習モデルが用いられてもよい。
　生成部３１５は、学習部３１４により学習データが入力され、学習された学習モデルを推定モデルとして生成する。例えば、学習データによる学習済みの学習モデルが、テストデータを用いて評価された場合、閾値以上の評価値であるときに、生成部３１５は、その学習モデルと推定モデルとしてもよい。
　出力部３１６は、生成部３１５により生成された推定モデルを出力する。出力部３１６は、推定モデルを他の情報処理装置５０、例えば、医療機器やユーザ（例、医師等）が利用する処理端末、パーソナルコンピュータ、スマートフォン、タブレット端末などである。他の情報処理装置５０は、脳波信号から鎮静深度を推定する推定モデルを用いて、脳波測定デバイスを装着したユーザの鎮静深度を推定する。
　以上の処理により、情報処理装置３０は、対象ユーザにより測定された学習データを用いて鎮静深度推定モデルを生成することが可能になる。また、情報処理装置３０は、多数の対象ユーザの学習デーを学習することにより、より汎用的な鎮静深度推定モデルを生成することが可能になる。
　＜処理端末の構成例＞
　図１３は、実施形態に係る情報処理装置５０の一例を示すブロック図である。情報処理装置５０は、例えば、上述のとおり、医療機器、又は携帯端末（スマートフォンなど）、コンピュータ、タブレット端末などを含む。情報処理装置５０は、処理端末５０とも表記する。
　処理端末５０は、１つ又は複数のプロセッサ（例、ＣＰＵ）５１０、１つ又は複数のネットワーク通信インタフェース５２０、メモリ５３０、ユーザインタフェース５５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス５９０を含む。
　ユーザインタフェース５５０は、ディスプレイ５５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）５５２を備える。また、ユーザインタフェース５５０は、タッチパネルでもよい。
　メモリ５３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ５３０は、プログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体でもよい。
　また、メモリ５３０の他の例は、プロセッサ５１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施例において、メモリ５３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数のプロセッサ５１０は、メモリ５３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ５１０は、メモリ５３０に格納されているプログラムを実行することで、アプリケーションの制御部（以下「アプリ制御部」とも称す。）５１２を構成してもよい。アプリ制御部５１２は、脳波信号を処理するアプリケーションであり、例えば、取得部５１３、推定部５１４、出力部５１５、選択部５１６、及び生成部５１７を有する。
　取得部５１３は、所定ユーザの耳に装着された脳波測定デバイスから測定される脳波信号を順に取得する。例えば、取得部５１３は、イヤホンセット１０から、ネットワーク通信インタフェース５２０を介して、脳波信号を取得してもよいし、ネットワーク通信インタフェース５２０を介して、所定の処理が行われた脳波信号を取得してもよい。所定の処理は、例えば、脳波信号に対する、周波数変換やフィルタ処理、差分演算などを含む。また、取得部５１３は、脳波信号に関する特徴データ（単位時間あたりの周波数ごとのパワーベクトル）を取得してもよい。
　また、取得部５１３は、所定のサンプリングレートで取得された脳波信号に所定の処理を行ってもよい。所定の処理は、所定範囲（例、１～４０Ｈｚ）のバンドバスフィルタ処理と、所定時間（例、４秒）の時間窓の設定、所定時間（例、１秒）の時間窓の移動時間の設定などを含む。
　推定部５１４は、取得部５１３により順に取得される脳波信号、及び脳波信号とこの脳波信号に対する鎮静深度とを含む学習データを学習した学習モデルを用いて、順に取得される脳波信号に対する鎮静深度を推定する。例えば、学習モデルは、サーバ３０により生成された推定モデルでもよいし、生成部５１７により生成された推定モデルでもよいし、推定部５１４によりカスタマイズされた推定モデルでもよい。
　一例として、推定部５１４は、サーバ３０により生成された推定モデルに、順に取得される脳波信号を入力して鎮静深度の推定値を出力する。順に取得される脳波信号は、所定の処理後の脳波信号でもよい。また、推定部５１４は、後述する生成部５１７により個人用に生成された推定モデルを用いて鎮静深度を推定してもよい。
　出力部５１５は、推定部５１４により推定された鎮静深度に関する鎮静深度情報を出力する。例えば、出力部５１５は、推定された鎮静深度の推定値を含む鎮静深度情報を表示装置（ディスプレイ５５１又は外部の表示装置）に出力する。また、出力部５１５は、推定値が警報に関する所定条件を満たす場合に、音出力装置（例、スピーカ）に警報を出力するようにしてもよい。例えば、警報に関する所定条件は、推定値が閾値を超えることを含む。
　以上の処理により、耳から脳波が取得可能な簡便な脳波測定デバイスを利用してユーザへの装着負担を減らしながら、脳波信号に基づく鎮静深度を適切に推定することが可能になる。また、これまでの研究等においては、全身麻酔など麻酔薬に対する麻酔深度の研究等はあるが、例えば、内視鏡処置における中等度鎮静に関する深度を推定する技術はない。これに対し、本開示技術によれば、中等度鎮静に対する深度を適切に推定することが可能になる。
　また、ＢＩＳの場合、１分の時間範囲の解析が行われるため、急激な鎮静深度変化には対応できないが、本開示技術の場合、直近の所定時間（例えば４秒）の時間窓の脳波データから鎮静深度を推定するため、迅速な推定が可能であり、急激な鎮静深度の変化にも対応できるようになる。
　また、従来の電極は前頭部から計測されることが多いため、脳波信号に含まれる眼電位信号や筋電位信号がノイズとして影響を与えやすい。他方で、本開示技術では、ウェアラブルな簡易脳波計のイヤホンセット１０を用いて外耳道電極により、通常のイヤホンを使用するようにして簡便に装着し、容易に脳波信号を取得することが可能であり、ユーザの装着負担を軽減することができる。
　また、脳波測定デバイスは、上述したとおりイヤホンセット１０に含まれることで、通常のイヤホンの使用も可能であり、イヤホンセット１０から音を出力することができる。脳波測定としてのイヤホンと音出力としてのイヤホンとの両方の機能を含むことから、情報処理装置５０は、次の処理を有してもよい。
　選択部５１６は、推定された鎮静深度に基づいて音データを選択する。例えば、選択部５１６は、鎮静深度の推定値が閾値を下回った場合に、一般的に鎮静効果が高いと言われている音（音楽、バイノーラルビーツ）を１又は複数含むプレイリストの中から１つの音を選択してもよい。例えば、バイノーラルビーツと呼ばれる左右の耳から異なる周波数の音声刺激を脳に届けることにより、差分の周波数帯域の脳波を増強することが知られている（Schmid, W. et al. Brainwave entrainment to minimise sedative drug doses in paediatric surgery: a randomised controlled trial. Br. J. Anaesth . 125 , 330 335 (2020).）。
　この場合、出力部５１５は、選択部５１６により選択された音データをイヤホンセット１０に出力してもよい。例えば、出力部５１５は、選択された音データを両耳のイヤホン１００又は片耳のイヤホン１００Ｌ又は右に出力する。
　以上の処理により、脳波測定デバイスでありながら音を出力する機能を利用して、鎮静作用をサポートすることが可能になる。
　また、出力対象の音データは、脳波を測定するユーザに応じて特定された音データを含んでもよい。例えば、脳波測定対象のユーザに、心が落ち着く、癒しの音楽、又は好きな音楽などを事前に選定しておいてもらい、プレイリストを作成しておく。選択部５１６は、ユーザごとのプレイリストの中から音データを選択する。
　以上の処理により、脳波測定対象ユーザに適したプレイリストの中から音データを選択し、ユーザの好みの音データにより鎮静作用をサポートすることが可能になる。
　また、取得部５１３は、ユーザに麻酔薬が投与される場合に脳波信号を順に取得することを含んでもよい。この場合、出力部５１５は、推定部５１４により推定された鎮静深度に基づいて麻酔薬の投与量に関する情報を出力することを含んでもよい。
　例えば、麻酔薬の投与量に関する情報は、ユーザに投与すべき投与量、又は、現在の投与量と投与すべき投与量との差分値を含んでもよい。例えば、推定部５１４は、鎮静深度と投与すべき投与量との対応テーブルを参照することにより、推定された鎮静深度に応じてユーザに投与すべき薬剤の投与量を特定してもよい。対応テーブルは薬剤ごとにメモリ５３０などに記憶されてもよい。また、情報処理装置５０は、ユーザの現在の投与量を他の機器から取得できる場合、推定部５１４は、現在の投与量と投与すべき投与量との差分値を特定してもよい。
　以上の処理により、推定された鎮静深度のレベルに応じて、次にユーザに対して投与すべき投与量や投与タイミングなどを表示装置などに出力することが可能になる。この結果、医師等は、客観的なデータに基づいて薬剤の投与量や投与タイミングを判断することが可能になる。
　生成部５１７は、脳波測定対象のユーザから取得される所定時間内の脳波信号と、この脳波信号に対するユーザの鎮静深度とに基づいて学習モデルを生成することを実行する。例えば、生成部５１７は、所定時間内に取得される脳波信号と、この脳波信号にアノテーションされた教師ラベルとを含む学習データを学習モデルに入力することで、このユーザに適した推定モデルを生成してもよい。
　生成部５１７が推定モデルを生成する場合、推定部５１４は、所定時間が経過した後に順に取得される脳波信号を推定モデルに入力して、ユーザの鎮静深度を推定することを含んでもよい。例えば、推定部５１４は、ユーザごとに生成された推定モデルを用いることで、そのユーザの脳波データの特徴に応じて鎮静深度を推定することが可能になる。
　また、生成部５１７は、麻酔薬（薬剤の一例）が所定時間内に投与される場合、この所定時間前であって麻酔薬が投与される前にユーザから取得される脳波信号に基づいて、ユーザの鎮静深度のうちの覚醒状態のレベルを定めることを含んでもよい。例えば、ユーザごとに覚醒状態の脳波信号のパワーが異なることがあるため、生成部５１７は、麻酔薬が投与される前の所定時間の脳波信号を用いて、このユーザの覚醒状態における脳波信号の基準（覚醒状態の教師ラベル）を設定してもよい。
　具体例として、生成部５１７は、第１所定時間（例、３分）の脳波信号を用いて覚醒状態の基準を設定し、第１所定時間後の麻酔投与後の第２所定時間（例、３分）の脳波信号にアノテーションを行うことで生成された学習データを用いて、その個人の鎮静深度を推定する推定モデルを生成してもよい。
　以上の処理により、各個人の脳波状態に応じて、脳波信号から鎮静深度を推定する推定モデルを生成することが可能になる。この結果、脳波対象ユーザの脳波状態の特性に応じて鎮静深度をより適切に推定することが可能になる。
　また、推定部５１４は、順に取得される脳波信号のうち、閾値以上の脳波信号を除去することを含んでもよい。例えば、推定部５１４又は取得部５１３は、ノイズが混入した脳波信号を除去するために、閾値以上となる脳波信号（例、振幅値）を推定モデルに入力する値から除去する。閾値について、上述した本実験では５０μＶが用いられた。
　以上の処理により、電気メスなどの処置により混入したノイズを含む脳波信号を除去することができ、鎮静深度の推定値の信頼性を向上させることが可能になる。
　また、アプリ制御部５１２は、図６に示したように、体動やバイタル情報が取得できる場合、これらの情報と脳波信号とを対応付けてメモリ５３０に記憶してもよい。これにより、脳波信号と鎮静深度とバイタル情報との関係を調べることなどが可能になる。
　また、覚醒状態の基準を定めるための第１所定時間と、学習データを生成するための第２所定時間とを用いて個人の推定モデルを生成する例について説明したが、脳波測定ユーザの数が増えると、汎用化された推定モデルが生成されてもよい。例えば各ユーザの第１所定時間の脳波信号を用いて汎用化された覚醒状態の基準が設定され、この覚醒状態の基準と、第２所定時間で生成された学習データとを用いて汎用化された推定モデルが生成可能である。汎用化された推定モデル（例、サーバ３０により生成された推定モデル）の場合、学習する時間が不要であるため、処置を開始する時から利用が可能である。
　アプリ制御部５１２は、投与された薬剤と脳波信号とを関連付けて記憶しておくことにより、薬剤ごとに鎮静深度の推定が可能になる。例えば、どの薬剤がどの程度投与されると、今後の鎮静深度がどのようになるかを推定することが可能になる。具体的には、アプリ制御部５１２は、薬剤ごとに推定モデルを関連付けておいて、投与される薬剤が決定された場合、推定部５１４は、その薬剤に関連付けられた推定モデルを用いて推定処理を行う。
　表示装置や音出力装置に表示される情報について、例えば以下の情報があり得る。
・リアルタイム（直近４秒の脳波のデータから鎮静深度推定を約０．１秒ごとに更新）で算出される０～１００の範囲での鎮静深度の推定値。
・特定の閾値を用いたアラート音の提示やリアルタイムの推定値、推定値のログデータを視覚的提示。これにより、鎮静傾向が実時間かつ経時的に把握可能になる。
・リアルタイムでのノイズレベル。これにより、現在の推定値の信頼性を処置者が評価できる（電気メス利用時はグレー表示になってノイズが多いことを示すなど）。
　＜動作＞
　次に、実施形態に係る動作について説明する。図１４は、実施形態に係るサーバ３０の推定モデル生成処理の一例を示すフローチャートである。図１４に示す例では、サーバ３０が、脳波信号から鎮静深度を推定する推定モデルを生成する処理について説明する。なお、図１４に示す処理は、処理端末５０のアプリ制御部５１２（例えば生成部５１７）でも処理可能である。
　ステップＳ１０２において、取得部３１３は、ユーザの耳に装着された脳波測定デバイスから脳波信号を順に取得する。例えば、取得部３１３は、イヤホンのイヤーチップに設けられる生体電極により測定される脳波信号を順に取得する。
　ステップＳ１０４において、取得部３１３又は学習部３１４は、取得された脳波信号に対して加工処理を行う。加工処理は、例えば、脳波信号に対する、左右の脳波信号の差分演算、周波数変換、各周波数でのパワー値算出、フィルタ処理などを含む。
　ステップＳ１０６において、学習部３１４は、順に取得される加工後の脳波信号と、この脳波信号に対する鎮静深度（教師ラベル）とを含む学習データを用いて機械学習を行う。
　ステップＳ１０８において、生成部３１５は、学習部３１４によって学習データにより学習された学習済みのモデルを推定モデルとして生成する。
　以上の処理により、対象ユーザにより測定された学習データを用いて鎮静深度推定モデルを事前に生成することが可能になる。
　図１５は、実施形態に係る処理端末５０の鎮静深度の推定処理の一例を示すフローチャートである。図１５に示す例では、処理端末５０が、脳波信号から鎮静深度を推定する処理について説明する。
　図１５に示すステップＳ２０２において、取得部５１３は、ユーザの耳に装着された脳波測定デバイスから脳波信号を順に取得する。脳波信号は、例えば上述した周波数演算などの所定処理が実行された脳波信号を意味してもよい。
　ステップＳ２０４において、推定部５１４は、順に取得される脳波信号と、脳波信号とこの脳波信号に対する鎮静深度とを含む学習データを学習した学習モデル（推定モデル）とを用いて、順に取得される脳波信号に対する鎮静深度を推定する。
　ステップＳ２０６において、出力部５１５は、推定部５１４により推定された前記鎮静深度に関する鎮静深度情報を出力する。例えば、出力部５１５は、鎮静深度情報を表示装置に出力する。
　以上の処理により、耳から脳波が取得可能な簡便な脳波測定デバイスを利用してユーザへの装着負担を減らしながら、脳波信号に基づく鎮静深度を推定することが可能になる。また、本開示技術によれば、リアルタイムと評価できるレベルで鎮静深度を推定、提示することが可能であり、急激な鎮静深度の変化にも対応することが可能である。
　図１６は、実施形態に係る処理端末５０の学習モデル生成処理の一例を示すフローチャートである。図１６に示す処理は、処理端末５０のアプリ制御部５１２、特に取得部５１３、生成部５１７により実行され得る。
　図１６に示すステップＳ３０２において、取得部５１３は、所定ユーザの外耳道に接触する生体電極により測定される脳波信号を順に取得する。例えば、取得部５１３は、イヤホンのイヤーチップに設けられる生体電極により測定される脳波信号を順に取得する。脳波信号は、例えば上述した周波数演算などの所定処理が実行された脳波信号を意味してもよい。
　ステップＳ３０４において、アプリ制御部５１２は、脳波信号を取得し始めてから第１所定時間が経過したか否かを判定する。第１所定時間は例えば３分である。第１所定時間が経過していれば（ステップＳ３０４－ＹＥＳ）、処理はステップＳ３０６に進み、第１所定時間を経過していなければ（ステップＳ３０４－ＮＯ）、処理はステップＳ３０２に戻る。
　ステップＳ３０６において、生成部５１７は、第１所定時間で測定された脳波信号を用いて、脳波測定ユーザの覚醒状態の脳波信号の基準値を設定する。例えば、生成部５１７は、覚醒状態の脳波信号の平均値に、覚醒状態の教師ラベルを付与する。
　ステップＳ３０８において、第１所定時間経過後に薬剤が投与されると、取得部５１３は、所定ユーザの外耳道に接触する生体電極により測定される脳波信号を順に取得する。
　ステップＳ３１０において、生成部５１７は、処置者等（例、医師）が設定した鎮静深度レベルを、その時点の脳波信号に付与してラベル付けを行う。
　ステップＳ３１２において、アプリ制御部５１２は、薬剤を脳波測定ユーザに投与してから第２所定時間が経過したか否かを判定する。第２所定時間は例えば３分である。第２所定時間が経過していれば（ステップＳ３１０－ＹＥＳ）、処理はステップＳ３１４に進み、第２所定時間を経過していなければ（ステップＳ３１０－ＮＯ）、処理はステップＳ３０８に戻る。
　ステップＳ３１４において、生成部５１７は、第２所定時間でアノテーションされた脳波信号（学習データ）を用いて教師あり学習を行い、そのユーザの推定モデルを生成する。
　以上の処理によれば、各個人の脳波状態に応じて、脳波信号から鎮静深度をする推定モデルを生成することが可能になる。この結果、脳波対象ユーザの脳波状態の特性に応じて鎮静深度をより適切に推定することが可能になる。
　＜画面例＞
　図１７は、実施形態における表示画面の一例を示す図である。図１７に示す画面Ｄ１０は、本開示技術の鎮静深度の推定値の時系列データと、鎮静深度値（推定値）Ｍ１０と、現在の薬剤の投与量Ｍ１２とを含む。
　図１７に示す例では、本開示技術の推定モデルを用いて推定された鎮静深度の推定値が時系列で表示される。この時系列データに対し、電気メスの処置時などに混入したノイズＮ１０とＮ１２とが、視覚的に通常の推定値と識別できるように表示されるとよい。例えば、図１７に示すように枠で囲ったり色を変えたりすることによりノイズであることを一目で把握できるようにするとよい。
　鎮静深度値Ｍ１０は、最新の鎮静深度の推定値が表示される。鎮静深度値が低い方が深い鎮静を表し、鎮静深度値が高い方が覚醒状態であることを表す。鎮静深度値は、例えば０～１００の数値に正規化されてもよい。このとき、鎮静深度値が覚醒状態を示す閾値以上になった場合、又深すぎる鎮静状態を示す閾値以下になった場合に、警報が出力されたり、鎮静深度値の色が変化されたりしてもよい。
　投与量Ｍ１２は、現在の薬剤の投与量を示す。また、投与量Ｍ１２は、鎮静深度の推定値に応じて推定される次回の薬剤の投与量でもよい。なお、投与量Ｍ１２は必須の表示項目でなくてもよい。
　＜変形例＞
　以上、上述した実施形態及び実施例は、本開示の技術を説明するための例示であり、本開示の技術をその実施形態及び実施例のみに限定する趣旨ではなく、本開示の技術は、その要旨を逸脱しない限り、さまざまな変形が可能である。例えば、図１４～１６の各処理は、必要に応じて入れ替えたり省略されたり、他の処理が挿入されたりしてもよい。また、脳波信号は、脳波データに換言されてもよい。
　＜変形例１＞
　上述した例では、薬剤の一例として麻酔を例に挙げて説明したが、薬剤は、睡眠薬又は精神安定剤などの鎮静効果がある薬剤であれば、開示の技術は適用可能である。例えば、睡眠薬又は精神安定剤をユーザが服用した際に、服用時のユーザの脳波信号と、この時のユーザの鎮静深度との関係を学習することが可能である。この場合、上述したように、鎮静深度に基づいて音データを出力することで、ユーザの鎮静状態をサポートすることが可能になる。これにより、睡眠薬又は精神安定剤の服用量を減らすことを図ることができる。
　例えば、イヤホンセット１０と処理端末５０とが近距離無線通信などでペアリングされることに起因して、上述した脳波信号の取得処理、鎮静深度の推定処理、出力処理などが処理端末５０に実行されてもよい。
１　情報処理システム
１０　イヤホンセット
３０、５０　情報処理装置
１００　イヤホン
１０４　ノズル
１０６　イヤーチップ（弾性電極）
３１０　プロセッサ
３１２　脳波制御部
３１３　取得部
３１４　学習部
３１５　生成部
３１６　出力部
３３０　メモリ
５１０　プロセッサ
５１２　アプリ制御部
５１３　取得部
５１４　推定部
５１５　出力部
５１６　選択部
５１７　生成部
５３０　メモリ
５５０　ユーザインタフェース
 

Claims (11)

  1. 　情報処理装置が、
    　ユーザの耳に装着された脳波測定デバイスから脳波信号を順に取得すること、
    　順に取得される脳波信号と、脳波信号と当該脳波信号に対する鎮静深度とを含む学習データを学習した学習モデルとを用いて、前記順に取得される脳波信号に対する鎮静深度を推定すること、
    　推定された前記鎮静深度に関する鎮静深度情報を出力すること、
    　を実行する情報処理方法。
  2. 　前記脳波測定デバイスはイヤホンセットに含まれ、
    　推定された前記鎮静深度に基づいて音データを選択すること、
    　選択された前記音データを前記イヤホンセットに出力すること、
    　をさらに実行する請求項１に記載の情報処理方法。
  3. 　前記音データは、前記ユーザに応じて特定された音データを含む、請求項２に記載の情報処理方法。
  4. 　前記取得することは、
    　前記ユーザに麻酔薬が投与される場合に前記脳波信号を順に取得することを含み、
    　前記出力することは、
    　推定された前記鎮静深度に基づいて前記麻酔薬の投与量に関する情報を出力することを含む、請求項１に記載の情報処理方法。
  5. 　前記麻酔薬の投与量に関する情報は、前記ユーザに投与すべき投与量、又は、現在の投与量と前記投与すべき投与量との差分値を含む、請求項４に記載の情報処理方法。
  6. 　前記ユーザから取得される所定時間内の脳波信号と、当該脳波信号に対する前記ユーザの鎮静深度とに基づいて前記学習モデルを生成することを実行し、
    　前記推定することは、
    　前記所定時間が経過した後に順に取得される脳波信号を前記学習モデルに入力して、前記ユーザの鎮静深度を推定することを含む、請求項１に記載の情報処理方法。
  7. 　前記生成することは、
    　麻酔薬が前記所定時間に投与される場合、前記所定時間前であって前記麻酔薬が投与される前に前記ユーザから取得される脳波信号に基づいて、前記ユーザの鎮静深度のうちの覚醒状態のレベルを定めることを含む、請求項６に記載の情報処理方法。
  8. 　前記推定することは、
    　順に取得される脳波信号のうち、閾値以上の脳波信号を除去することを含む、請求項１に記載の情報処理方法。
  9. 　前記学習データに含まれる前記鎮静深度のラベルについて、少なくとも中等度鎮静未満か以上かによりラベルが異なる、請求項１に記載の情報処理方法。
  10. 　情報処理装置に、
    　ユーザの耳に装着された脳波測定デバイスから脳波信号を順に取得すること、
    　順に取得される脳波信号と、脳波信号と当該脳波信号に対する鎮静深度とを含む学習データを学習した学習モデルとを用いて、前記順に取得される脳波信号に対する鎮静深度を推定すること、
    　推定された前記鎮静深度に関する鎮静深度情報を出力すること、
    　を実行させるプログラム。
  11. 　プロセッサを含む情報処理装置であって、
    　前記プロセッサが、
    　ユーザの耳に装着された脳波測定デバイスから脳波信号を順に取得すること、
    　順に取得される脳波信号と、脳波信号と当該脳波信号に対する鎮静深度とを含む学習データを学習した学習モデルとを用いて、前記順に取得される脳波信号に対する鎮静深度を推定すること、
    　推定された前記鎮静深度に関する鎮静深度情報を出力すること、
    　を実行する情報処理装置。
     
PCT/JP2023/040207 2022-11-08 2023-11-08 情報処理方法、プログラム、及び情報処理装置 WO2024101388A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-178986 2022-11-08
JP2022178986 2022-11-08

Publications (1)

Publication Number Publication Date
WO2024101388A1 true WO2024101388A1 (ja) 2024-05-16

Family

ID=91032589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/040207 WO2024101388A1 (ja) 2022-11-08 2023-11-08 情報処理方法、プログラム、及び情報処理装置

Country Status (1)

Country Link
WO (1) WO2024101388A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290179A (ja) * 2002-04-02 2003-10-14 Japan Tobacco Inc 感覚感性評価システム
JP2018158089A (ja) * 2017-03-23 2018-10-11 富士ゼロックス株式会社 脳波測定装置及び脳波測定システム
WO2021070456A1 (ja) * 2019-10-08 2021-04-15 Ｖｉｅ Ｓｔｙｌｅ株式会社 イヤホン、情報処理装置、及び情報処理方法
WO2022107292A1 (ja) * 2020-11-19 2022-05-27 Ｖｉｅ Ｓｔｙｌｅ株式会社 プログラム、情報処理方法、及び情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290179A (ja) * 2002-04-02 2003-10-14 Japan Tobacco Inc 感覚感性評価システム
JP2018158089A (ja) * 2017-03-23 2018-10-11 富士ゼロックス株式会社 脳波測定装置及び脳波測定システム
WO2021070456A1 (ja) * 2019-10-08 2021-04-15 Ｖｉｅ Ｓｔｙｌｅ株式会社 イヤホン、情報処理装置、及び情報処理方法
WO2022107292A1 (ja) * 2020-11-19 2022-05-27 Ｖｉｅ Ｓｔｙｌｅ株式会社 プログラム、情報処理方法、及び情報処理装置

Similar Documents

Publication Publication Date Title
Nakamura et al. Automatic sleep monitoring using ear-EEG
EP1989998B1 (en) Methods and apparatus for monitoring consciousness
US20050177058A1 (en) System and method for analyzing the brain wave patterns of one or more persons for determining similarities in response to a common set of stimuli, making artistic expressions and diagnosis
US11540769B2 (en) System and method for tracking sleep dynamics using behavioral and physiological information
EP3493737A1 (en) In-ear sensing systems and methods for biological signal monitoring
EP2535000A1 (en) Method and system for quantifying anaesthesia or a state of vigilance
JP5352029B1 (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
US11543879B2 (en) System for communicating sensory information with an interactive system and methods thereof
JP2006514570A (ja) 麻酔および鎮静監視のシステムおよび方法
Valentin et al. Validation and benchmarking of a wearable EEG acquisition platform for real-world applications
AU2001213824B2 (en) Monitoring auditory evoked potentials
US20230029255A1 (en) Human-computer interactive device and method
AU2001213824A1 (en) Monitoring auditory evoked potentials
Sethi et al. Stress detection and relief using wearable physiological sensors
WO2024101388A1 (ja) 情報処理方法、プログラム、及び情報処理装置
KR20180073114A (ko) 진정마취심도 모니터링 방법 및 그 장치
Guðmundsdóttir Improving players' control over the NeuroSky brain-computer interface
CN115191944A (zh) 一种基于脑电技术的虚拟现实镇痛效果评估的系统及方法
Van De Velde Signal validation in electroencephalography research
JP2022520211A (ja) 非薬理的に誘発された修正された意識状態のレベルを監視するための方法およびシステム
WO2023073956A1 (ja) プログラム、情報処理方法、及び情報処理装置
Notley et al. Auditory evoked potentials for monitoring during anaesthesia: A study of data quality
JP7422389B2 (ja) 情報処理装置及びプログラム
Thompson * HOLD* Analysis of Synchronous Electromyograph and Electroencephelograph Sensor Network Signals for Silent Tongue Motion Recognition
He et al. Real-Time Physiological Signal Feedback for Anxiety Intervention Music System for Postpartum Women