WO2024100850A1 - 可知覚化装置、可知覚化方法、および、可知覚化プログラム - Google Patents

可知覚化装置、可知覚化方法、および、可知覚化プログラム Download PDF

Info

Publication number
WO2024100850A1
WO2024100850A1 PCT/JP2022/041951 JP2022041951W WO2024100850A1 WO 2024100850 A1 WO2024100850 A1 WO 2024100850A1 JP 2022041951 W JP2022041951 W JP 2022041951W WO 2024100850 A1 WO2024100850 A1 WO 2024100850A1
Authority
WO
WIPO (PCT)
Prior art keywords
predetermined time
data
perceptualization
inner state
electroencephalogram
Prior art date
Application number
PCT/JP2022/041951
Other languages
English (en)
French (fr)
Inventor
信哉 志水
藍李 太田
愛 中根
高雄 中村
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/041951 priority Critical patent/WO2024100850A1/ja
Publication of WO2024100850A1 publication Critical patent/WO2024100850A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/384—Recording apparatus or displays specially adapted therefor

Definitions

  • the present invention relates to a visualisation device, a visualisation method and a visualisation program for visualising the internal state of a human being.
  • Estimating a person's internal state is important for communication between people. For example, a technology has been proposed to estimate a person's internal state by converting the recognition results obtained from electroencephalograms into linguistic information.
  • Non-Patent Document 1 a technology has been proposed that estimates a person's emotional state from electroencephalograms and visually feeds back the estimated result of the human emotional state through an HMD (head-mounted display) (see Non-Patent Document 1).
  • HMD head-mounted display
  • EEG is time-series data that reflects information processing in the human brain
  • delays are unavoidable when recognizing an internal state from EEG, and visualization based on EEG analysis impedes smooth communication.
  • the present invention is characterized by comprising a data acquisition unit that acquires a series of electroencephalogram data; an estimation unit that predicts electroencephalogram changes from a predetermined time point to a predetermined time ahead based on the electroencephalogram data up to the predetermined time point, and estimates the inner state of the person from whom the electroencephalogram data was acquired at the predetermined time point using the predicted electroencephalogram changes; and a perceptualization unit that calculates, based on the estimated inner state at the predetermined time point, parameter values used to make the inner state at the predetermined time point perceptible, and outputs information that makes the inner state at the predetermined time point perceptible using the calculated parameter values.
  • the present invention makes it possible to make a person's internal state perceptible without delay.
  • FIG. 1 is a diagram for explaining the prior art.
  • FIG. 2 is a diagram showing an example of the configuration of a perceptualization device according to each embodiment.
  • FIG. 3 is a flowchart illustrating an example of a processing procedure executed by the perceptualization device of the first embodiment.
  • FIG. 4 is a diagram for explaining the estimation of a current inner state by the perceptualization device.
  • FIG. 5 is a flowchart illustrating an example of a processing procedure executed by the visualizing device according to the second embodiment.
  • FIG. 6 is a diagram for explaining an example of a prediction of a power spectral density centered on the current time by the visualizing device according to the second embodiment.
  • FIG. 1 is a diagram for explaining the prior art.
  • FIG. 2 is a diagram showing an example of the configuration of a perceptualization device according to each embodiment.
  • FIG. 3 is a flowchart illustrating an example of a processing procedure executed by the perceptualization device of the first embodiment.
  • FIG. 7 is a flowchart illustrating an example of a processing procedure executed by the perceptualization device according to the third embodiment.
  • FIG. 8 is a flowchart illustrating an example of a processing procedure executed by the perceptualization device according to the fourth embodiment.
  • FIG. 9 is a diagram showing an example of the configuration of a computer that executes a perceptualization program.
  • the perceptualization device of each embodiment generates information (perceptualization information) for making a human's internal state (hereinafter, appropriately abbreviated as "internal state") perceptible based on human brainwave data.
  • the perceptualization information is, for example, image data, audio data, tactile data, etc.
  • the perceptualization device presents the generated perceptualization information as an image using a display or the like, as audio using a speaker or the like, or as tactile data using a vibrator, Peltier element, etc.
  • the perceptualization device acquires human brainwave data (past brainwave data) from an electroencephalograph
  • the perceptualization device estimates a change in brainwaves for a predetermined time period centered on the current time (the timing at which the internal state is made perceptual) at predetermined time intervals (e.g., every u seconds) based on the analysis result of the acquired brainwave data.
  • the perceptualization device uses the estimated electroencephalogram changes to calculate perceptualization parameters for perceptualizing the human's internal state.
  • the perceptualization device then generates and outputs perceptualization information corresponding to the perceptualization parameters. For example, if the perceptualization parameters are parameters for drawing a geometric figure, the perceptualization device draws the geometric figure using the perceptualization parameters and displays it on the display.
  • the EEG data is time-series data, and its analysis requires the use of EEG data from a specific time period. Therefore, if the perceptualization device were to use the EEG data obtained up to a specific time in its analysis, only the inner state prior to that time period would be obtained. Therefore, the perceptualization device would not be able to perceive, for example, the inner state at the current time.
  • the perceptualization device estimates changes in brain waves for a specified period of time (e.g., every u seconds) centered on the current time based on the analysis results of the acquired brain wave data. This allows the perceptualization device to provide feedback on the internal state at the time of perceptualization.
  • the perceptualization device also estimates perceptualization parameters taking into account the execution time of a series of processes in making the inner state perceptible. This allows the perceptualization device to feed back the inner state at the time of perceptualization even in situations where delays occur in the processes for making the inner state perceptible or in communications.
  • the perceptualization device performs an interpolation process on the perceptualization parameters of the inner state calculated at each predetermined time and continuously performs feedback, the feedback based on the calculated perceptualization parameters of the inner state will be performed after the predetermined time has elapsed. This causes a delay in the feedback of the inner state.
  • the perceptualization device estimates perceptualization parameters that reflect the inner state after a given time at each given time, making it possible to provide feedback of the inner state without delay.
  • the perceptualization device 10 includes, for example, an electroencephalogram data acquisition unit (data acquisition unit) 11, a storage unit 12, an inner state estimation unit (estimation unit) 13, and an inner state perceptualization unit 14.
  • the perceptualization device 10 includes a communication interface such as a NIC (Network Interface Card), an input/output interface, and the like.
  • the communication interface controls communication with an external device such as an electroencephalograph via a network.
  • the input/output interface outputs perceptualization information of the inner state generated by the perceptualization device 10 to an external device.
  • the input/output interface outputs perceptualization information of a person's inner state obtained from electroencephalograms (e.g., an image of a geometric figure) to a display.
  • the electroencephalogram data acquisition unit 11 acquires electroencephalogram data of the analysis target measured by an electroencephalograph or the like.
  • the memory unit 12 stores data and programs to be referenced in estimating and perceiving the inner state. For example, the memory unit 12 stores the electroencephalogram data acquired by the electroencephalogram data acquisition unit 11, perceivable parameters of the inner state estimated by the inner state estimation unit 13, etc.
  • the internal state estimation unit 13 predicts changes in brain waves from a predetermined time point (e.g., the present) to a predetermined time in the future based on the brain wave data for a predetermined time period up to that predetermined time point acquired by the brain wave data acquisition unit 11, and estimates the internal state at the predetermined time point using the predicted brain wave changes.
  • a predetermined time point e.g., the present
  • the internal state estimation unit 13 predicts changes in brain waves from a predetermined time point (e.g., the present) to a predetermined time in the future based on the brain wave data for a predetermined time period up to that predetermined time point acquired by the brain wave data acquisition unit 11, and estimates the internal state at the predetermined time point using the predicted brain wave changes.
  • the internal state estimation unit 13 performs processing such as noise removal on the series of electroencephalogram data acquired by the electroencephalogram data acquisition unit 11. After that, the internal state estimation unit 13 performs a calculation process of electroencephalogram feature quantities, such as calculating the power spectral density, on the processed electroencephalogram data. Then, the internal state estimation unit 13 estimates electroencephalogram changes based on the calculated electroencephalogram feature quantities, and estimates the current internal state from the estimated electroencephalogram changes.
  • the inner state perceptualization unit 14 calculates parameter values used to make the inner state perceptual, based on the current inner state estimated by the inner state estimation unit 13. The inner state perceptualization unit 14 then outputs information that makes the current inner state perceptual, using the calculated parameter values.
  • the inner state perceptualization unit 14 calculates multidimensional perceptualization parameters corresponding to the inner state from the inner state estimated by the inner state estimation unit 13. Then, the inner state perceptualization unit 14 draws a geometric figure based on the calculated perceptualization parameters and displays it on the display.
  • the perceptualization device 10 of the first embodiment predicts electroencephalogram data for N seconds from the current time, for example, using electroencephalogram data from n seconds before to the current time (the timing at which the inner state is made perceptible). The perceptualization device 10 then estimates the current inner state using the predicted electroencephalogram data.
  • the brainwave data acquisition unit 11 of the perceptualization device 10 acquires brainwave data (S11).
  • the acquired brainwave data is time-series data, and the brainwave data acquisition unit 11 sequentially acquires brainwaves measured at an arbitrary sampling rate.
  • the acquired brainwave data is stored in the storage unit 12.
  • the internal state estimation unit 13 After S11, the internal state estimation unit 13 performs preprocessing on the brainwave data from n seconds ago to the current time (S12).
  • Preprocessing is, for example, filtering to remove various noise components contained in the EEG data.
  • Filtering is, for example, bandpass filtering to extract only signals in a specific band contained in the EEG data, bandstop filtering to remove hum noise from AC power sources, noise reduction filtering to remove impulsive noise associated with body movements, and artifact removal filtering using independent component analysis (ICA), or a combination of these.
  • ICA independent component analysis
  • the internal state estimation unit 13 may store the preprocessed electroencephalogram data in the storage unit 12.
  • the preprocessing may be omitted by reading out the stored preprocessed electroencephalogram data.
  • the internal state estimation unit 13 predicts brainwave data for N seconds from the current time using preprocessed brainwave data from n seconds ago to the current time (S13).
  • Any method may be used to predict EEG data, but for example, time series prediction techniques can be used.
  • the perceptualization device 10 uses pre-processed EEG data recorded in advance to construct a neural network (EEG data predictor) that predicts EEG data for the next N seconds from the EEG data for the past n seconds.
  • the internal state estimation unit 13 uses the constructed EEG data predictor to predict EEG data for N seconds from the current time from the pre-processed EEG data from n seconds ago to the current time.
  • the inner state estimation unit 13 may also predict brain wave data for N seconds from the current time from preprocessed brain wave data from n seconds ago to the current time as follows.
  • the perceptualization device 10 uses pre-processed EEG data recorded in advance to train a recurrent neural network (RNN) such as LSTM that predicts the next EEG data from the past EEG data.
  • RNN recurrent neural network
  • the internal state estimation unit 13 then predicts the EEG data using the trained RNN.
  • the perceptualization device 10 uses pre-processed EEG data recorded in advance to train an RNN such as LSTM (Long Short Term Memory) that predicts next EEG data from past EEG data.
  • the internal state estimation unit 13 then predicts the next EEG data by inputting the EEG data from the past n seconds into the RNN.
  • the internal state estimation unit 13 predicts the next EEG data by inputting the predicted EEG data into the RNN.
  • the internal state estimation unit 13 repeats the above process to predict EEG data for N seconds.
  • the internal state estimation unit 13 calculates the power spectral density using the preprocessed EEG data from n seconds ago to the current time and the EEG data for N seconds predicted in S13 (S14).
  • the inner state estimation unit 13 estimates the inner state using the power spectral density calculated in S14 (S15). For example, the inner state estimation unit 13 outputs a multidimensional vector indicating the estimation result of the inner state.
  • any method may be used to estimate the inner state, but for example, a large number of power spectral densities annotated with multidimensional vectors representing the inner state are prepared in advance.
  • the perceptualization device 10 uses these power spectral densities as training data to construct a neural network (inner state estimator) that estimates the multidimensional vectors representing the inner state from the power spectral densities.
  • the inner state estimation unit 13 inputs the power spectrum density calculated in S14 into the inner state estimator described above, thereby obtaining a multidimensional vector representing the inner state (estimated result of the inner state).
  • the internal state estimation unit 13 may estimate the internal state by performing an expression similarity analysis between the power spectral density for each internal state collected in advance and the power spectral density calculated in S14. In other words, the internal state estimation unit 13 may estimate the internal state based on the similarity between the brain activity indicated by the power spectral density collected in advance and the brain activity indicated by the power spectral density calculated in S14.
  • the inner state estimation unit 13 generates a similarity vector indicating the similarity between each power spectral density collected in advance and the power spectral density calculated in S14. Then, the inner state estimation unit 13 outputs the generated similarity vector as a multidimensional vector representing the inner state.
  • the inner state perceptualization unit 14 makes the inner state estimated in S15 perceptible (S16). For example, the inner state perceptualization unit 14 generates geometric figures, sounds, vibrations, etc., using the multidimensional vector representing the inner state estimated in S15 as a parameter.
  • the internal state perceptualization unit 14 may not directly perceive the multidimensional vector obtained in S15, but may convert it into a low-dimensional vector using a dimension reduction method such as principal component analysis or discriminant analysis, and then make it perceptible.
  • the perceptualization device 10 can estimate the inner state based on EEG data centered on the current time, even when estimating the inner state based on frequency analysis of EEG data of a specified time width. As a result, the perceptualization device 10 can estimate the current inner state (a specified time width centered on the current time) rather than the past inner state (see FIG. 4).
  • the perceptualization device 10 according to the second embodiment predicts the power spectrum density of electroencephalogram data for N seconds from the present, for example, by using the power spectrum density of electroencephalogram data from n seconds ago to the present.
  • the perceptualization device 10 estimates the current inner state by using the predicted power spectrum density.
  • the internal state estimation unit 13 of the perceptualization device 10 calculates the power spectral density using the preprocessed electroencephalogram data obtained in S22 from M seconds ago to the current time (S23). After that, the internal state estimation unit 13 links the calculated power spectral density to time information and stores it in the memory unit 12.
  • the internal state estimation unit 13 predicts the power spectral density of the electroencephalogram data for a predetermined time period centered on the current time, using the time series data of the power spectral density of the electroencephalogram data from M seconds ago to the current time (S24). Any method may be used to predict the power spectral density, but for example, the time series prediction technique described above may be used.
  • the perceptualization device 10 generates time series data of power spectral density using pre-processed electroencephalogram data recorded in advance.
  • the perceptualization device 10 then constructs a neural network (power spectral density predictor) that predicts power spectral density centered on the current time from the time series data of power spectral density of the electroencephalogram data for the past x seconds.
  • the internal state estimation unit 13 uses the above-mentioned power spectral density predictor to predict power spectral density centered on the current time from the time series data of power spectral density of the electroencephalogram data for the past x seconds.
  • the inner state estimation unit 13 may also predict the power spectrum density centered on the current time using the RNN described above.
  • the perceptualization device 10 generates time-series data of power spectral density using pre-processed electroencephalogram data recorded in advance.
  • the perceptualization device 10 learns an RNN such as LSTM that predicts the next power spectral density from past power spectral densities.
  • the internal state estimation unit 13 predicts the power spectral density at the next timing by inputting the power spectral density of the electroencephalogram data for the past x seconds into the RNN.
  • the internal state estimation unit 13 predicts the power spectral density at the next timing by inputting the predicted power spectral density into the RNN.
  • the internal state estimation unit 13 repeats the above process to predict the power spectral density centered on the current time.
  • the internal state estimation section 13 may predict the power spectral density centered on the current time by performing an expression similarity analysis with time series data of the power spectral density of pre-recorded electroencephalogram data.
  • An example of prediction of the power spectral density centered on the current time by expression similarity analysis will be described with reference to FIG. 6.
  • the internal state estimation unit 13 generates time series data of the power spectrum density of the pre-recorded electroencephalogram data. For example, the internal state estimation unit 13 generates time series data of the power spectrum density with a power spectrum density calculation window of n seconds and a sliding window of m seconds.
  • the internal state estimation unit 13 performs an expression similarity analysis between the time series data of the power spectral density of the pre-recorded electroencephalogram data and the time series data of the power spectral density of the electroencephalogram data for the past y seconds.
  • the internal state estimation unit 13 weights each of the power spectral density time series data collected in advance according to the degree of expression similarity between the power spectral density time series data of the pre-recorded EEG data and the power spectral density of the EEG data for the past y seconds.Then, the internal state estimation unit 13 generates predicted power spectral density time series data by adding up the weighted power spectral density time series data.
  • the inner state estimation unit 13 extracts data corresponding to the power spectrum density centered on the current time from the predicted time series data of the power spectrum density.
  • the internal state estimation section 13 may predict the power spectral density centered on the current time by weighting and adding only the portion of the power spectral density used in the expression similarity analysis that corresponds to the power spectral density centered on the current time, rather than weighting and adding the entire time series data of the power spectral density of the pre-recorded electroencephalogram data (see FIG. 6).
  • the inner state estimation unit 13 estimates the inner state using the power spectrum density centered on the current time predicted in S24 (S25).
  • the estimation of the inner state in S25 is similar to S15 in FIG. 3 described above, so its explanation is omitted.
  • S26 in FIG. 5 is similar to S16 in FIG. 3, so its explanation is omitted.
  • the sampling frequency of the power spectral density time series data depends on the sliding window used when obtaining the power spectral density time series data from the EEG data. For this reason, the sampling period of the power spectral density time series data is generally set to be much wider than the sampling period of the EEG data. Therefore, as in the perceptualization device 10 of the second embodiment, by setting the prediction target to the power spectral density of the EEG data rather than the EEG data, the amount of processing required for prediction can be reduced.
  • the third embodiment of the perceptualization device 10 estimates an inner state from M seconds ago to the present using the power spectrum density of electroencephalogram data from M seconds ago to the present, and predicts the current inner state (a predetermined time period centered on the present) using the estimated inner state from M seconds ago to the present.
  • the inner state estimation unit 13 predicts the current inner state (a predetermined time period centered on the present) using the time series data of the inner state stored in the memory unit 12 (time series data of the inner state from M seconds ago to the present) (S35).
  • the processing of S35 is the same as the processing of S24 in Fig. 5, except that the time series data handled is converted to the inner state from the power spectrum density, and therefore a description thereof will be omitted.
  • S36 in Fig. 7 is the same as S16 in Fig. 3, and therefore a description thereof will be omitted.
  • the fourth embodiment of the perceptualization device 10 directly predicts a current (a predetermined time period centered on the present) inner state from the power spectrum density of electroencephalogram data from, for example, M seconds ago to the present.
  • the inner state estimation unit 13 of the perceptualization device 10 predicts the current inner state (a predetermined time period centered on the present) using the time series data of the power spectral density of the electroencephalogram data from M seconds ago to the current time stored in the storage unit 12 (S44).
  • the process of S44 can be similar to the process of S24 in Fig. 5, in which the inner state is predicted from the power spectral density.
  • S45 in Fig. 8 is similar to S16 in Fig. 3, so a description thereof will be omitted.
  • the perceptualization device 10 of the fourth embodiment has different inputs (power spectral density) and outputs (inner state) in the prediction process. For this reason, the perceptualization device 10 of the fourth embodiment needs to obtain the inner state when training the inner state predictor using a neural network. This can result in high costs associated with training the inner state predictor. However, because training of the inner state predictor only needs to be performed once in advance, it is possible to reduce the total computational costs if the costs of computations that need to be performed multiple times can be reduced.
  • each unit shown in the figure are conceptual and functional, and do not necessarily have to be physically configured as shown.
  • the specific form of distribution and integration of each device is not limited to that shown, and all or part of it can be functionally or physically distributed and integrated in any unit depending on various loads, usage conditions, etc.
  • all or any part of the processing functions performed by each device can be realized by a CPU and a program executed by the CPU, or can be realized as hardware using wired logic.
  • the perceptualization device 10 can be implemented by installing a program (perceptualization program) as package software or online software on a desired computer. For example, by executing the above program on an information processing device, the information processing device can function as the perceptualization device 10.
  • the information processing device referred to here includes mobile communication terminals such as smartphones, mobile phones, and PHS (Personal Handyphone Systems), as well as terminals such as PDAs (Personal Digital Assistants).
  • FIG. 9 is a diagram showing an example of a computer that executes a perceptualization program.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these components is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012.
  • the ROM 1011 stores a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to a hard disk drive 1090.
  • the disk drive interface 1040 is connected to a disk drive 1100.
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to a mouse 1110 and a keyboard 1120, for example.
  • the video adapter 1060 is connected to a display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. That is, the programs that define each process executed by the perceptualization device 10 are implemented as program modules 1093 in which computer-executable code is written.
  • the program modules 1093 are stored, for example, in the hard disk drive 1090.
  • a program module 1093 for executing a process similar to the functional configuration of the perceptualization device 10 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the data used in the processing of the above-described embodiment is stored as program data 1094, for example, in memory 1010 or hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 or program data 1094 stored in memory 1010 or hard disk drive 1090 into RAM 1012 as necessary and executes it.
  • the program module 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and program data 1094 may be stored in another computer connected via a network (such as a LAN (Local Area Network), WAN (Wide Area Network)). The program module 1093 and program data 1094 may then be read by the CPU 1020 from the other computer via the network interface 1070.
  • a network such as a LAN (Local Area Network), WAN (Wide Area Network)

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

可知覚化装置（１０）は、ヒトの現在までの所定時間の脳波データに基づいて、現在から所定時間先までの脳波の変化を予測し、予測した脳波の変化を用いて、現在のヒトの内面状態を推定する。可知覚化装置（１０）は、推定した現在のヒトの内面状態に基づき、当該内面状態の可知覚化に用いるパラメータの値を計算し、計算したパラメータの値を用いて、ヒトの内面状態を可知覚化した情報（例えば、画像データ、音声データ、触覚データ等）を出力する。

Description

可知覚化装置、可知覚化方法、および、可知覚化プログラム
　本発明は、ヒトの内面状態を可知覚化するための、可知覚化装置、可知覚化方法、および、可知覚化プログラムに関する。
　ヒトが何を考え感じているか、どのような状態にあるのか等、ヒトの内面状態の推定は、ヒト同士のコミュニケーションにおいて重要である。ここで、例えば、従来、ヒトの内面状態の推定するため、脳波から得られた認識結果を言語情報に落とし込む技術が提案されている。
　また、従来、脳波からヒトの感情状態を推定し、HMD（ヘッドマウントディスプレイ）を通して、ヒトの感情状態の推定結果を視覚的にフィードバックする技術が提案されている（非特許文献１参照）。この技術では、ヒトの感情状態をArousal（覚醒度）とValence（感情価）の２次元で評価し、評価結果をフラクタルにより表現する（図１参照）。
N.　Semertzidis,　et　al.　,"Neo-Noumena",　CHI　EA　'20:　Extended　Abstracts　of　the　2020　CHI　Conference　on　Human　Factors　in　Computing　Systems,　p.1-4,［2022年11月9日検索］，インターネット＜URL：https://doi.org/10.1145/3334480.3383163＞
　しかし、脳波はヒトの脳内の情報処理を反映した時系列データであるため、脳波から高精度にヒトの内面状態を認識するためには、所定時間の脳波を使用して解析する必要がある。その結果、脳波からの内面状態の認識には、遅延が発生することが避けられず、脳波解析に基づく可視化は円滑なコミュニケーションを阻害してしまう。
　前記した課題を解決するため、本発明は、一連の脳波データを取得するデータ取得部と、所定の時点までの前記脳波データに基づいて、前記所定の時点から所定時間先までの脳波の変化を予測し、予測した前記脳波の変化を用いて、前記脳波データの取得元のヒトの前記所定の時点の内面状態を推定する推定部と、推定された所定の時点の内面状態に基づき、前記所定の時点の内面状態の可知覚化に用いるパラメータの値を計算し、計算した前記パラメータの値を用いて、前記所定の時点の内面状態を可知覚化した情報を出力する可知覚化部とを備えることを特徴とする。
　本発明によれば、ヒトの内面状態を遅延なく可知覚化することができる。
図１は、従来技術を説明するための図である。 図２は、各実施形態の可知覚化装置の構成例を示す図である。 図３は、第１の実施形態の可知覚化装置が実行する処理手順の例を示すフローチャートである。 図４は、可知覚化装置による現在の内面状態の推定を説明するための図である。 図５は、第２の実施形態の可知覚化装置が実行する処理手順の例を示すフローチャートである。 図６は、第２の実施形態の可知覚化装置による、現在時刻を中心とするパワースペクトル密度の予測の例を説明するための図である。 図７は、第３の実施形態の可知覚化装置が実行する処理手順の例を示すフローチャートである。 図８は、第４の実施形態の可知覚化装置が実行する処理手順の例を示すフローチャートである。 図９は、可知覚化プログラムを実行するコンピュータの構成例を示す図である。
　以下、図面を参照しながら、本発明を実施するための形態（実施形態）について、第１の実施形態から第４の実施形態に分けて説明する。本発明は、各実施形態に限定されない。
　各実施形態の可知覚化装置は、ヒトの脳波データに基づき、ヒトの内面状態（以下、適宜「内面状態」と略す）を可知覚化するための情報（可知覚化情報）を生成する。可知覚化情報は、例えば、画像データ、音声データ、触覚データ等である。例えば、可知覚化装置は、生成した可知覚化情報を、ディスプレイ等を用いて画像を表示したり、スピーカー等を用いて音声を再生したり、振動子やペルチェ素子等を使って触覚データとして提示したりする。
［概要］
　次に、各実施形態の可知覚化装置の概要を説明する。例えば、可知覚化装置は、脳波計からヒトの脳波データ（過去の脳波データ）を取得すると、取得した脳波データの解析結果に基づき、所定時間ごと（例えば、u秒おき）に、現在時刻（内面状態を可知覚化させるタイミング）を中心とした所定時間の脳波の変化を推定する。
　そして、可知覚化装置は、推定した脳波の変化を用いて、ヒトの内面状態を可知覚化するための可知覚化パラメータを計算する。その後、可知覚化装置は、可知覚化パラメータに対応する可知覚化情報を生成し、出力する。例えば、可知覚化パラメータが幾何学図形を描画するためのパラメータである場合、可知覚化装置は、可知覚化パラメータを用いて幾何学図形を描画し、ディスプレイ上に表示する。
　ここで、脳波データは、時系列データであり、その解析には所定時間の脳波データを用いる必要がある。そのため、可知覚化装置が特定のタイミングまでに得られた脳波データをそのまま解析に用いた場合には、そのタイミング以前の内面状態しか得られない。そのため、可知覚化装置は、例えば、現在時刻の内面状態を可知覚化することができない。
　そこで、可知覚化装置は、取得した脳波データの解析結果に基づき、所定時間ごと（例えば、u秒おき）に、現在時刻を中心とした所定時間の脳波の変化を推定する。これにより、可知覚化装置は、可知覚化させるタイミングの内面状態をフィードバックすることができる。
　また、可知覚化装置は、内面状態の可知覚化における一連の処理の実行時間も考慮して可知覚化パラメータを推定する。これにより、可知覚化装置は、内面状態の可知覚化の処理や通信にかかわる遅延が発生する状況においても、可知覚化させるタイミングにおける内面状態をフィードバックすることができる。
　さらに、可知覚化装置が、所定時間ごとに計算した内面状態の可知覚化パラメータを補間処理しながら、連続的にフィードバックを行う場合、計算した内面状態の可知覚化パラメータによりフィードバックを行うのは、所定時間経過後となる。このため、内面状態のフィードバックに遅延が発生してしまう。
　ここで、可知覚化装置が、所定時間ごとに所定時間後の内面状態を反映した可知覚化パラメータを推定することにより、遅延なく内面状態のフィードバックを行うことできる。
［構成例］
　次に、図２を用いて各実施形態の可知覚化装置１０の構成例を説明する。可知覚化装置１０は、例えば、脳波データ取得部（データ取得部）１１と、記憶部１２と、内面状態推定部（推定部）１３と、内面状態可知覚化部１４とを備える。
　なお、図示を略すが、可知覚化装置１０は、ＮＩＣ（Network　Interface　Card）等の通信インタフェース、入出力インタフェース等を備える。例えば、通信インタフェースは、ネットワークを介して脳波計等の外部の装置との通信を制御する。また。入出力インタフェースは、可知覚化装置１０より生成された、内面状態の可知覚化情報を外部装置に出力する。例えば、入出力インタフェースは、脳波から得られたヒトの内面状態の可知覚化情報（例えば、幾何学図形の画像）をディスプレイに出力する。
　脳波データ取得部１１は、脳波計等で計測された、解析対象の脳波データを取得する。記憶部１２は、内面状態の推定や可知覚化において参照するデータやプログラムを記憶する。例えば、記憶部１２は、脳波データ取得部１１により取得された脳波データや、内面状態推定部１３により推定された内面状態の可知覚化パラメータ等を記憶する。
　内面状態推定部１３は、脳波データ取得部１１により取得された所定の時点（例えば、現在）までの所定時間の脳波データに基づいて、その所定の時点から所定時間先までの脳波の変化を予測し、予測した脳波の変化を用いて、所定の時点の内面状態を推定する。
　例えば、内面状態推定部１３は、脳波データ取得部１１により取得された一連の脳波データに対して、ノイズ除去等の処理を行う。その後、内面状態推定部１３は、処理後の脳波データに対し、パワースペクトル密度の計算等の脳波特徴量の計算処理を行う。そして、内面状態推定部１３は、計算された脳波特徴量に基づき、脳波の変化を推定し、推定した脳波の変化から現在の内面状態を推定する。
　内面状態可知覚化部１４は、内面状態推定部１３により推定された現在の内面状態に基づき、当該内面状態の可知覚化に用いるパラメータの値を計算する。そして、内面状態可知覚化部１４は、計算したパラメータの値を用いて、現在の内面状態を可知覚化した情報を出力する。
　例えば、内面状態可知覚化部１４は、内面状態推定部１３により推定された内面状態から、内面状態に対応する多次元の可知覚化パラメータを計算する。そして、内面状態可知覚化部１４は、計算した可知覚化パラメータに基づいて幾何学図形を描画し、ディスプレイに表示する。
　このような可知覚化装置１０によれば、ヒトの内面状態を遅延なく可知覚化することができる。
［第１の実施形態］
　次に、第１の実施形態の可知覚化装置１０を説明する。第１の実施形態の可知覚化装置１０は、例えば、n秒前から現在時刻（内面状態を可知覚化させるタイミング）までの脳波データを用いて、現在時刻からN秒間の脳波データを予測する。そして、可知覚化装置１０は、予測した脳波データを用いて、現在の内面状態を推定する。
［処理手順の例］
　図３を用いて、第１の実施形態の可知覚化装置１０が内面状態を可知覚化する手順の例を説明する。
　まず、可知覚化装置１０の脳波データ取得部１１は、脳波データを取得する（Ｓ１１）。ここで取得する脳波データは時系列データであり、脳波データ取得部１１は、任意のサンプリングレートで計測された脳波を順次取得する。取得した脳波データは記憶部１２に保存される。
　Ｓ１１の後、内面状態推定部１３は、n秒前から現在時刻までの脳波データに対して前処理を行う（Ｓ１２）。
　前処理は、例えば、脳波データに含まれる各種ノイズ成分を除去するためのフィルタ処理である。フィルタ処理は、例えば、脳波データに含まれる特定の帯域の信号のみを抽出するバンドパスフィルタ処理、交流電源由来のハムノイズを除去するためのバンドストップフィルタ処理、体動等に伴うインパルス性のノイズを除去するためのノイズリダクションフィルタ処理、独立成分分析（ICA）によるアーティファクト除去フィルタ処理のいずれかまたはこれらの組み合わせである。
　なお、内面状態推定部１３は、前処理した脳波データを記憶部１２に保存しておいてもよい。そして、内面状態推定部１３が、同じ脳波データに対して同じ処理を行う場合は、保存した前処理済みの脳波データを読み出すことで、前処理を省略してもよい。
　Ｓ１２の後、内面状態推定部１３は、n秒前から現在時刻までの前処理済みの脳波データを用いて、現在時刻からN秒間の脳波データを予測する（Ｓ１３）。
　脳波データの予測にはどのような方法を用いてもよいが、例えば、時系列予測技術を用いることができる。
　例えば、可知覚化装置１０は、事前に収録された前処理済みの脳波データを用いて、過去n秒間の脳波データからその後のN秒間の脳波データを予測するニューラルネットワーク（脳波データの予測器）を構築する。そして、内面状態推定部１３は、構築された脳波データの予測器により、n秒前から現在時刻までの前処理済みの脳波データから、現在時刻からN秒間の脳波データを予測する。
　また、内面状態推定部１３は、以下のようにして、n秒前から現在時刻までの前処理済みの脳波データから、現在時刻からN秒間の脳波データを予測してもよい。
　例えば、可知覚化装置１０は、事前に収録された前処理済みの脳波データを用いて、過去の脳波データから次の脳波データを予測するLSTM等の再帰型ニューラルネットワーク（RNN）を学習する。そして、内面状態推定部１３は、学習したRNNにより脳波データを予測する。
　例えば、可知覚化装置１０は、事前に収録された前処理済みの脳波データを用いて、過去の脳波データから次の脳波データを予測するLSTM（Long　Short　Term　Memory）等のRNNを学習する。そして、内面状態推定部１３は、過去n秒間の脳波データを、上記のRNNに入力することにより、次のタイミングの脳波データを予測する。次に、内面状態推定部１３は、予測した脳波データを、上記のRNNに入力することで、更に次のタイミングの脳波データを予測する。内面状態推定部１３は、上記の処理を繰り返すことで、N秒間の脳波データを予測する。
　Ｓ１３の後、内面状態推定部１３は、n秒前から現在時刻までの前処理済みの脳波データと、Ｓ１３で予測したN秒間の脳波データとを用いて、パワースペクトル密度を計算する（Ｓ１４）。
　Ｓ１４の後、内面状態推定部１３は、Ｓ１４で計算したパワースペクトル密度を用いて、内面状態を推定する（Ｓ１５）。例えば、内面状態推定部１３は、内面状態の推定結果を示す多次元ベクトルを出力する。
　内面状態の推定にはどのような方法を用いてもよいが、例えば、事前に内面状態を表す多次元ベクトルをアノテーションしたパワースペクトル密度を多数用意する。そして、可知覚化装置１０は、このパワースペクトル密度を教師データとして、パワースペクトル密度から内面状態を表す多次元ベクトルを推定するニューラルネットワーク（内面状態推定器）を構築する。
　そして、内面状態推定部１３は、上記の内面状態推定器に、Ｓ１４で計算したパワースペクトル密度を入力することにより、内面状態を表す多次元ベクトル（内面状態の推定結果）を得る。
　また、別の方法として、内面状態推定部１３は、事前に収集した内面状態ごとのパワースペクトル密度と、Ｓ１４で計算したパワースペクトル密度との表現類似性分析を行うことで内面状態を推定してもよい。つまり、内面状態推定部１３は、事前に収集したパワースペクトル密度の示す脳活動と、Ｓ１４で計算したパワースペクトル密度の示す脳活動との類似性に基づき、内面状態を推定してもよい。
　例えば、内面状態推定部１３は、事前に収集したパワースペクトル密度ごとに、Ｓ１４で計算したパワースペクトル密度との類似性を示した類似性ベクトルを生成する。そして、内面状態推定部１３は、生成した類似性ベクトルを、内面状態を表す多次元ベクトルとして出力する。
　Ｓ１５の後、内面状態可知覚化部１４は、Ｓ１５で推定された内面状態を可知覚化する（Ｓ１６）。例えば、内面状態可知覚化部１４は、Ｓ１５で推定された内面状態を表す多次元ベクトルをパラメータとして、幾何学図形、音、振動等を生成する。
　なお、内面状態可知覚化部１４は、Ｓ１５で得られた多次元ベクトルをそのまま可知覚化するのではなく、例えば、主成分分析、判別分析等の次元圧縮手法を用いて、低次元ベクトルに変換した後に可知覚化してもよい。
　可知覚化装置１０が、上記の処理フローを実行することで、所定の時間幅の脳波データの周波数解析に基づいて内面状態を推定する場合においても、現在時刻を中心とした脳波データをもとに内面状態を推定することできる。その結果、可知覚化装置１０は、過去の内面状態ではなく、現在（現在時刻を中心とした所定の時間幅）の内面状態を推定することができる（図４参照）。
［第２の実施形態］
　次に、第２の実施形態の可知覚化装置１０を説明する。第２の実施形態の可知覚化装置１０は、例えば、n秒前から現在までの脳波データのパワースぺクトル密度を用いて、現在からN秒間の脳波データのパワースぺクトル密度を予測する。そして、可知覚化装置１０は、予測したパワースぺクトル密度を用いて、現在の内面状態を推定する。
［処理手順の例］
　図５を用いて、第２の実施形態の可知覚化装置１０が内面状態を可知覚化する手順の例を説明する。図５のＳ２１、Ｓ２２の処理は、図３のＳ１１、Ｓ１２の処理と同様なので説明を省略し、図５のＳ２３から説明する。
　図５のＳ２２の後、可知覚化装置１０の内面状態推定部１３は、Ｓ２２で得られたM秒前から現在時刻までの前処理済みの脳波データを用いて、パワースペクトル密度を計算する（Ｓ２３）。その後、内面状態推定部１３は、計算したパワースペクトル密度に時刻情報を紐づけて記憶部１２に格納する。
　Ｓ２３の後、内面状態推定部１３は、M秒前から現在時刻までの脳波データのパワースペクトル密度の時系列データを用いて、現在時刻を中心とする所定時間の脳波データのパワースペクトル密度を予測する（Ｓ２４）。パワースペクトル密度の予測にはどのような方法を用いてもよいが、例えば、前記した時系列予測技術を用いることができる。
　例えば、可知覚化装置１０は、事前に収録された前処理済みの脳波データを用いて、パワースペクトル密度の時系列データを生成する。そして、可知覚化装置１０は、過去x秒間の脳波データのパワースペクトル密度の時系列データから、現在時刻を中心とするパワースペクトル密度を予測するニューラルネットワーク（パワースぺクトル密度の予測器）を構築する。その後、内面状態推定部１３は、上記のパワースぺクトル密度の予測器を用いて、過去x秒間の脳波データのパワースペクトル密度の時系列データから、現在時刻を中心とするパワースペクトル密度を予測する。
　また、内面状態推定部１３は、前記したRNNにより現在時刻を中心とするパワースペクトル密度を予測してもよい。
　例えば、可知覚化装置１０は、事前に収録された前処理済みの脳波データを用いて、パワースペクトル密度の時系列データを生成する。そして、可知覚化装置１０は、過去のパワースペクトル密度から次のパワースぺクトル密度を予測するLSTM等のRNNを学習する。その後、内面状態推定部１３は、過去x秒間の脳波データのパワースペクトル密度を上記のRNNに入力することにより、次のタイミングのパワースペクトル密度を予測する。次に、内面状態推定部１３は、予測したパワースペクトル密度を、上記のRNNに入力することで、更に次のタイミングのパワースペクトル密度を予測する。内面状態推定部１３は、上記の処理を繰り返すことで、現在時刻を中心とするパワースペクトル密度を予測する。
　さらに、内面状態推定部１３は、事前に収録した脳波データのパワースペクトル密度の時系列データとの表現類似度分析により、現在時刻を中心とするパワースペクトル密度を予測してもよい。表現類似度分析による、現在時刻を中心とするパワースペクトル密度の予測の例を、図６を参照しながら説明する。
　例えば、内面状態推定部１３は、事前に収録した脳波データのパワースペクトル密度の時系列データを生成する。例えば、内面状態推定部１３は、パワースぺクトル密度の計算ウィンドウ=n秒、スライディングウィンドウ=m秒のパワースペクトル密度の時系列データを生成する。
　そして、内面状態推定部１３は、事前に収録した脳波データのパワースペクトル密度の時系列データと、過去y秒間の脳波データのパワースペクトル密度の時系列データとの表現類似度分析を行う。
　次に、内面状態推定部１３は、事前に収録した脳波データのパワースペクトル密度の時系列データと、過去y秒間の脳波データのパワースペクトル密度との表現類似度の高さに応じて、事前に収集したパワースペクトル密度の時系列データそれぞれに重み付けを行う。そして、内面状態推定部１３は、重み付けを行ったパワースぺクトル密度の時系列データを加算することで、パワースペクトル密度の予測時系列データを生成する。
　その後、内面状態推定部１３は、パワースぺクトル密度の予測時系列データから、現在時刻を中心とするパワースペクトル密度にあたるデータを抜き出す。
　なお、内面状態推定部１３は、事前に収録した脳波データのパワースペクトル密度の時系列データ全体を重み付け加算するのではなく、表現類似度分析に利用したパワースペクトル密度のうち、現在時刻を中心とするパワースペクトル密度に対応する部分のみを重み付け加算することで、現在時刻を中心とするパワースペクトル密度を予測してもよい（図６参照）。
　図５の説明に戻る。図５のＳ２４の後、内面状態推定部１３は、Ｓ２４で予測した現在時刻を中心とするパワースペクトル密度を用いて内面状態を推定する（Ｓ２５）。Ｓ２５における内面状態の推定は、前記した図３のＳ１５と同様なので説明を省略する。また、図５のＳ２６は、図３のＳ１６と同様なので説明を省略する。
　一般に脳波データのサンプリング周波数は非常に高い（＝サンプリング周期が短い）ため、例えば、1秒間の脳波データを予測するためには非常に多くの予測を行う必要がある。一方で、パワースペクトル密度の時系列データのサンプリング周波数は、脳波データからパワースペクトル密度の時系列データを求める際のスライディングウィンドウに依存する。そのため、一般にパワースペクトル密度の時系列データのサンプリング周期は、脳波データのサンプリング周期よりも十分に広く設定することが多い。したがって、第２の実施形態の可知覚化装置１０のように、予測の対象を、脳波データではなく、脳波データのパワースぺクトル密度とすることで、予測に必要な処理量を削減することができる。
［第３の実施形態］
　次に、第３の実施形態の可知覚化装置１０を説明する。第３の実施形態の可知覚化装置１０は、例えば、M秒前から現在までの脳波データのパワースぺクトル密度を用いて、M秒前から現在までの内面状態を推定し、推定したM秒前から現在までの内面状態を用いて、現在（現在を中心とした所定時間）の内面状態を予測する。
［処理手順の例］
　図７を用いて、第３の実施形態の可知覚化装置１０が内面状態を可知覚化する手順の例を説明する。図７のＳ３１～Ｓ３３の処理は、図５のＳ２１～Ｓ２３の処理と同様であり、図７のＳ３４の処理は、図３のＳ１５と同様なので説明を省略し、図７のＳ３５の処理から説明する。なお、内面状態推定部１３は、図７のＳ３４において推定した過去の内面状態（内面状態の時系列データ）を記憶部１２に格納しておくものとする。
　図７のＳ３４の後、内面状態推定部１３は、記憶部１２に記憶されている内面状態の時系列データ（M秒前から現在までの内面状態の時系列データ）を用いて、現在（現在を中心とした所定時間）の内面状態を予測する（Ｓ３５）。Ｓ３５の処理は、取り扱う時系列データがパワースペクトル密度から内面状態になるだけで、図５のＳ２４の処理と同様の処理なので説明を省略する。また、図７のＳ３６は、図３のＳ１６と同様なので説明を省略する。
［第４の実施形態］
　次に、第４の実施形態の可知覚化装置１０を説明する。第４の実施形態の可知覚化装置１０は、例えば、M秒前から現在までの脳波データのパワースぺクトル密度から、直接、現在（現在を中心とした所定時間）の内面状態を予測する。
［処理手順の例］
　図８を用いて、第４の実施形態の可知覚化装置１０が内面状態を可知覚化する手順の例を説明する。図８のＳ４１～Ｓ４３の処理は、図５のＳ２１～Ｓ２３の処理と同様なので説明を省略し、図８のＳ４４から説明する。
　図８のＳ４３の後、可知覚化装置１０の内面状態推定部１３は、記憶部１２に記憶されているM秒前から現在時刻までの脳波データのパワースペクトル密度の時系列データを用いて、現在（現在を中心とした所定時間）の内面状態を予測する（Ｓ４４）。Ｓ４４の処理は、予測対象をパワースペクトル密度から内面状態とした、図５のＳ２４の処理と同様の処理を適用することができる。また、図８のＳ４５は、図３のＳ１６と同様なので説明を省略する。
　第４の実施形態の可知覚化装置１０のように、パワースペクトル密度の時系列データから、直接、現在の内面状態を予測することで、現在の内面状態の予測に要する演算量を削減することができる。
　なお、第４の実施形態の可知覚化装置１０は、予測処理における入力（パワースペクトル密度）と出力（内面状態）が異なる。このため、第４の実施形態の可知覚化装置１０は、ニューラルネットワークを用いた内面状態の予測器を学習する際に、内面状態を求めておく必要がある。よって、内面状態の予測器の学習にかかるコストが高くなる可能性がある。しかし、内面状態の予測器の学習は事前に１度だけ行えばよいため、何度も実行する必要のある演算のコストを削減することができれば、トータルの演算コストを抑えることが可能である。
　図示した各部の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、前記した実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　前記した可知覚化装置１０は、パッケージソフトウェアやオンラインソフトウェアとしてプログラム（可知覚化プログラム）を所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置を可知覚化装置１０として機能させることができる。ここで言う情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等の端末等がその範疇に含まれる。
　図９は、可知覚化プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の可知覚化装置１０が実行する各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、可知覚化装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続される他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１０　可知覚化装置
　１１　脳波データ取得部
　１２　記憶部
　１３　内面状態推定部
　１４　内面状態可知覚化部

Claims (8)

  1. 　一連の脳波データを取得するデータ取得部と、
    　所定の時点までの前記脳波データに基づいて、前記所定の時点から所定時間先までの脳波の変化を予測し、予測した前記脳波の変化を用いて、前記脳波データの取得元のヒトの前記所定の時点の内面状態を推定する推定部と、
    　推定された所定の時点の内面状態に基づき、前記所定の時点の内面状態の可知覚化に用いるパラメータの値を計算し、計算した前記パラメータの値を用いて、前記所定の時点の内面状態を可知覚化した情報を出力する可知覚化部と
    　を備えることを特徴とする可知覚化装置。
  2. 　前記推定部は、
    　所定の時点までの前記脳波データに基づいて、前記所定の時点から所定時間先までの脳波データを予測し、予測した前記脳波データと前記所定の時点までの前記脳波データとのパワースぺクトル密度を計算し、計算した前記パワースぺクトル密度により、前記所定の時点の内面状態を推定する
    　ことを特徴とする請求項１に記載の可知覚化装置。
  3. 　前記推定部は、
    　脳波データのパワースペクトル密度に前記脳波データの示すヒトの内面状態を付与したデータを教師データとして用いて学習した内面状態予測モデルに、計算した前記パワースぺクトル密度を入力することにより、前記所定の時点の内面状態を推定する
    　ことを特徴とする請求項２に記載の可知覚化装置。
  4. 　前記推定部は、
    　前記所定の時点までの脳波データのパワースペクトル密度の時系列データを計算し、計算した前記パワースペクトル密度の時系列データに基づいて、前記所定の時点を中心とする所定時間のパワースペクトル密度を予測し、予測した前記パワースペクトル密度により、前記所定の時点のヒトの内面状態を推定する
    　ことを特徴とする請求項１に記載の可知覚化装置。
  5. 　前記推定部は、
    　事前に収録された過去のパワースペクトル密度の時系列データと、計算した前記パワースペクトル密度の時系列データとの表現類似度分析によって、前記所定の時点を中心とする所定時間のパワースペクトル密度を予測する
    　ことを特徴とする請求項４に記載の可知覚化装置。
  6. 　前記推定部は、
    　前記所定の時点までの前記脳波データからヒトの内面状態の時系列データを計算し、計算した前記内面状態の時系列データに基づいて、前記所定の時点の内面状態を推定する
    　ことを特徴とする請求項１に記載の可知覚化装置。
  7. 　可知覚化装置により実行される可知覚化方法であって、
    　一連の脳波データを取得する工程と、
    　所定の時点までの前記脳波データに基づいて、前記所定の時点から所定時間先までの脳波の変化を予測し、予測した前記脳波の変化を用いて、前記脳波データの取得元のヒトの前記所定の時点の内面状態を推定する工程と、
    　推定した前記所定の時点の内面状態に基づき、前記所定の時点の内面状態の可知覚化に用いるパラメータの値を計算し、計算した前記パラメータの値を用いて、前記所定の時点の内面状態を可知覚化した情報を出力する工程と
    　を含むことを特徴とする可知覚化方法。
  8. 　請求項１から請求項６のいずれか１項に記載の可知覚化装置としてコンピュータを機能させるための可知覚化プログラム。
PCT/JP2022/041951 2022-11-10 2022-11-10 可知覚化装置、可知覚化方法、および、可知覚化プログラム WO2024100850A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041951 WO2024100850A1 (ja) 2022-11-10 2022-11-10 可知覚化装置、可知覚化方法、および、可知覚化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041951 WO2024100850A1 (ja) 2022-11-10 2022-11-10 可知覚化装置、可知覚化方法、および、可知覚化プログラム

Publications (1)

Publication Number Publication Date
WO2024100850A1 true WO2024100850A1 (ja) 2024-05-16

Family

ID=91032084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041951 WO2024100850A1 (ja) 2022-11-10 2022-11-10 可知覚化装置、可知覚化方法、および、可知覚化プログラム

Country Status (1)

Country Link
WO (1) WO2024100850A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109670A (ko) * 2019-03-14 2020-09-23 위즈덤랩 주식회사 임신부의 태동인지력을 향상시키기 위한 뇌파 활용 훈련 시스템 및 방법
JP2021033524A (ja) * 2019-08-21 2021-03-01 株式会社電通サイエンスジャム 認知機能促進支援システム、学習システム、推定システム、及び認知機能促進支援方法
CN113255447A (zh) * 2021-04-23 2021-08-13 桂林电子科技大学 脑电信号解码方法、装置、设备及计算机可读存储介质
CN114283262A (zh) * 2021-12-24 2022-04-05 北京航空航天大学 一种基于虚拟现实技术的沉浸式表演情感增强系统
WO2022172447A1 (ja) * 2021-02-15 2022-08-18 パナソニックＩｐマネジメント株式会社 環境制御システム、環境制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109670A (ko) * 2019-03-14 2020-09-23 위즈덤랩 주식회사 임신부의 태동인지력을 향상시키기 위한 뇌파 활용 훈련 시스템 및 방법
JP2021033524A (ja) * 2019-08-21 2021-03-01 株式会社電通サイエンスジャム 認知機能促進支援システム、学習システム、推定システム、及び認知機能促進支援方法
WO2022172447A1 (ja) * 2021-02-15 2022-08-18 パナソニックＩｐマネジメント株式会社 環境制御システム、環境制御方法及びプログラム
CN113255447A (zh) * 2021-04-23 2021-08-13 桂林电子科技大学 脑电信号解码方法、装置、设备及计算机可读存储介质
CN114283262A (zh) * 2021-12-24 2022-04-05 北京航空航天大学 一种基于虚拟现实技术的沉浸式表演情感增强系统

Similar Documents

Publication Publication Date Title
US20180260706A1 (en) Systems and methods of identity analysis of electrocardiograms
Sriraam Correlation dimension based lossless compression of EEG signals
US11317840B2 (en) Method for real time analyzing stress using deep neural network algorithm
De Cheveigné et al. Auditory stimulus-response modeling with a match-mismatch task
CN114041795B (zh) 基于多模态生理信息与深度学习的情绪识别方法及系统
Tigga et al. Efficacy of novel attention-based gated recurrent units transformer for depression detection using electroencephalogram signals
CN116392087B (zh) 基于模态分解的睡眠趋稳性量化及调节方法、系统和装置
Zhao et al. Deep spatio-temporal sparse decomposition for trend prediction and anomaly detection in cardiac electrical conduction
Shah et al. Evaluating contrastive learning on wearable timeseries for downstream clinical outcomes
CN118248176A (zh) 一种基于助听器的老人情绪识别方法及系统
WO2024100850A1 (ja) 可知覚化装置、可知覚化方法、および、可知覚化プログラム
JP6973508B2 (ja) 信号処理装置、解析システム、信号処理方法および信号処理プログラム
Akimov et al. The Accuracy of Measuring Emotions, Behavioral Characteristics and Personality Traits by Video Analytics
Wang et al. An epileptic EEG detection method based on data augmentation and lightweight neural network
WO2023032281A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
Chien et al. Continuous-time self-attention in neural differential equation
Shen et al. Bio-signal analysis system design with support vector machines based on cloud computing service architecture
GB2572182A (en) Emotion signals to train AI
Sriraam Neural network based near-lossless compression of EEG signals with non uniform quantization
CN115299960A (zh) 基于短时变分模态分解的电信号分解方法及脑电信号分解装置
Taha et al. EEG Emotion Recognition Via Ensemble Learning Representations
Aruna et al. An ECG Signal Compression Technique Using Fast Normalised Least Mean Square Algorithm
Al-Anbary et al. A PROPOSED SIGN LANGUAGE MODEL FOR SPEECHLESS PERSONS USING EEG SIGNALS
Chen et al. Multiclass Classification of EEG Motor Imagery Signals Based on Transfer Learning
CN118395273B (zh) 基于脉冲神经网络和斯托克威尔变换的脑电信号分类方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965175

Country of ref document: EP

Kind code of ref document: A1