WO2023135692A1 - 注意対象推定装置、方法およびプログラム - Google Patents

注意対象推定装置、方法およびプログラム Download PDF

Info

Publication number
WO2023135692A1
WO2023135692A1 PCT/JP2022/000812 JP2022000812W WO2023135692A1 WO 2023135692 A1 WO2023135692 A1 WO 2023135692A1 JP 2022000812 W JP2022000812 W JP 2022000812W WO 2023135692 A1 WO2023135692 A1 WO 2023135692A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing unit
user
attention
frequency feature
measurement signal
Prior art date
Application number
PCT/JP2022/000812
Other languages
English (en)
French (fr)
Inventor
有信 新島
十季 武田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023573704A priority Critical patent/JPWO2023135692A1/ja
Priority to PCT/JP2022/000812 priority patent/WO2023135692A1/ja
Publication of WO2023135692A1 publication Critical patent/WO2023135692A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response

Definitions

  • One aspect of the present invention is an attention target estimation device, method, and method for estimating which external stimulus a user pays attention to, for example, when the user is in an environment where a plurality of types of external stimuli are received. Regarding the program.
  • EDA Electrodermal Activity
  • Non-Patent Document 1 introduces a method of measuring EDA by attaching electrodes to a finger and using the peak value of the phasic component. Specifically, it suggests that the EDA can be used to estimate a user's reaction to a vibration notification or notification sound from a smartphone.
  • Non-Patent Document 1 it is difficult to apply the method using the peak value of the phasic component as described in Non-Patent Document 1 in the normal living environment of humans. This is because multiple types of external stimuli occur intermittently in a person's normal living environment, and the peak value of the phasic component detected under such an environment corresponds to which of the above multiple types of external stimuli. This is because it is difficult to identify
  • the present invention has been made in view of the above circumstances, and aims to provide a technique for estimating an external stimulus to which a user is paying attention even in an environment where multiple types of external stimuli exist. be.
  • one aspect of the attention target estimation device or estimation method is to provide a method for estimating which of the plurality of types of external stimuli a user should pay attention to in an environment in which a plurality of types of external stimuli are occurring.
  • the type of the external stimulus corresponding to the frequency feature amount is estimated, and information representing the estimated type of the external stimulus is output as information representing an object to which the user is paying attention. It is designed to
  • a frequency feature is extracted from the phasic component of the measurement signal, and the type of external stimulus to which the user is paying attention is estimated based on the extracted frequency feature. . Therefore, even in an environment where a plurality of types of external stimuli coexist, it is possible to accurately estimate the type of external stimulus that the user is paying attention to.
  • FIG. 1 is a diagram showing an example of the configuration of a system provided with an attention target estimation device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the caution target estimation device according to one embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the software configuration of the caution target estimation device according to one embodiment of the present invention.
  • FIG. 4 is a flow chart showing an example of a processing procedure and processing contents of a classification model generation process executed in a learning phase by a control unit of the caution target estimation apparatus shown in FIG.
  • FIG. 5 is a flowchart showing an example of a processing procedure and processing contents of a classification model generation process executed in a test phase by the control unit of the caution target estimation apparatus shown in FIG.
  • FIG. 1 is a diagram showing an example of the configuration of a system provided with an attention target estimation device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the caution target estimation device according
  • FIG. 6A is a diagram showing an example of an EDA measurement signal obtained in an environment where the external stimulus is music only.
  • FIG. 6B is a diagram showing an example of an EDA measurement signal obtained in an environment where the external stimulus is only the task.
  • FIG. 7A is a diagram showing an example of a phasic component detected from an EDA measurement signal in an environment where the external stimulus is music only.
  • FIG. 7B is a diagram showing an example of a phasic component detected from an EDA measurement signal in an environment where the external stimulus is only the task.
  • FIG. 8A is a diagram showing an example of an EDA measurement signal obtained in an environment in which music and a task exist as external stimuli and the user is paying attention to music.
  • FIG. 8A is a diagram showing an example of an EDA measurement signal obtained in an environment in which music and a task exist as external stimuli and the user is paying attention to music.
  • FIG. 8B is a diagram showing an example of an EDA measurement signal obtained in an environment where music and a task are present as external stimuli and the user is paying attention to the task.
  • FIG. 9A is a diagram showing an example of a phasic component detected from an EDA measurement signal while the user is paying attention to music in an environment where music and a task exist as external stimuli.
  • FIG. 9B is a diagram showing an example of a phasic component detected from an EDA measurement signal while the user is paying attention to the task in an environment where music and the task exist as external stimuli.
  • FIG. 10 is a diagram showing an example of a calculation result of a concordance rate when the attention target estimation result obtained by the caution target estimation apparatus shown in FIG. 3 is compared with the correct label.
  • FIG. 1 is a diagram showing an example of the configuration of a system provided with an attention target estimation device according to an embodiment of the present invention.
  • a system includes a measurement terminal that measures a user's EDA, and an attention target estimation device AS that estimates which external stimulus the user pays attention to based on the measured EDA. .
  • the measurement terminal includes a sensor SS worn on the finger of the user's hand HD, and an EDA measurement terminal UT that measures EDA based on the detection signal of this sensor SS.
  • the sensor SS has conductive terminals attached to, for example, the middle finger and index finger of the hand HD, and outputs a detection signal representing the electrical resistance of the skin.
  • the EDA measurement terminal UT Based on the detection signal, the EDA measurement terminal UT generates an EDA measurement signal representing the chronological change in the electrodermal activity. The EDA measurement terminal UT transmits the generated EDA measurement signal to the attention target estimation apparatus AS via the network NW.
  • the EDA measurement terminal UT may be a dedicated terminal that measures only EDA, or may be provided as one function in an information processing terminal such as a smart phone or wearable terminal.
  • the network NW may be a wired or wireless LAN (Local Area Network), or may be a public data communication network including the Internet.
  • LAN Local Area Network
  • Attention target estimation device AS is configured by an information processing device such as a personal computer or a server computer, and is arranged, for example, on the cloud or the Web. Note that the attention target estimation device AS may be placed in a local area such as an office or business establishment for shared use by a plurality of users, or may be placed individually for each user. Furthermore, the attention target estimation device AS may be configured integrally with the EDA measurement terminal UT.
  • FIGS. 2 and 3 are block diagrams respectively showing an example of a hardware configuration and a software configuration of attention target estimation device AS.
  • the attention target estimation device AS includes a control unit 1 using a hardware processor such as a central processing unit (CPU).
  • the control unit 1 includes, via a bus 6, a storage unit having a program storage unit 2 and a data storage unit 3, a communication interface (hereinafter the interface is abbreviated as I/F) unit 4, and an input/output I/F unit. 5 are connected to each other.
  • I/F communication interface
  • the control unit 1 may be configured using a PLD (Programmable Logic Device), an FPGA (Field Programmable Gate Array), or the like.
  • the communication I/F section 4 is used to receive the EDA measurement signal transmitted from the EDA measurement terminal UT according to the communication protocol defined by the network NW.
  • An input device 7 and an output device 8 are connected to the input/output I/F section 5 .
  • the input device 7 is used by a system administrator or a user to specify an operation mode for the attention target estimation apparatus AS and to input learning data and the like necessary for generating a classification model.
  • the output device 8 is used, for example, to display information representing the estimation result by the attention target estimation device AS on a display.
  • the input device 7 and the output device 8 may be devices attached to the attention target estimation device AS, but input/output devices provided in other information processing terminals such as personal computers and smartphones other than the attention target estimation device AS. may be In addition, as a connection means for the input/output I/F unit 5, in addition to direct connection using a signal cable such as a USB cable, a short-range wireless data communication standard such as Bluetooth (registered trademark) or WiFi (registered trademark) is adopted. A wireless interface such as G4 or G5, or a wired interface may be used.
  • the program storage unit 2 is composed of, for example, a non-volatile memory such as an SSD (Solid State Drive) that can be written and read at any time as a storage medium, and a non-volatile memory such as a ROM (Read Only Memory). , OS (Operating System) and other middleware, as well as application programs necessary for executing various control processes according to one embodiment.
  • OS Operating System
  • application programs necessary for executing various control processes according to one embodiment.
  • the OS and each application program will be collectively referred to as programs.
  • the data storage unit 3 is, for example, a combination of a non-volatile memory such as SSD that can be written and read at any time and a volatile memory such as RAM (Random Access Memory) as a storage medium, and implements one embodiment.
  • An EDA measurement data storage unit 31 and a classification model storage unit 32 are provided as main storage areas required for this purpose.
  • the EDA measurement data storage unit 31 is used to store EDA measurement data obtained by sampling the EDA measurement signal sent from the EDA measurement terminal UT at a predetermined sampling rate.
  • the classification model storage unit 32 is used to store classification models made up of machine learning models for determining attention targets.
  • the control unit 1 includes an EDA measurement signal acquisition processing unit 11, a frequency feature amount calculation processing unit 12, a classification model generation processing unit 13, and an attention target determination processing unit as processing functions necessary for carrying out one embodiment. 14 and an estimated information output processing unit 15 .
  • Each of the processing units 11 to 15 is realized by causing the hardware processor of the control unit 1 to execute an application program stored in the program storage unit 2 .
  • the EDA measurement signal acquisition processing unit 11 receives the EDA measurement signal sent from the EDA measurement terminal UT via the network NW via the communication I/F unit 4, and samples the EDA measurement signal at a predetermined sampling rate. , and stores the EDA measurement data generated thereby in the EDA measurement data storage unit 31 .
  • the frequency feature quantity calculation processing unit 12 reads the EDA measurement data stored in the EDA measurement data storage unit 31 for each fixed period, and performs processing for calculating the frequency feature quantity of the phasic component for each fixed period. An example of the frequency feature amount calculation process will be described in an operation example.
  • the classification model generation processing unit 13 operates in the learning phase.
  • the classification model generation processing unit 13 uses EDA measurement data obtained from a user when each of a plurality of types of assumed external stimuli is individually given to the user. Then, using the frequency feature amount of the phasic component calculated from this EDA measurement data and the label (correct label) indicating the type of external stimulus as learning data, for example, using a linear discriminant analysis (LDA) algorithm, A process of generating a classification model and storing the generated classification model in the classification model storage unit 32 is performed.
  • LDA linear discriminant analysis
  • the generated classification model takes as input the frequency feature amount of the phasic component calculated from the EDA measurement data, and outputs a label representing the type of external stimulus corresponding to the frequency feature amount of this phasic component as an estimated label.
  • a convolutional neural network for example, is used as the machine learning model, but other neural networks may be used.
  • the caution target determination processing unit 14 operates in the test phase.
  • the object-of-attention determination processing unit 14 uses EDA measurement data obtained from the user when the user is given a mixture of multiple types of external stimuli. Then, the frequency feature amount of the phasic component calculated from the EDA measurement data is input to the classification model, and the label representing the type of external stimulus output from the classification model is acquired.
  • the estimated information output processing unit 15 Based on the label representing the type of external stimulus, the estimated information output processing unit 15 generates information representing the result of estimating the target to which the user is paying attention. Then, the information representing the generated estimation result is output from the input/output I/F unit 5 to the output device 8, and the information is displayed on, for example, a display. In addition, the estimated information output processing unit 15 may have a function of transmitting information representing the generated estimation result from the communication I/F unit 4 to, for example, a server device that provides a user behavior support service. .
  • the control unit 1 of the attention target estimation apparatus AS executes processing for generating a classification model as follows.
  • FIG. 4 is a flowchart showing an example of a processing procedure and processing contents of a series of processing related to generation of a classification model, which are executed by the control unit 1 of the caution target estimation device AS.
  • the external stimulus is given to the user alone.
  • these two types of external stimuli are individually given to the user.
  • a task such as "pressing a button at the moment when a mark appears on the screen of the user terminal" is used as the "specific task”.
  • the user shows the reaction (eSCR) to the given task.
  • This response is measured as a time-series change in electrodermal activity (EDA) by the sensor SS attached to the user's finger and the EDT measurement terminal UT.
  • EDA electrodermal activity
  • the control unit 1 of the attention target estimation device AS acquires the EDA measurement signal transmitted from the EDT measurement terminal UT in step S10 under the control of the EDA measurement signal acquisition processing unit 11. get. That is, the EDA measurement signal acquisition processing unit 11 receives the EDA measurement signal via the communication I/F unit 4, samples the received EDA measurement signal at a predetermined sampling rate, and thereby generates The EDA measurement data is stored in the EDA measurement data storage unit 31 .
  • the sampling rate is set to 100 Hz, for example.
  • (1-2) Calculation of frequency feature amount The control unit 1 of the attention target estimation device AS next calculates the frequency feature amount of the phasic component from the EDA measurement data under the control of the frequency feature amount calculation processing unit 12 as follows. calculate.
  • step S11 the frequency feature amount calculation processing unit 12 passes the EDA measurement data read from the EDA measurement data storage unit 31 through a high pass filter (HPF), thereby extracting the EDA phasic component. .
  • step S12 the frequency feature amount calculation processing unit 12 standardizes the extracted phasic component using the z-score. That is, the values of the phasic components are converted so that the average is "0" and the standard deviation is "1".
  • step S13 the frequency feature amount calculation processing unit 12 partitions the standardized EDA phasic component with windows of a fixed period length, and fast Fourier transforms (FFT: First Fourier Transform) processing is performed to calculate the power spectrum for the fixed period. Then, the frequency feature amount calculation processing section 12 extracts the power in the low frequency band from the calculated power spectrum as a feature amount vector.
  • FFT Fast Fourier transforms
  • the frequency feature quantity calculation processing unit 12 performs FFT processing on the phasic component of the EDA measurement data every 4096 samples, The power of the frequency band is extracted as a feature vector in the period of 4096 samples. As a result, a 10-dimensional feature quantity vector is obtained.
  • the frequency feature quantity calculation processing unit 12 repeats the process of extracting the feature quantity vector for each period while shifting the position of the window of the fixed period length by a fixed interval, for example, by 10 samples.
  • (1-3) Classification model learning
  • the control unit 1 of the caution target estimation device AS under the control of the classification model generation processing unit 13, in step S14, the extracted feature amount vector and the user alone at this time
  • the classification model is learned using the correct label representing the type of the given external stimulus as learning data.
  • a classification model is trained using the feature vector obtained at this time and the correct label that indicates that the music is paying attention as learning data.
  • the feature vector obtained at this time and the correct label indicating that the attention is directed to the specific task are used as learning data to learn the classification model.
  • a classification model learned for each external stimulus is generated. Note that even if the same external stimulus is given, the reaction differs from user to user. Therefore, it is desirable to generate a classification model for each user.
  • the generated classification model is stored in the classification model storage unit 32 .
  • test Phase When a test mode execution request is input from the input device 7 in a state where the generation of the classification model is completed, the control unit 1 of the attention target estimation device AS estimates the user's attention target. A series of processes are executed as follows.
  • FIG. 5 is a flowchart showing an example of a processing procedure and processing contents of a series of processes for estimating a caution target, which are executed by the control unit 1 of the caution target estimation device AS.
  • the test phase users are given a mixture of the above two types of tasks. For example, have the user perform the specific task while listening to music.
  • the user shows a reaction to the task of which the user is most interested among the above two types of tasks. Similar to the learning phase, this reaction is measured as a time-series change in EDA by the sensor SS worn on the user's finger and the EDT measurement terminal UT, and the obtained time-series EDA measurement signal is the EDT measurement terminal UT. to the attention object estimation device AS via the network NW.
  • the control unit 1 of the attention target estimation device AS acquires the EDA measurement signal transmitted from the EDT measurement terminal UT in step S20 under the control of the EDA measurement signal acquisition processing unit 11. receive. Then, the received EDA measurement signal is sampled at a sampling rate of 100 Hz as in the learning phase, and the EDA measurement data thus obtained is temporarily stored in the EDA measurement data storage unit 31 .
  • step S21 the frequency feature amount calculation processing unit 12 first reads the EDA measurement data from the EDA measurement data storage unit 31 and passes it through a high-pass filter (HPA), thereby extracting the phasic component of EDA.
  • step S22 the frequency feature amount calculation processing unit 12 converts the extracted phasic component using the z-score so that the average is "0" and the standard deviation is "1".
  • step S23 the frequency feature amount calculation processing unit 12 divides the standardized EDA phasic component by a window set to a period length of 4096 samples, and divides the phasic component of the divided period into By performing FFT processing, the power spectrum of the above period is calculated. Then, the frequency feature amount calculation processing unit 12 extracts the power in the low frequency band of 0 to 0.25 Hz from the calculated power spectrum as a feature amount vector. Therefore, even in this test mode, a 10-dimensional feature amount vector can be obtained.
  • the frequency feature amount calculation processing unit 12 repeats the process of extracting the feature amount vector for each period while shifting the position of the window by 10 samples.
  • the caution target determination processing unit 14 inputs the extracted feature amount vector to the classification model stored in the classification model storage unit 32 in step S24. As a result, the classification model outputs a label representing the type of external stimulus corresponding to the input feature amount vector.
  • the caution target determination processing unit 14 acquires the label output from the classification model in step S ⁇ b>25 and passes the acquired label to the estimated information output processing unit 15 .
  • the estimated information output processing unit 15 generates estimated information representing the determination result of the attention target based on the label, and outputs the generated estimated information from the input/output I/F unit 5 to the output device 8 . As a result, the estimated information is displayed on the display of the output device 8 . Note that the estimated information may be transmitted from the communication I/F unit 4 to a server device that provides a user action support service or the like.
  • the evaluation target period is from 20 seconds after the start of the task to the end of the task, and the EDA of each user during this period is measured. , an EDA measurement signal showing a time-series change is obtained. Further, when each EDA measurement signal is taken into the attention target estimation device AS, and the phasic component is extracted and standardized by the frequency feature amount calculation processing unit 12, the standardized phasic component shown in FIGS. 7A and 7B is calculated. .
  • each feature amount vector obtained under each of the above stimulus conditions (1) and (2) and the correct value under each of the above conditions "I am paying attention to music” and a correct label representing "paying attention to the task", respectively, as learning data to generate a classification model.
  • This classification model is generated individually due to individual differences in responses among the four users.
  • each of the four users is given two types of external stimuli in a mixed state, and is made to pay attention to one of the external stimuli.
  • the period from 20 seconds after the start of the task to the end of the task is set as the evaluation target period, and when EDA is measured during this period, the time series changes as shown in FIGS. 8A and 8B, respectively.
  • An EDA measurement signal is obtained that exhibits Further, when each EDA measurement signal is taken into the attention target estimation device AS, and the phasic component is extracted and standardized by the frequency feature amount calculation processing unit 12, the standardized phasic component shown in FIGS. 9A and 9B is calculated. .
  • the feature amount vector extracted by the frequency feature amount calculation process is input to the classification model corresponding to the user.
  • attention labels ie, estimated labels, corresponding to the user's reactions to the stimulus conditions (3) and (4) are output from the classification model for each user.
  • FIG. 10 is a diagram showing the output results of the estimated labels reflecting the reactions of the four users for each of the stimulus conditions (3) and (4), in comparison with the correct labels, that is, the estimation accuracy. It is a diagram. In this example, 1600 data (400 data for 4 people) are used as parameters.
  • the user's EDA measurement signal is acquired while the user is being given an external stimulus alone. Then, a phasic component is extracted from the obtained EDA measurement signal at regular intervals, standardization and FFT processing are performed on the extracted phasic component to calculate a power spectrum, and a feature vector is extracted from the power spectrum. do. Then, a classification model is generated using machine learning using the extracted feature vector and the correct label indicating the external stimulus as learning data.
  • the user's EDA measurement signal is acquired while a plurality of types of external stimuli are mixed and given to the user, and based on the acquired EDA measurement signal, the learning phase is performed.
  • the power spectrum of the phasic component is calculated for each fixed period length to extract the feature quantity vector.
  • the extracted feature vector is input to the classification model, and the resulting label output from the classification model is output as the result of estimating the type of external stimulus to which the user is paying attention.
  • a feature amount vector is extracted from the power spectrum of the phasic component for each section of the user's EDA measurement signal with a constant period length, and based on the extracted feature amount vector, the external area to which the user is paying attention is extracted. Stimulus type is estimated. Therefore, even in an environment where a plurality of types of external stimuli coexist, it is possible to accurately estimate the type of external stimulus that the user is paying attention to.
  • a machine learning classification model generated in advance for each user is used. Therefore, high-precision estimation can be performed in a short time with a small configuration without requiring large-scale calculation processing or a large-capacity data table each time.
  • the estimation of the type of the external stimulus was explained taking the case of using a classification model using machine learning as an example. However, it is not always necessary to use a machine learning model. For example, information representing the correspondence between information representing the type of external stimulus assumed and information representing the correspondence between the corresponding frequency feature vector extracted from the phasic component of EDA. A pre-stored data table may also be used.
  • the attention target estimation device AS is a dedicated device having only that function. However, it is not limited to this, and may be provided as one of the functions of existing server computers, personal computers, mobile terminals such as smartphones. In addition, a plurality of functions included in attention target estimation device AS may be distributed to a plurality of information processing devices.
  • attention target estimation device AS its processing procedure and processing content, types of neural networks for constructing classification models and their generation methods, types and numbers of external stimuli, uses of attention target estimation information, etc.
  • Various modifications can be made without departing from the gist of the invention.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the gist of the invention at the implementation stage.
  • various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments.
  • constituent elements of different embodiments may be combined as appropriate.
  • AS... Attention target estimation device UT... EDA measuring terminal SS... EDA sensor RB... Robot arm HD... User's hand NW... Network 1... Control unit 2; Program storage unit 3... Data storage unit 4... Communication I/F unit 5... Input/output I/F unit 6 Bus 7 Input device 8 Output device 11 EDA measurement signal acquisition processing unit 12 Frequency feature amount calculation processing unit 13 Classification model generation processing unit 14 Attention object determination processing unit 15 Estimation Information output processing unit 31 EDA measurement data storage unit 32 Classification model storage unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dermatology (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

この発明の一態様は、複数種類の外部刺激が発生している環境下において、ユーザが前記複数種類の外部刺激のうちのいずれ注意を向けているか推定する際に、前記環境下において前記ユーザの皮膚電気活動が反映された測定信号を取得し、取得された前記測定信号からphasic成分の周波数特徴量を抽出し、抽出された前記周波数特徴量に基づいて、当該周波数特徴量に対応する前記外部刺激の種類を推定し、推定された前記外部刺激の種類を表す情報を、前記ユーザが注意を向けている対象を表す情報として出力する。

Description

注意対象推定装置、方法およびプログラム
　この発明の一態様は、例えば、ユーザが複数種の外部刺激を受ける環境下に存在している場合に、ユーザがどの外部刺激に対し注意を向けているかを推定する注意対象推定装置、方法およびプログラムに関する。
　人は緊張、ストレス、不安などを感じると、自律神経の交感神経が活発となり、手や足の末梢に発汗する。これを精神性発汗といい、この発汗により皮膚コンダクタンスが増加する。この皮膚の電気伝導性および抵抗率の変化は、皮膚電気活動（ＥＤＡ: Electrodermal Activity）と呼ばれる。ＥＤＡは、外部刺激に対する反応（ｅＳＣＲ: event-related Skin Conductance Responses）としても現れ、刺激後１～４秒後にピークが見られるように変化する。このように外部刺激に対し反応するＥＤＡの成分はphasic成分と呼ばれる。
　ところで、人は一般に多種多様な外部刺激を受ける環境下で生活しており、人がどの外部刺激に対し注意を向けているかを把握することは、人の生活や種々の活動を支援する上で有用である。
　そこで、近年、外部刺激に対するユーザの注意をＥＤＡを利用して推定する手法が研究されている。例えば、非特許文献１では、指に電極を装着してＥＤＡを測定し、そのphasic成分のピーク値を利用する手法が紹介されている。具体的には、スマートフォンによる振動通知や通知音に対するユーザの反応をＥＤＡから推定できることを示唆している。
Pascal E. Fortin, Elisabeth Sulmont, and Jeremy Cooperstock. "Detecting perception of smartphone notifications using skin conductance responses." Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 2019.
　ところが、非特許文献１に記載されたようなphasic成分のピーク値を用いた手法は、人の通常の生活環境において適用することが難しい。何故なら、人の通常の生活環境では複数種類の外部刺激が断続的に発生しており、このような環境下で検出されるphasic成分のピーク値は上記複数種類の外部刺激のうちどれに反応したものか識別することが困難だからである。
　この発明は上記事情に着目してなされたもので、複数種類の外部刺激が存在する環境下においても、ユーザが注意を向けている外部刺激を推定できるようにする技術を提供しようとするものである。
　上記課題を解決するためにこの発明に係る注意対象推定装置又は推定方法の一態様は、複数種類の外部刺激が発生している環境下において、ユーザが前記複数種類の外部刺激のうちのいずれ注意を向けているか推定する際に、前記環境下において前記ユーザの皮膚電気活動が反映された測定信号を取得し、取得された前記測定信号からphasic成分の周波数特徴量を抽出し、抽出された前記周波数特徴量に基づいて、当該周波数特徴量に対応する前記外部刺激の種類を推定し、推定された前記外部刺激の種類を表す情報を、前記ユーザが注意を向けている対象を表す情報として出力するようにしたものである。
　この発明の一態様によれば、前記測定信号のphasic成分から周波数特徴量が抽出され、抽出された上記周波数特徴量をもとに、ユーザが注意を向けている外部刺激の種類が推定される。このため、複数種類の外部刺激が混在する環境下においても、ユーザが注意を向けている外部刺激の種類を精度良く推定することが可能となる。
　すなわちこの発明の一態様によれば、複数種類の外部刺激が発生する環境下においても、ユーザが注意を向けている外部刺激を推定できるようにした技術を提供することができる。
図１は、この発明の一実施形態に係る注意対象推定装置を備えるシステムの構成の一例を示す図である。 図２は、この発明の一実施形態に係る注意対象推定装置のハードウェア構成の一例を示すブロック図である。 図３は、この発明の一実施形態に係る注意対象推定装置のソフトウェア構成の一例を示すブロック図である。 図４は、図３に示した注意対象推定装置の制御部が学習フェーズにおいて実行する分類モデル生成処理の処理手順と処理内容の一例を示すフローチャートである。 図５は、図３に示した注意対象推定装置の制御部がテストフェーズにおいて実行する分類モデル生成処理の処理手順と処理内容の一例を示すフローチャートである。 図６Ａは、外部刺激が音楽のみの環境下で得られるＥＤＡ測定信号の一例を示す図である。 図６Ｂは、外部刺激がタスクのみの環境下で得られるＥＤＡ測定信号の一例を示す図である。 図７Ａは、外部刺激が音楽のみの環境下で、ＥＤＡ測定信号から検出されるphasic成分の一例を示す図である。 図７Ｂは、外部刺激がタスクのみの環境下で、ＥＤＡ測定信号から検出されるphasic成分の一例を示す図である。 図８Ａは、外部刺激として音楽とタスクが存在する環境下で、ユーザが音楽に注意を向けている状態で得られるＥＤＡ測定信号の一例を示す図である。 図８Ｂは、外部刺激として音楽とタスクが存在する環境下で、ユーザがタスクに注意を向けている状態で得られるＥＤＡ測定信号の一例を示す図である。 図９Ａは、外部刺激として音楽とタスクが存在する環境下で、ユーザが音楽に注意を向けている状態でＥＤＡ測定信号から検出されるphasic成分の一例を示す図である。 図９Ｂは、外部刺激として音楽とタスクが存在する環境下で、ユーザがタスクに注意を向けている状態でＥＤＡ測定信号から検出されるphasic成分の一例を示す図である。 図１０は、図３に示した注意対象推定装置により得られる注意対象の推定結果を正解ラベルと比較したときの一致率の算出結果の一例を示した図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［一実施形態］
　（構成例）
　（１）システム
　図１は、この発明の一実施形態に係る注意対象推定装置を備えるシステムの構成の一例を示す図である。
　一実施形態に係るシステムは、ユーザのＥＤＡを測定する測定端末と、測定されたＥＤＡをもとに上記ユーザがどの外部刺激に対し注意を向けているかを推定する注意対象推定装置ＡＳとを備える。
　測定端末は、ユーザの手ＨＤの指に装着されるセンサＳＳと、このセンサＳＳの検出信号をもとにＥＤＡを測定するＥＤＡ測定端末ＵＴとを備える。
　センサＳＳは、例えば手ＨＤの中指と人差し指に装着される導電端子を有し、皮膚の電気抵抗を表す検出信号を出力する。
　ＥＤＡ測定端末ＵＴは、上記検出信号をもとに皮膚電気活動の時系列変化を表すＥＤＡ測定信号を生成する。ＥＤＡ測定端末ＵＴは、生成された上記ＥＤＡ測定信号をネットワークＮＷを介して注意対象推定装置ＡＳへ送信する。
　なお、ＥＤＡ測定端末ＵＴは、ＥＤＡのみを測定する専用端末であってもよいし、例えばスマートフォンやウェアラブル端末等の情報処理端末に１つの機能として設けられるようにしてもよい。
　ネットワークＮＷは、有線または無線を用いたＬＡＮ（Local Area Network ）であってもよく、またインターネットを含む公衆データ通信ネットワークであってもよい。
　（２）注意対象推定装置ＡＳ
　注意対象推定装置ＡＳは、パーソナルコンピュータまたはサーバコンピュータ等の情報処理装置により構成され、例えばクラウドまたはＷｅｂ上に配置される。なお、注意対象推定装置ＡＳは、複数のユーザが共用するためにオフィスや事業所内等のローカルエリアに配置されていてもよく、またユーザごとに個別に配置されてもよい。さらに、注意対象推定装置ＡＳは、ＥＤＡ測定端末ＵＴと一体的に構成されてもよい。
　図２および図３は、それぞれ注意対象推定装置ＡＳのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
　注意対象推定装置ＡＳは、中央処理ユニット（ＣＰＵ：Central Processing Unit）等のハードウェアプロセッサを使用した制御部１を備えている。制御部１には、バス６を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、通信インタフェース（以後インタフェースをＩ／Ｆと略称する）部４と、入出力Ｉ／Ｆ部５がそれぞれ接続されている。なお、制御部１は、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等を用いて構成されてもよい。
　通信Ｉ／Ｆ部４は、ネットワークＮＷにより定義される通信プロトコルに従い、ＥＤＡ測定端末ＵＴから伝送されるＥＤＡ測定信号を受信するために使用される。
　入出力Ｉ／Ｆ部５には、入力デバイス７および出力デバイス８が接続される。入力デバイス７は、システム管理者またはユーザが、注意対象推定装置ＡＳに対し動作モードを指定したり、分類モデルの生成に必要な学習データ等を入力するために使用される。出力デバイス８は、注意対象推定装置ＡＳによる推定結果を表す情報を、例えばディスプレイに表示するために使用される。
　なお、入力デバイス７および出力デバイス８は、注意対象推定装置ＡＳに付属するデバイスであってもよいが、注意対象推定装置ＡＳ以外のパーソナルコンピュータやスマートフォン等の他の情報処理端末が備える入出力デバイスであってもよい。また、入出力Ｉ／Ｆ部５に対する接続手段としては、ＵＳＢケーブル等の信号ケーブルを用いた直接接続以外に、Bluetooth（登録商標）やWiFi（登録商標）等の近距離無線データ通信規格を採用した無線インタフェースや、G4またはG5等の無線インタフェース、さらには有線インタフェースが用いられてもよい。
　プログラム記憶部２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。
　データ記憶部３は、例えば、記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、一実施形態を実施するために必要な主たる記憶領域として、ＥＤＡ測定データ記憶部３１と、分類モデル記憶部３２とを備えている。
　ＥＤＡ測定データ記憶部３１は、ＥＤＡ測定端末ＵＴから送られたＥＤＡ測定信号を所定のサンプリングレートでサンプリングしたＥＤＡ測定データを保存するために使用される。
　分類モデル記憶部３２は、注意対象を判定するための、機械学習モデルからなる分類モデルを記憶するために使用される。
　制御部１は、一実施形態を実施するために必要な処理機能として、ＥＤＡ測定信号取得処理部１１と、周波数特徴量算出処理部１２と、分類モデル生成処理部１３と、注意対象判定処理部１４と、推定情報出力処理部１５とを備えている。上記処理部１１～１５は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを、制御部１のハードウェアプロセッサに実行させることにより実現される。
　ＥＤＡ測定信号取得処理部１１は、ＥＤＡ測定端末ＵＴからネットワークＮＷを介して送られたＥＤＡ測定信号を通信Ｉ／Ｆ部４を介して受け取り、このＥＤＡ測定信号を所定のサンプリングレートでサンプリングして、これにより生成されるＥＤＡ測定データをＥＤＡ測定データ記憶部３１に記憶させる処理を行う。
　周波数特徴量算出処理部１２は、上記ＥＤＡ測定データ記憶部３１に保存されているＥＤＡ測定データを一定期間分ずつ読み込み、この一定期間分ごとにphasic成分の周波数特徴量を算出する処理を行う。この周波数特徴量の算出処理の一例は、動作例において説明する。
　分類モデル生成処理部１３は、学習フェーズにおいて動作する。分類モデル生成処理部１３は、想定される複数種類の外部刺激の各々を単独でユーザに与えたときに当該ユーザから得られるＥＤＡ測定データを用いる。そして、このＥＤＡ測定データから算出されるphasic成分の周波数特徴量と、上記外部刺激種類を示すラベル（正解ラベル）とを学習データとして、例えば線形判別分析（ＬＤＡ：Linear Discriminant Analysis）アルゴリズムを用いて分類モデルを生成し、生成された分類モデルを分類モデル記憶部３２に記憶させる処理を行う。
　生成される分類モデルは、ＥＤＡ測定データから算出されるphasic成分の周波数特徴量を入力とし、このphasic成分の周波数特徴量に対応する外部刺激の種類を表すラベルを推定ラベルとして出力するものとなる。機械学習モデルには、例えば畳み込みニューラルネットワークが用いられるが、他のニューラルネットワークであってもよい。
　注意対象判定処理部１４は、テストフェーズにおいて動作する。注意対象判定処理部１４は、複数種類の外部刺激が混在する状態でユーザに与えられたときにユーザから得られるＥＤＡ測定データを用いる。そして、このＥＤＡ測定データから算出されるphasic成分の周波数特徴量を上記分類モデルに入力し、この分類モデルから出力される外部刺激の種類を表すラベルを取得する。
　推定情報出力処理部１５は、上記外部刺激の種類を表すラベルをもとに、ユーザが注意を向けている対象の推定結果を表す情報を生成する。そして、生成された推定結果を表す情報を入出力Ｉ／Ｆ部５から出力デバイス８へ出力し、例えばディスプレイに表示させる処理を行う。また、推定情報出力処理部１５は、生成された上記推定結果を表す情報を、通信Ｉ／Ｆ部４から例えばユーザ行動の支援サービスを行うサーバ装置等へ送信する機能を有していてもよい。
　（動作例）
　次に、以上のように構成された注意対象推定装置ＡＳの動作例を説明する。
　（１）学習フェーズ
　注意対象推定装置ＡＳの制御部１は、例えば入力デバイス７から学習フェーズの実行要求を受け取ると、分類モデルを生成する処理を以下のように実行する。
　図４は、注意対象推定装置ＡＳの制御部１により実行される、分類モデルの生成に係る一連の処理の処理手順と処理内容の一例を示すフローチャートである。
　分類モデルを生成する際には、ユーザに対し外部刺激を単独で与える。例えば、外部刺激として「音楽を聞かせる」、「特定のタスクを行わせる」の２種類を想定している場合、これら２種類の外部刺激をそれぞれ単独でユーザに与える。なお、この例では、「特定のタスク」として「ユーザ端末の画面にマークが出た瞬間にボタンを押す」といったタスクが用いられる。
　ユーザに対し上記２種類のタスクの一方が単独で与えられると、ユーザは与えられたタスクに対する反応（ｅＳＣＲ）を示す。この反応は、ユーザの指に装着されたセンサＳＳおよびＥＤＴ測定端末ＵＴにより皮膚電気活動（ＥＤＡ）の時系列変化として測定される。ＥＤＴ測定端末ＵＴは、時系列上で連続するＥＤＡ測定信号をネットワークＮＷを介して注意対象推定装置ＡＳへ送信する。
　（１－１）ＥＤＡ測定信号の取得
　注意対象推定装置ＡＳの制御部１は、上記ＥＤＴ測定端末ＵＴから送信されたＥＤＡ測定信号を、ＥＤＡ測定信号取得処理部１１の制御の下、ステップＳ１０において取得する。すなわち、ＥＤＡ測定信号取得処理部１１は、上記ＥＤＡ測定信号を通信Ｉ／Ｆ部４を介して受信し、受信された上記ＥＤＡ測定信号を所定のサンプリングレートでサンプリングして、これにより生成されたＥＤＡ測定データをＥＤＡ測定データ記憶部３１に保存する。サンプリングレートは、例えば１００Hzに設定される。
　（１－２）周波数特徴量の算出
　注意対象推定装置ＡＳの制御部１は、次に周波数特徴量算出処理部１２の制御の下、ＥＤＡ測定データからphasic成分の周波数特徴量を以下のように算出する。
　すなわち、周波数特徴量算出処理部１２は、先ずステップＳ１１において、ＥＤＡ測定データ記憶部３１から読み込んだＥＤＡ測定データをハイパスフィルタ（ＨＰＦ：High Pass Filter）に通し、これによりＥＤＡのphasic成分を抽出する。周波数特徴量算出処理部１２は、続いてステップＳ１２において、抽出された上記phasic成分をz-scoreを用いて標準化する。すなわち、phasic成分を、平均が“０”、標準偏差が“１”となるように値を変換する。
　周波数特徴量算出処理部１２は、次にステップＳ１３において、標準化された上記ＥＤＡのphasic成分を一定期間長の窓により区切り、区切られた上記一定期間のphasic成分に対し高速フーリエ変換（ＦＦＴ：First Fourier Transform）処理を行って、上記一定期間のパワースペクトルを算出する。そして、周波数特徴量算出処理部１２は、算出された上記パワースペクトルのうち低周波帯域のパワーを特徴量ベクトルとして抽出する。
　例えば、周波数特徴量算出処理部１２は、サンプリングレートが１００Hzの場合、ＥＤＡ測定データのphasic成分について４０９６サンプルごとにＦＦＴ処理を行い、これにより得られたパワースペクトルのうち０～０．２５Hzの低周波帯域のパワーを、上記４０９６サンプルの期間における特徴量ベクトルとして抽出する。この結果、１０次元の特徴量ベクトルが得られる。
　周波数特徴量算出処理部１２は、上記一定期間長の窓の位置を一定間隔ずつ、例えば１０サンプルずつシフト移動させながら、それぞれの期間について上記特徴量ベクトルを抽出する処理を繰り返す。
　（１－３）分類モデルの学習
　注意対象推定装置ＡＳの制御部１は、分類モデル生成処理部１３の制御の下、ステップＳ１４において、抽出された上記特徴量ベクトルと、このときユーザに単独で与えられた上記外部刺激の種類を表す正解ラベルとを、学習データとして用いて分類モデルを学習させる。
　例えば、音楽を単独で聴かせている状態で、このとき得られる特徴量ベクトルと、音楽に注意が向いていることを示す正解ラベルとを学習データとして、分類モデルを学習させる。また、特定のタスクを単独で行わせている状態では、このときに得られる特徴量ベクトルと、上記特定のタスクに注意が向いていることを示す正解ラベルとを学習データとして、分類モデルを学習させる。
　かくして、以上の一連の学習処理により、各外部刺激について学習された分類モデルが生成される。なお、同一の外部刺激を与えても、その反応はユーザごとに個人差がある。このため、分類モデルはユーザごとに生成するのが望ましい。生成された分類モデルは、分類モデル記憶部３２に記憶される。
　（２）テストフェーズ
　上記分類モデルの生成が終了した状態で、入力デバイス７からテストモードの実行要求が入力されると、注意対象推定装置ＡＳの制御部１は、ユーザの注意対象を推定するための一連の処理を以下のように実行する。
　図５は、注意対象推定装置ＡＳの制御部１により実行される、注意対象を推定するための一連の処理の処理手順と処理内容の一例を示すフローチャートである。
　テストフェーズでは、上記２種類のタスクが混在する状態でユーザに与えられる。例えば、ユーザに音楽を聴かせながら、上記特定のタスクを行わせる。上記２種類のタスクが同時に与えられると、ユーザは上記２種類のタスクのうち関心が高いタスクに対し反応を示す。この反応は、学習フェーズのときと同様に、ユーザの指に装着されたセンサＳＳおよびＥＤＴ測定端末ＵＴによりＥＤＡの時系列変化として測定され、得られた時系列のＥＤＡ測定信号がＥＤＴ測定端末ＵＴからネットワークＮＷを介して注意対象推定装置ＡＳへ送信される。
　（２－１）ＥＤＡ測定信号の取得
　注意対象推定装置ＡＳの制御部１は、上記ＥＤＴ測定端末ＵＴから送信されたＥＤＡ測定信号を、ＥＤＡ測定信号取得処理部１１の制御の下、ステップＳ２０において受信する。そして、受信された上記ＥＤＡ測定信号を、学習フェーズの場合と同様に１００Hzのサンプリングレートでサンプリングし、これにより得られるＥＤＡ測定データをＥＤＡ測定データ記憶部３１に一旦保存する。
　（２－２）周波数特徴量の算出
　注意対象推定装置ＡＳの制御部１は、次に周波数特徴量算出処理部１２の制御の下、学習フェーズの場合と同様に、上記保存されたＥＤＡ測定データからphasic成分の周波数特徴量を算出する処理を行う。
　すなわち、周波数特徴量算出処理部１２は、先ずステップＳ２１において、ＥＤＡ測定データ記憶部３１からＥＤＡ測定データを読み出してハイパスフィルタ（ＨＰＡ）に通し、これによりＥＤＡのphasic成分を抽出する。周波数特徴量算出処理部１２は、次にステップＳ２２において、抽出された上記phasic成分をz-scoreを用いて、平均が“０”および標準偏差が“１”となるように変換する。
　続いて周波数特徴量算出処理部１２は、ステップＳ２３において、標準化された上記ＥＤＡのphasic成分を４０９６サンプル分の期間の長さに設定された窓により区切り、区切られた上記期間のphasic成分に対しＦＦＴ処理を行うことにより、上記期間のパワースペクトルを算出する。そして、周波数特徴量算出処理部１２は、算出された上記パワースペクトルのうち、０～０．２５Hzの低周波帯域のパワーを特徴量ベクトルとして抽出する。従って、このテストモードにおいても、１０次元の特徴量ベクトルが得られる。
　周波数特徴量算出処理部１２は、上記窓の位置を１０サンプルずつシフト移動させながら、それぞれの期間について上記特徴量ベクトルを抽出する処理を繰り返す。
　（２－３）注意対象の判定および判定結果の出力
　所定の判定対象期間における上記特徴量ベクトルが得られると、注意対象推定装置ＡＳの制御部１は、次に注意対象判定処理部１４の制御の下、分類モデルを用いてユーザの注意対象を判定する処理を、以下のように実行する。
　すなわち、注意対象判定処理部１４は、抽出された上記特徴量ベクトルを、ステップＳ２４において、分類モデル記憶部３２に記憶された分類モデルに入力する。この結果、分類モデルからは、入力された上記特徴量ベクトルに対応する外部刺激の種類を表すラベルが出力される。注意対象判定処理部１４は、上記分類モデルから出力されるラベルをステップＳ２５により取得し、取得された上記ラベルを推定情報出力処理部１５に渡す。
　推定情報出力処理部１５は、上記ラベルをもとに注意対象の判定結果を表す推定情報を生成し、生成された推定情報を入出力Ｉ／Ｆ部５から出力デバイス８へ出力する。この結果、出力デバイス８のディスプレイに上記推定情報が表示される。なお、上記推定情報は、通信Ｉ／Ｆ部４からユーザ行動支援サービス等を行うサーバ装置へ送信されてもよい。
　（検証例）
　最後に、以上述べた一実施形態に係る注意対象推定装置ＡＳによる推定動作の精度を検証する。
　（３－１）分類モデルの生成
　例えば、いま被験者である４名のユーザに対し、以下の条件でそれぞれ外部刺激を与える。
　(1) 音楽を聴いているときの各ユーザのＥＤＡを１１０秒間測定する。この刺激条件をmusic Onlyとする。
　(2) 反応時間測定のためのタスク（画面にマークが出た瞬間にボタンを押すタスク）を遂行しているときの各ユーザのＥＤＡを１１０秒間測定する。この刺激条件をtask Onlyとする。マークは５～６秒間に１回提示するものとする。
　すなわち、４名のユーザに対し、２種類の外部刺激をそれぞれ単独で与える。
　上記各刺激条件(1) ，(2) 下において、タスクの開始２０秒後からタスク終了までを判定対象期間とし、この期間における各ユーザのＥＤＡを測定すると、それぞれ図６Ａ，図６Ｂに示すように時系列変化を示すＥＤＡ測定信号が得られる。また、上記各ＥＤＡ測定信号を注意対象推定装置ＡＳに取り込んで、周波数特徴量算出処理部１２によりphasic成分を抽出し標準化すると、それぞれ図７Ａ，図７Ｂに示す標準化後のphasic成分が算出される。
　すなわち、図７Ａ，図７Ｂに示すように、各刺激条件(1) ，(2) 下においては、同一ユーザであってもそれぞれピークの高さと間隔が異なるphasic成分が得られる。
　続いて、上記標準化後のphasic成分に対しＦＦＴ処理を行ってパワースペクトルを算出する。そして、算出されたパワースペクトルから低周波帯域の特徴量ベクトルを抽出する。その結果、上記各刺激条件(1) ，(2) 下において、それぞれユーザごとに４００個の特徴量ベクトルが得られる。
　次に、分類モデル生成処理部１３により、上記各刺激条件(1) ，(2) 下において得られた各特徴量ベクトルと、上記各条件における正解値である「音楽に注意を向けている」および「タスクに注意を向けている」をそれぞれ表す正解ラベルとを学習データとし、分類モデルを生成する。この分類モデルは、４人のユーザ間で反応に個人差があるため個別に生成される。
　（３－２）検証
　検証においては、上記４人のユーザに対し、以下の条件でそれぞれ外部刺激を与える。　
　(3) 音楽を聴きながら反応時間測定のためのタスクを遂行中のＥＤＡを１１０秒間測定する。ただし、ユーザには音楽を聴きながら頭の中でその歌を歌わせることで、音楽を聞くことに注意を向けさせる。なお、反応時間測定のためのタスクでは、マークを５～６秒間に１回提示した。この刺激条件をmusic Focusとする。
　(4) 音楽を聴きながら反応時間測定のためのタスクを遂行中のＥＤＡを１１０秒間測定する。ただし、ユーザには反応時間測定のためのタスクを集中して行わせることで、当該タスクの実行に注意を向けさせる。なお、反応時間測定のためのタスクでは、マークを５～６秒間に１回提示した。この刺激条件をtask Focusとする。
　すなわち、４名のユーザに対しそれぞれ２種類の外部刺激を混在する状態で与えつつ、一方の外部刺激に対し注意を向けさせる。
　上記各刺激条件(3) ，(4) 下において、タスクの開始２０秒後からタスク終了までを判定対象期間とし、この期間におけるＥＤＡ測定すると、それぞれ図８Ａ，図８Ｂに示すように時系列変化を示すＥＤＡ測定信号が得られる。また、上記各ＥＤＡ測定信号を注意対象推定装置ＡＳに取り込んで、周波数特徴量算出処理部１２によりphasic成分を抽出し標準化すると、それぞれ図９Ａ，図９Ｂに示す標準化後のphasic成分が算出される。
　すなわち、この場合も、同一ユーザであっても刺激条件(3) ，(4)によりピークの高さと間隔が異なるphasic成分が得られる。
　続いて、上記標準化後のphasic成分に対しＦＦＴ処理を行ってパワースペクトルを算出する。そして、算出されたパワースペクトルから低周波帯域の特徴量ベクトルを抽出する。この結果、上記各刺激条件(3) ，(4) の各々について、ユーザごとに４００個の特徴量ベクトルが得られる。
　次に、ユーザごとに、上記各刺激条件(3) ，(4) の各々について、上記周波数特徴量算出処理により抽出された特徴量ベクトルを、上記ユーザに対応する分類モデルに入力する。その結果、ユーザごとにその分類モデルから、上記各刺激条件(3) ，(4) に対するユーザの反応結果に対応する注意対象ラベル、つまり推定ラベルが出力される。
　図１０は、各刺激条件(3) ，(4)ごとに、４人のユーザの反応が反映された推定ラベルの出力結果を、正解ラベルと対比して示した図、つまり推定精度を示した図である。この例では、１６００個（４００個の４人分）のデータを母数としている。
　図１０に示すように、一実施形態に係る注意対象推定装置ＡＳを用いることで、いずれの刺激条件(3) ，(4) に対しても、ユーザが注意を向けている外部刺激を約８５％の精度で推定可能であることが確かめられた。
　（作用・効果）
　以上述べたように一実施形態では、先ず学習フェーズにおいて、ユーザに対し外部刺激が単独で与えられている状態で、上記ユーザのＥＤＡ測定信号を取得する。そして、取得された上記ＥＤＡ測定信号から一定期間長ごとにphasic成分を抽出し、抽出されたphasic成分に対し標準化およびＦＦＴ処理を行ってパワースペクトルを算出し、このパワースペクトルから特徴量ベクトルを抽出する。そして、抽出された上記特徴量ベクトルと、上記外部刺激を示す正解ラベルとを学習データとして用いて、機械学習を用いて分類モデルを生成する。
　次にテストフェーズにおいて、複数種類の外部刺激が混在してユーザに与えられている状態で、上記ユーザのＥＤＡ測定信号を取得し、取得された上記ＥＤＡ測定信号をもとに、上記学習フェーズと同様に、一定期間長ごとにphasic成分のパワースペクトルを算出して特徴量ベクトルを抽出する。そして、抽出された上記特徴量ベクトルを上記分類モデルに入力し、その結果分類モデルから出力されるラベルを、ユーザが注意を向けている外部刺激の種類の推定結果として出力するようにしている。
　従って、ユーザのＥＤＡ測定信号の一定期間長の区間ごとに、そのphasic成分のパワースペクトルから特徴量ベクトルが抽出され、抽出された上記特徴量ベクトルをもとに、ユーザが注意を向けている外部刺激の種類が推定される。このため、複数種類の外部刺激が混在する環境下においても、ユーザが注意を向けている外部刺激の種類を精度良く推定することが可能となる。
　しかも、上記特徴量ベクトルから外部刺激の種類を判定する手段として、ユーザ別に事前に生成された機械学習による分類モデルを用いている。このため、その都度大掛かりな計算処理や大容量のデータテーブル等を必要とすることなく、短時間にかつ小さい構成で高精度の推定を行うことが可能となる。
　［その他の実施形態］
　（１）一実施形態では、外部刺激の種類の推定を、機械学習を用いた分類モデルを使用する場合を例にとって説明した。しかし、必ずしも機械学習モデルを用いる必要はなく、例えば、想定される外部刺激の種類を表す情報と、それに対応するＥＤＡのphasic成分から抽出される周波数の特徴量ベクトルとの対応関係を表す情報を事前に記憶したデータテーブルを用いてもよい。
　（２）一実施形態では、注意対象推定装置ＡＳをその機能のみを有する専用装置とした場合を例にとって説明した。しかし、それに限らず、既存のサーバコンピュータやパーソナルコンピュータ、スマートフォン等の携帯端末の機能の１つとして設けるようにしてもよい。また、注意対象推定装置ＡＳが備える複数の機能を、複数の情報処理装置に分散配置するようにしてもよい。
　（３）注意対象推定装置ＡＳが備える機能とその処理手順および処理内容、分類モデルを構築するニューラルネットワークの種類とその生成手法、外部刺激の種類と数、注意対象推定情報の用途などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
　以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　ＡＳ…注意対象推定装置
　ＵＴ…ＥＤＡ測定端末
　ＳＳ…ＥＤＡセンサ
　ＲＢ…ロボットアーム
　ＨＤ…ユーザの手
　ＮＷ…ネットワーク
　１…制御部
　２…プログラム記憶部
　３…データ記憶部
　４…通信Ｉ／Ｆ部
　５…入出力Ｉ／Ｆ部
　６…バス
　７…入力デバイス
　８…出力デバイス
　１１…ＥＤＡ測定信号取得処理部
　１２…周波数特徴量算出処理部
　１３…分類モデル生成処理部
　１４…注意対象判定処理部
　１５…推定情報出力処理部
　３１…ＥＤＡ測定データ記憶部
　３２…分類モデル記憶部
 

Claims (7)

  1. 　複数種類の外部刺激が発生している環境下において、ユーザが前記複数種類の外部刺激のうちのいずれ注意を向けているか推定する注意対象推定装置であって、
    　前記環境下において、前記ユーザの皮膚電気活動が反映された測定信号を取得する第１の処理部と、
    　取得された前記測定信号からphasic成分の周波数特徴量を抽出する第２の処理部と、
    　抽出された前記周波数特徴量に基づいて、当該周波数特徴量に対応する前記外部刺激の種類を推定する第３の処理部と、
    　推定された前記外部刺激の種類を表す情報を、前記ユーザが注意を向けている対象を表す情報として出力する第４の処理部と
    　を具備する注意対象推定装置。
  2. 　前記第２の処理部は、前記測定信号を一定期間分ずつ区切り、当該区切りの位置を所定量ずつシフト移動するごとに、その一定期間における前記測定信号のphasic成分を周波数軸のパワー信号に変換し、変換されたパワー信号から所定の周波数帯域のパワーを前記周波数特徴量として抽出する、請求項１に記載の注意対象推定装置。
  3. 　前記第３の処理部は、複数種類の前記外部刺激の各々について、当該外部刺激に対応する前記測定信号から抽出される前記周波数特徴量と、前記外部刺激の種類を表す情報との対応関係を表す情報を使用して、抽出された前記周波数特徴量に対応する前記外部刺激の種類を推定する、請求項１に記載の注意対象推定装置。
  4. 　前記第３の処理部は、抽出された前記周波数特徴量を入力とし前記外部刺激の種類を表す情報を出力とする機械学習モデルを使用する、請求項３に記載の注意対象推定装置。
  5. 　前記外部刺激の種類を推定する処理に先立ち、前記外部刺激の各々について、前記第２の処理部により抽出される前記周波数特徴量と、前記外部刺激の種類を表す正解ラベルとを学習データとして、前記機械学習モデルを生成する第５の処理部を、さらに具備する請求項４に記載の注意対象推定装置。
  6. 　複数種類の外部刺激が発生している環境下において、ユーザが前記複数種類の外部刺激のうちのいずれ注意を向けているか推定する情報処理装置が実行する注意対象推定方法であって、
    　前記環境下において、前記ユーザの皮膚電気活動が反映された測定信号を取得する第１の処理過程と、
    　取得された前記測定信号からphasic成分の周波数特徴量を抽出する第２の処理過程と、
    　抽出された前記周波数特徴量に基づいて、当該周波数特徴量に対応する前記外部刺激の種類を推定する第３の処理過程と、
    　推定された前記外部刺激の種類を表す情報を、前記ユーザが注意を向けている対象を表す情報として出力する第４の処理過程と
    　を具備する注意対象推定方法。
  7. 　請求項１乃至請求項４のいずれかに記載の注意対象推定装置が具備する前記第１の処理部乃至前記第４の処理部の少なくとも１つによる処理、または請求項５に記載の注意対象推定装置が具備する前記第５の処理部による処理を、前記注意対象推定装置が備えるプロセッサに実行させるプログラム。
PCT/JP2022/000812 2022-01-13 2022-01-13 注意対象推定装置、方法およびプログラム WO2023135692A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023573704A JPWO2023135692A1 (ja) 2022-01-13 2022-01-13
PCT/JP2022/000812 WO2023135692A1 (ja) 2022-01-13 2022-01-13 注意対象推定装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000812 WO2023135692A1 (ja) 2022-01-13 2022-01-13 注意対象推定装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2023135692A1 true WO2023135692A1 (ja) 2023-07-20

Family

ID=87278613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000812 WO2023135692A1 (ja) 2022-01-13 2022-01-13 注意対象推定装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2023135692A1 (ja)
WO (1) WO2023135692A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007086222A1 (ja) * 2006-01-24 2007-08-02 Honda Motor Co., Ltd. 注意領域を推定するシステムおよび方法
JP2015060488A (ja) * 2013-09-20 2015-03-30 株式会社 資生堂 嗜好性評価方法、嗜好性評価装置、及び嗜好性評価プログラム
WO2016190428A1 (ja) * 2015-05-28 2016-12-01 国立研究開発法人理化学研究所 判定装置、判定方法、プログラム、ならびに、情報記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007086222A1 (ja) * 2006-01-24 2007-08-02 Honda Motor Co., Ltd. 注意領域を推定するシステムおよび方法
JP2015060488A (ja) * 2013-09-20 2015-03-30 株式会社 資生堂 嗜好性評価方法、嗜好性評価装置、及び嗜好性評価プログラム
WO2016190428A1 (ja) * 2015-05-28 2016-12-01 国立研究開発法人理化学研究所 判定装置、判定方法、プログラム、ならびに、情報記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DEHZANGI OMID, RAJENDRA VIKAS, TAHERISADR MOJTABA: "Wearable Driver Distraction Identification On-The-Road via Continuous Decomposition of Galvanic Skin Responses", SENSORS, vol. 18, no. 2, pages 503, XP093080659, DOI: 10.3390/s18020503 *

Also Published As

Publication number Publication date
JPWO2023135692A1 (ja) 2023-07-20

Similar Documents

Publication Publication Date Title
WO2019031346A1 (ja) 評価依頼プログラム、評価依頼方法、及びコンピュータ装置
US11006874B2 (en) Real-time stress determination of an individual
US11457853B2 (en) Methods and systems for automatically detecting events based on ECG signals determined from compressed sensed measurements
JP2018102617A (ja) 感情推定装置、方法およびプログラム
US10390752B2 (en) Cognitive chair for monitoring Parkinson's disease progression
US11666217B2 (en) System and method for biometric-based spatial categorization
Lamichhane et al. Towards stress detection in real-life scenarios using wearable sensors: normalization factor to reduce variability in stress physiology
Rodrigues et al. Stereotyped movement recognition in children with ASD
JP7084557B2 (ja) 筋肉疲労の評価
CN111797569A (zh) 一种桥梁状态的评估方法、装置、设备和存储介质
Kofjač et al. Designing a low-cost real-time group heart rate monitoring system
Goh et al. Android-based mobile application for home-based electrocardiogram monitoring device with Google technology and Bluetooth wireless communication
CN111341416B (zh) 一种心理压力评估模型处理方法以及相关设备
WO2023135692A1 (ja) 注意対象推定装置、方法およびプログラム
de Sá et al. Multi-channel evoked response detection using only phase information
CN116473556A (zh) 一种基于多位点皮肤生理响应的情感计算方法及系统
Das et al. A system for remote monitoring of mental effort
CN112598033B (zh) 生理信号处理方法、装置、设备及存储介质
US20210369135A1 (en) Apparatus and method for measuring impedance and apparatus for analyzing body composition
RU2704547C1 (ru) Способ удаленного сбора и групповой обработки психофизиологических реакций при предъявлении различной информации
Conchell et al. Design Development and Evaluation of a System to Obtain Electrodermal Activity
JP2015029609A (ja) 嗜好性評価方法、嗜好性評価装置およびプログラム
Gospodinov et al. Implementing a web-based application for analysis and evaluation of heart rate variability using serverless architecture
Silva et al. SenseMyHeart: A cloud service and API for wearable heart monitors
Jothiraj et al. Personalized Emotion Detection using IoT and Machine Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920218

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023573704

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE