WO2025220187A1 - センサデータ補完装置、方法およびプログラム - Google Patents

センサデータ補完装置、方法およびプログラム

Info

Publication number
WO2025220187A1
WO2025220187A1 PCT/JP2024/015447 JP2024015447W WO2025220187A1 WO 2025220187 A1 WO2025220187 A1 WO 2025220187A1 JP 2024015447 W JP2024015447 W JP 2024015447W WO 2025220187 A1 WO2025220187 A1 WO 2025220187A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor data
data
learning model
processing unit
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/015447
Other languages
English (en)
French (fr)
Inventor
純平 山下
将志 田所
秀明 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/015447 priority Critical patent/WO2025220187A1/ja
Publication of WO2025220187A1 publication Critical patent/WO2025220187A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • One aspect of this invention relates to a sensor data completion device, method, and program used in the sensing field to complete missing sensor data.
  • pupil diameter is easier to measure than electroencephalograms, and is known to reflect a person's attention state in a similar way to electroencephalograms. Therefore, it has been proposed to treat pupil diameter as an indicator that objectively and quantitatively reflects a person's attention state and utilize it.
  • this method for example, by using the size and fluctuations of pupil diameter as an indicator of a driver's attention state, it would be possible to detect a decline in a person's attention state in advance and alert the driver, thereby reducing the risk of an accident (see, for example, non-patent document 1).
  • sensor data can be lost due to sensor or human behavior.
  • the eyelid between the pupil and the camera closes during the blink, blocking light, resulting in a loss of data during this blocking period.
  • conventional methods have included using only the time interval excluding the time interval in which sensor data loss occurred as valid data for evaluation, or filling in the missing interval by applying a linear, quadratic, or cubic function.
  • This invention was made with the above in mind, and aims to provide technology that enables missing sections of sensor data to be accurately complemented.
  • a sensor data complementation device or method complements missing data in sensor data using a machine learning model.
  • first sensor data that does not contain missing data in the time series second sensor data in which missing data is introduced into the first sensor data at random times in the time series, and third sensor data that has a predetermined covariance relationship with the first sensor data in the time series are acquired.
  • the first, second, and third sensor data are input to the machine learning model with their time positions in the time series synchronized, and the machine learning model is trained to complement the missing data in the second sensor data based on the first sensor data and the covariance relationship between the first and third sensor data.
  • sensor data to be analyzed that contains missing data is input to the trained machine learning model, and the sensor data to be analyzed with the missing data complemented is obtained from the machine learning model.
  • the present invention it is possible to complement missing data in the sensor data being analyzed by utilizing the sensor data when no missing data exists and a predetermined covariance relationship that exists between the missing data and other sensor data. This makes it possible to complement missing data in the sensor data with higher accuracy than when pre-prepared linear, quadratic, or cubic functions are used.
  • one aspect of this invention provides technology that enables missing sections in sensor data to be accurately complemented.
  • FIG. 1 is a block diagram showing an example of the functional configuration of a sensor data complementing device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of the sensor data complementing device shown in FIG.
  • FIG. 3 is a diagram illustrating an example of a machine learning model and the functional configuration of a learning processing unit thereof included in the sensor data complementing device illustrated in FIG.
  • FIG. 4 is a diagram showing an example of the architecture of a neural network that constitutes the machine learning model shown in FIG.
  • FIG. 5 is a flowchart showing the first half of the processing procedure and processing contents of the learning processing executed by the learning processing unit of the sensor data interpolation device shown in FIG.
  • FIG. 6 is a flowchart showing the latter half of the processing procedure and processing contents of the learning processing executed by the learning processing unit of the sensor data interpolation device shown in FIG.
  • FIG. 1 is a block diagram showing an example of the functional configuration of a sensor data complementing device CS according to an embodiment of the present invention.
  • the sensor data complementation device CS is, for example, a personal computer, and includes, as functions related to the present invention, a learning model 10, a learning processing unit 20, a complementation processing unit 30, an input processing unit 40, and an output processing unit 50.
  • the input processing unit 40 is connected to a pupil diameter sensor SS1, a gaze direction sensor SS2, and an electroencephalogram sensor SS3.
  • the pupil diameter sensor SS1 measures the pupil diameter of the left and right eyes in time series based on facial image data of the person being analyzed captured by a camera, for example, and outputs two-dimensional (two series) pupil diameter data SD1 corresponding to the measured left and right eyes.
  • the gaze direction sensor SS2 outputs four-dimensional (four-series) time-series data represented by X and Y coordinates for each of the left and right eyes as gaze direction data SD2, based on facial image data of the subject captured by a camera, for example. Gaze direction can also be estimated using electrooculography, for example. Furthermore, when a camera is used, the camera used for gaze direction sensor SS2 can be shared with the camera used for pupil diameter sensor SS1.
  • the brain wave sensor SS3 may be, for example, an electroencephalograph (EEG), which measures electrical activity occurring in the brain in time series using multiple electrodes attached to the scalp, and outputs the multiple series of measured electrical activity signals as brain wave data SD3.
  • EEG electroencephalograph
  • NIRS near-infrared spectroscopy
  • MEG magnetoencephalography
  • the input processing unit 40 captures the pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 output from the pupil diameter sensor SS1, gaze direction sensor SS2, and brain wave sensor SS3, respectively. It then downsamples the captured pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 so that they have the same time resolution.
  • the learning model 10 is composed of a generative adversarial network that uses two neural networks for judgment, called Discriminator A and B, and one neural network for generation, called Generator.
  • the learning processing unit 20 takes in the pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 from the input processing unit 40, and uses this sensor data SD1, SD2, SD3, as well as the pupil diameter data SD1x, gaze direction data SD2, and brain wave data SD3 that have been intentionally missing for learning purposes, to train the learning model 10.
  • An example of the learning process will be explained in the operation example.
  • the complementation processing unit 30 imports pupil diameter data SD1 of the subject of analysis from the input processing unit 40.
  • the complementation processing unit 30 then inputs the imported pupil diameter data SD1 into the learning model 10 as an explanatory variable, obtains complemented pupil diameter data SD1z output from the trained learning model as a target variable, and sends it to the output processing unit 50.
  • the output processing unit 50 outputs the pupil diameter data SD1z, with missing data complemented, output from the complement processing unit 30 to an analysis processing unit (not shown) or an external analysis device, for example, to analyze the attention state of the subject.
  • Figure 2 is a block diagram showing an example of the hardware configuration of the sensor data complementation device CS.
  • the sensor data complementation device CS comprises a control unit 1, which is connected via a bus 6 to a storage unit having a program storage unit 2 and a data storage unit 3, a sensor interface (hereinafter, interface will be abbreviated as I/F) unit 4, and an input/output I/F unit 5.
  • I/F sensor interface
  • the control unit 1 uses a hardware processor such as a central processing unit (CPU), and executes the processing performed by the learning processing unit 20, complementation processing unit 30, input processing unit 40, and output processing unit 50.
  • a hardware processor such as a central processing unit (CPU)
  • CPU central processing unit
  • the program storage unit 2 is, for example, a combination of a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written to and read from at any time as a storage medium, and a non-volatile memory such as a ROM (Read Only Memory), and stores middleware such as an OS (Operating System), as well as application programs required for the control unit 1 to execute the processing of the learning processing unit 20, completion processing unit 30, input processing unit 40, and output processing unit 50.
  • a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written to and read from at any time as a storage medium
  • a non-volatile memory such as a ROM (Read Only Memory)
  • middleware such as an OS (Operating System)
  • the data storage unit 3 is, for example, a combination of non-volatile memory such as an HDD or SSD as a storage medium that can be written to and read from at any time, and volatile memory such as RAM (Random Access Memory).
  • the storage area includes an area for storing the learning model 10, an area used by the input processing unit 40 to perform input processing on the sensor data SD1, SD2, and SD3, and an area used by the learning processing unit 20 and the completion processing unit 30 to perform learning processing and completion processing, respectively.
  • the pupil diameter sensor SS1, gaze direction sensor SS2, and brain wave sensor SS3 are connected to the sensor I/F unit 4, which receives the sensor data SD1, SD2, and SD3 output from the sensors SS1, SS2, and SS3, respectively.
  • the input/output I/F unit 5 is connected to input devices IN such as a keyboard and mouse, and an output device OU.
  • the input/output I/F unit 5 receives control commands and control information entered by the operator via the input device IN, and outputs display data and the like generated by the control unit 1 to the output device OU.
  • the input/output I/F unit 5 is equipped with a communications interface and also has the function of transmitting the interpolated pupil diameter data to an external analysis device.
  • the sensor data complementing device CS causes the learning model 10 to perform the following learning under the control of the learning processing unit 20.
  • FIG. 5 is a flowchart showing an example of the processing procedure and processing content of the learning data generation processing executed by the input processing unit 40 and the learning processing unit 20.
  • the control unit 1 of the sensor data complementation device CS imports the pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 output from the pupil diameter sensor SS1, gaze direction sensor SS2, and brain wave sensor SS3, respectively, via the sensor I/F unit 4. Then, in step S10, the input processing unit 40 first downsamples the pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 at the same predetermined time resolution.
  • step S11 under the control of the learning processing unit 20, the control unit 1 of the sensor data complementation device CS divides the sampled pupil diameter data SD1 into multiple slices for each eye-open duration (e.g., several seconds), which is the interval between typical human blinks.
  • the pupil diameter data SD1 consists of two series (two variables) of data for the left and right eyes, these two series of pupil diameter data are each sliced for each eye-open duration to generate two-dimensional data of a slice size for a time interval that does not include any gaps.
  • the learning processing unit 20 also divides the gaze direction data SD2 and electroencephalogram data SD3 into multiple slices for each eye-open duration, similar to the pupil diameter data SD1. For example, for the gaze direction data SD2, four series of time-series data represented by X and Y coordinates for each of the left and right eyes are sliced for each eye-open duration to generate four-dimensional data of the slice size. For the electroencephalogram data SD3, n series of time-series data (the number of electrodes) are sliced for each eye-open duration to generate n-dimensional data of the slice size.
  • step S12 the learning processing unit 20 then acquires from the data storage unit 3 pre-stored statistics of typical human blink durations (the duration of eye closure during which the eyelids are closed by blinking (e.g., several hundred milliseconds)).
  • the statistics of eye closure durations are calculated, for example, as the mean or variance of eye closure durations.
  • step S13 the learning processing unit 20 randomly masks (e.g., shown as MC in Figure 3) a portion of the slice of two-dimensional data of the pupil diameter data SD1 in accordance with the statistics of the blink durations, thereby generating pupil diameter data SD1x with defects.
  • the learning processing unit 20 uses this learning data to cause the learning model 10 to perform learning as follows.
  • Figure 6 is a flowchart showing an example of the processing procedure and processing content of the learning processing performed by the learning processing unit 20.
  • Figure 3 shows the functional configuration of the learning model 10 and the input and output of learning data.
  • the learning model 10 is composed of a generative adversarial network that combines one neural network 11 for data generation, called the Generator, and two neural networks 12 and 13 for judgment, called Discriminators A and B.
  • step S21 the learning processing unit 20 inputs the above-mentioned pupil diameter data SD1x with a slice size that has a partial defect (MC), the gaze direction data SD2 with the slice size, and the brain wave data SD3 to the Generator 11 of the learning model 10.
  • MC partial defect
  • the learning processing unit 20 inputs the above-mentioned pupil diameter data SD1x with a slice size that has a partial defect (MC), the gaze direction data SD2 with the slice size, and the brain wave data SD3 to the Generator 11 of the learning model 10.
  • the two variables of pupil diameter data SD1x have a strong covariance relationship between them.
  • the right pupil diameter also tends to be large, and conversely, when the left pupil diameter is small, the right pupil diameter also tends to be small.
  • the gaze direction data SD2 and the brain wave data SD3 also have a strong covariance relationship between their variables.
  • Generator 11 is constructed taking into account the covariance relationships between the various sensor data described above. That is, as shown in Figure 4, Generator 11 is composed of a convolutional layer L1, a fully connected layer L2, and a deconvolutional layer L3. In Generator 11, first, in the convolutional layer L1, Generator 11 separately convolves the input pupil diameter data SD1x, slice-sized gaze direction data SD2, and brain wave data SD3. Next, in the fully connected layer L2, Generator 11 combines the convolved pupil diameter data SD1x with the slice-sized gaze direction data SD2 and brain wave data SD3. Finally, in the deconvolutional layer L3, Generator 11 deconvolves the combined data to generate pupil diameter data SD1z in which the missing data has been complemented.
  • step S22 the learning processing unit 20 inputs the pupil diameter data SD1z, gaze direction data SD2, and brain wave data SD3 generated by the Generator 11 to Discriminators A, B 12, 13.
  • the learning processing unit 20 inputs the entire slice intervals of the pupil diameter data SD1z, gaze direction data SD2, and brain wave data SD3 to Discriminator A 12, and inputs the complementary slice intervals of the pupil diameter data SD1z, gaze direction data SD2, and brain wave data SD3 to Discriminator B 13.
  • the pupil diameter data SD1z, gaze direction data SD2, and EEG data SD3 are divided into the entire slice interval and the masking interval MC to be complemented, and then assigned and input to Discriminators A, B 12, 13.
  • step S23 the learning processing unit 20 trains the discriminators A and B 12 and 13 to output a generated data judgment value (e.g., a binary "0") based on the interpolated pupil diameter data SD1z, gaze direction data SD2, and brain wave data SD3 generated by the generator 11 when this generated data is input.
  • a generated data judgment value e.g., a binary "0"
  • step S24 the learning processing unit 20 inputs the pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 generated by the input processing unit 40, i.e., the unmasked actual data, to Discriminators A, B 12, 13.
  • the learning processing unit 20 divides the pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 into the entire slice section and the masked section MC to be complemented, and assigns and inputs them to Discriminators A, B 12, 13.
  • step S25 the learning processing unit 20 trains the Discriminators A and B 12 and 13 to output an actual data judgment value (e.g., a binary "1") based on the pupil diameter data SD1, gaze direction data SD2, and brain wave data SD3 when these actual data are input.
  • an actual data judgment value e.g., a binary "1"
  • step S26 the learning processing unit 20 inputs the pupil diameter data SD1x with the above-mentioned defects, the gaze direction data SD2, and the brain wave data SD3 to Generator 11. Then, in step S27, the learning processing unit 20 divides the generated data of pupil diameter data SD1z, gaze direction data SD2, and brain wave data SD3 that have been complemented by Generator 11 into the entire slice section and the masking section MC to be complemented, as described above, and assigns and inputs them to Discriminators A, B 12, 13.
  • step S28 the learning processing unit 20 trains the Generator 11 using the backpropagation method so that when the Discriminators A, B 12, 13 receive the interpolated pupil diameter data SD1z, gaze direction data SD2, and electroencephalogram data SD3, they output an actual data judgment value (e.g., a binary "1").
  • an actual data judgment value e.g., a binary "1"
  • step S29 the learning processing unit 20 calculates the learning error function of the learning model 10 and proceeds to step S20.
  • step S20 the learning processing unit 20 compares the learning error function with a threshold value and determines whether the learning error function is equal to or less than the threshold value. If the result of this determination is that the learning error function is not equal to or less than the threshold value, the learning process of steps S21 to S29 described above is repeated.
  • the learning processing unit 20 repeatedly executes the series of learning processes in steps S21 to S29 described above until the learning error function falls below the threshold. Once the learning error function falls below the threshold, the parameters of the learned learning model are stored and the learning process ends.
  • the control unit 1 of the sensor data complementation device CS receives the pupil diameter data SD1 of the subject output from the pupil diameter sensor SS1 via the sensor I/F unit 4.
  • the pupil diameter data SD1 includes data missing due to blinking of the subject.
  • the control unit 1 of the sensor data complementation device CS downsamples the acquired pupil diameter data SD1 using the input processing unit 40. Then, in the complementation processing unit 30, the control unit 1 divides the sampled pupil diameter data into slices, just as in the learning phase, and inputs them as explanatory variables into the trained learning model 10.
  • the trained learning model 10 outputs data in which the missing parts of the pupil diameter data SD1 have been complemented.
  • This complemented pupil diameter data takes into account the covariance relationship between gaze direction and electroencephalograms during the learning phase. Therefore, the validity of the complemented pupil diameter of the subject is guaranteed.
  • a set of actual data of pupil diameter data SD1, gaze direction data SD2, and electroencephalogram data SD3 measured during the same period, and a data set of pupil diameter data SD1x in which a defect corresponding to the blink duration has been randomly introduced into the pupil diameter data SD1, and the gaze direction data SD2 and electroencephalogram data SD3 are used to cause learning model 10, which is a neural network combining Generator 11 and Discriminators A and B 12, 13, to perform learning by the error backpropagation method, thereby creating a trained learning model 10 that can output pupil diameter data SD1z in which the defect in the pupil diameter data SD1x has been complemented, using the pupil diameter data SD1 in combination with the gaze direction data SD2 and electroencephalogram data SD3 that have a covariant relationship with the pupil diameter data SD1.
  • pupil diameter data obtained from the subject of analysis is preprocessed and then input into the trained learning model.
  • the pupil diameter data output from the learning model after interpolation processing is then provided to an analysis device for analysis of time-series feature quantities of frequencies that correlate with the attention state of the subject of analysis.
  • missing pupil diameter data caused by blinking, etc. is complemented by utilizing the covariance relationship with other sensor data, such as gaze direction and electroencephalograms.
  • This makes it possible to complement missing pupil diameter data with higher accuracy than when complementing data using linear, quadratic, or cubic functions.
  • time series features with frequencies smaller than the width of the missing section, which serve as an indicator of the subject's attention state. This makes it possible to analyze the subject's attention state with high accuracy based on their pupil diameter.
  • the functions of the sensor data complementing device CS are implemented by a personal computer.
  • the functions of the sensor data complementing device CS may be implemented by a server computer located on the Web or the cloud.
  • the sensor data complementing device CS may be provided in an in-vehicle device such as a drive recorder.
  • pupil diameter data was used as the sensor data to be analyzed, and gaze direction data and electroencephalogram data were used as other sensor data that have a covariant relationship with this pupil diameter data.
  • this is not limiting, and only one of gaze direction data and electroencephalogram data may be used as the other sensor data.
  • Vibration data from a monitored device such as manufacturing equipment, a robot, a vehicle, a drone, or a ship may be supplemented using other sensor data that has a covariance relationship with the vibration data, and the supplemented sensor data may be used to detect abnormalities in the monitored device.
  • this invention is not limited to the above-described embodiment as it is, and in the implementation stage, the components can be modified and embodied without departing from the spirit of the invention.
  • various inventions can be created by appropriately combining multiple components disclosed in the above-described embodiment. For example, some components may be deleted from all of the components shown in the embodiment. Furthermore, components from different embodiments may be combined as appropriate.
  • CS Sensor data complementation device
  • SS1 Pupil diameter sensor
  • SS2 Gaze direction sensor
  • SS3 Brain wave sensor
  • IN Input device
  • OU Output device 1: Control unit 2: Program storage unit 3: Data storage unit 4: Sensor I/F unit 5: Input/output I/F unit 6: Bus 10: Learning model 11: Generator 12,13...Discriminator 20: Learning processing unit 30: Complement processing unit 40: Input processing unit 50: Output processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

この発明の一態様は、先ず学習フェーズにおいて、時系列上において欠損を含まない第１のセンサデータと、第１のセンサデータに対し時系列上においてランダムなタイミングで欠損を生じさせた第２のセンサデータと、第１のセンサデータとの間で時系列上において所定の共変関係を有する第３のセンサデータとを取得し、第１、第２および第３のセンサデータを、時系列上の時間位置を同期させた状態で機械学習モデルに入力し、第２のセンサデータの欠損を、第１のセンサデータと、第１のセンサデータと第３のセンサデータとの間の共変関係とに基づいて補完するように、上記機械学習モデルに学習を行わせる。そして、運用フェーズにおいて、学習済みの上記機械学習モデルに対し、欠損を含む分析対象のセンサデータを入力し、上記機械学習モデルから欠損が補完された分析対象のセンサデータを取得する。

Description

センサデータ補完装置、方法およびプログラム
　この発明の一態様は、センシング分野において、センサデータに生じた欠損を補完するために用いるセンサデータ補完装置、方法およびプログラムに関する。
　近年、生体信号をもとにヒトの状態を推定しその結果を活用する試みがなされている。例えば、瞳孔径は、脳波などと比べると簡便に計測が可能でありながら、ヒトの注意状態などを脳波などと同様に反映することが知られている。そこで、瞳孔径を、ヒトの注意状態を客観的かつ定量的に反映した指標として扱い、活用することが提案されている。この手法を用いると、例えば、瞳孔径の大きさやゆらぎを自動車運転者の注意状態の指標とすることで、ヒトの注意状態の低下を事前に検知して注意を喚起し、これにより事故の発生リスクを低下させることが可能となる（例えば非特許文献１を参照）。
　ところで、生体信号を計測する場合には、センサやヒトのふるまいによりセンサデータに欠損が生じることがある。例えば、判定対象者が瞬きを行うと、瞬き中に瞳孔とカメラとの間のまぶたが閉じて光が遮蔽されることになるため、この遮蔽期間のデータは欠損する。このデータの欠損への対策として、従来では、例えばセンサデータの欠損が生じた時間区間を除いた区間のみを有効データとして判定に供する手法や、欠損が生じた区間を線形あるいは２次または３次関数の当てはめによって補完する手法などが提案されている。
西山潤平、谷田公二、楠見昌司、平田豊、「瞳孔ゆらぎを指標とした覚醒度状態評価」、生体医工学 46巻2号 p212-217、2008年4月、インターネット＜URL: https://www.jstage.jst.go.jp/article/jsmbe/46/2/46_2_212/_pdf＞
　しかし、センサデータの欠損区間を除いた区間のみを有効データとする手法では、任意の時間帯における瞳孔径の大きさの傾向や、時系列上における大まかな増加／減少傾向などを算出することは可能であるが、時系列上における周波数分析を行うことができない。また、欠損区間を線形あるいは２次または３次関数の当てはめによって補完する手法では、瞳孔径の大きさの傾向や大まかな増加／減少傾向、欠損区間の幅より大きな周波数の時系列特徴については分析可能であるが、欠損区間の幅より小さな周波数の時系列特徴を分析することは困難である。
　この発明は上記事情に着目してなされたもので、センサデータに生じた欠損区間を精度良く補完できるようにする技術を提供しようとするものである。
　上記課題を解決するためにこの発明に係るセンサデータ補完装置または方法の一態様は、センサデータに生じた欠損を、機械学習モデルを用いて補完する際に、先ず学習フェーズにおいて、時系列上において欠損を含まない第１のセンサデータと、前記第１のセンサデータに対し時系列上においてランダムなタイミングで欠損を生じさせた第２のセンサデータと、前記第１のセンサデータとの間で時系列上において所定の共変関係を有する第３のセンサデータとを取得し、前記第１のセンサデータ、前記第２のセンサデータおよび前記第３のセンサデータを、時系列上の時間位置を同期させた状態で前記機械学習モデルに入力し、前記第２のセンサデータの欠損を、前記第１のセンサデータと、前記第１のセンサデータと前記第３のセンサデータとの間の共変関係とに基づいて補完するように、前記機械学習モデルに学習を行わせる。そして、運用フェーズにおいて、学習済みの前記機械学習モデルに対し、欠損を含む分析対象のセンサデータを入力し、前記機械学習モデルから前記欠損が補完された前記分析対象のセンサデータを取得するものである。
　この発明の一態様によれば、分析対象のセンサデータに生じた欠損を、欠損が生じていないときのセンサデータと、当該センサデータと他のセンサデータとの間に存在する所定の共変関係を利用して補完することが可能となる。このため、センサデータに生じた欠損を、予め用意された線形、二次または三次関数を用いて補完する場合に比べ、高精度の補完を行うことが可能になる。
　すなわちこの発明の一態様によれば、センサデータに生じた欠損区間を精度良く補完できるようにした技術を提供することができる。
図１は、この発明の一実施形態に係るセンサデータ補完装置の機能構成の一例を示すブロック図である。 図２は、図１に示したセンサデータ補完装置のハードウェア構成の一例を示すブロック図である。 図３は、図１に示したセンサデータ補完装置が備える機械学習モデルとその学習処理部の機能構成の一例を示す図である。 図４は、図３に示した機械学習モデルを構成するニューラルネットワークのアーキテクチャの構成の一例を示す図である。 図５は、図１に示したセンサデータ補完装置の学習処理部が実行する学習処理の処理手順と処理内容の前半部分を示すフローチャートである。 図６は、図１に示したセンサデータ補完装置の学習処理部が実行する学習処理の処理手順と処理内容の後半部分を示すフローチャートである。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［一実施形態］
　（構成例）
図１は、この発明の一実施形態に係るセンサデータ補完装置ＣＳの機能構成の一例を示すブロック図である。
　一実施形態に係るセンサデータ補完装置ＣＳは、例えばパーソナルコンピュータからなり、この発明に係る機能として、学習モデル１０と、学習処理部２０と、補完処理部３０と、入力処理部４０と、出力処理部５０とを備えている。
　入力処理部４０には、瞳孔径センサＳＳ１、視線方向センサＳＳ２および脳波センサＳＳ３が接続される。
　瞳孔径センサＳＳ１は、例えばカメラにより撮像された分析対象者の顔映像データをもとに左右の目の瞳孔径を時系列に計測し、計測された左右の目に対応する２次元（２系列）の瞳孔径データＳＤ１を出力する。
　視線方向センサＳＳ２は、例えばカメラにより撮像された分析対象者の顔映像データをもとに、左右の目の各々についてＸ，Ｙ座標により表される４次元（４系列）の時系列データを視線方向データＳＤ２として出力する。なお、視線方向は眼電位法などによっても推定可能である。また、カメラを使用する場合、視線方向センサＳＳ２で使用するカメラは瞳孔径センサＳＳ１において使用するカメラと共用することが可能である。
　脳波センサＳＳ３は、例えば脳波計（Electroencephalograph：ＥＥＧ）からなり、脳において生じる電気活動を頭皮上に貼り付けた複数の電極により時系列で測定し、測定された複数系列の電気活動信号を脳波データＳＤ３として出力する。なお、脳波センサＳＳ３としては、ほかに近赤外線分光法（Near-infrared spectroscopy：ＮＩＲＳ）や脳磁計（Magnetoencephalography：ＭＥＧ）を用いることも可能である。
　入力処理部４０は、上記瞳孔径センサＳＳ１、視線方向センサＳＳ２および脳波センサＳＳ３から出力される瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３をそれぞれ取り込む。そして、取り込んだ上記瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３を同一の時間解像度のデータとなるようにダウンサンプリングする。
　学習モデル１０は、例えば図３に示すように、Discriminator A，Bと呼称される２つの判定用のニューラルネットワークと、Generatorと呼称される１つの生成用のニューラルネットワークとを用いた敵対的生成ネットワークにより構成される。
　学習処理部２０は、学習フェーズにおいて、上記入力処理部４０から上記瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３を取り込み、これらのセンサデータＳＤ１，ＳＤ２，ＳＤ３と、学習のために故意に欠損を生じさせた瞳孔径データＳＤ１ｘ、視線方向データＳＤ２および脳波データＳＤ３を用いて、上記学習モデル１０を学習させる。学習処理の一例は動作例で説明する。
　補完処理部３０は、運用フェーズおいて、入力処理部４０から分析対象者の瞳孔径データＳＤ１を取り込む。そして補完処理部３０は、取り込んだ上記瞳孔径データＳＤ１を上記学習モデル１０に説明変数として入力し、学習済みの学習モデルから目的変数として出力される補完済みの瞳孔径データＳＤ１ｚを取得して、出力処理部５０へする。
　出力処理部５０は、上記補完処理部３０から出力された、欠損が補完された瞳孔径データＳＤ１ｚを、例えば分析対象者の注意状態を分析するために、図示しない分析処理部または外部の分析装置へ出力する。
　図２は、上記センサデータ補完装置ＣＳのハードウェア構成の一例を示すブロック図である。
　図２に示すようにセンサデータ補完装置ＣＳは、制御部１を備え、この制御部１に対し、バス６を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、センサインタフェース（以後インタフェースをＩ／Ｆと略称する）部４と、入出力Ｉ／Ｆ部５とを接続したものとなっている。
　制御部１は、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用したもので、上記学習処理部２０、補完処理部３０、入力処理部４０および出力処理部５０が行う処理を実行する。
　プログラム記憶部２は、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせたもので、ＯＳ（Operating System）等のミドルウェアに加えて、上記制御部１が上記学習処理部２０、補完処理部３０、入力処理部４０および出力処理部５０の処理を実行するために必要なアプリケーション・プログラムを格納する。
　データ記憶部３は、例えば、記憶媒体としてＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリとＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、その記憶領域には、学習モデル１０を記憶する領域と、入力処理部４０が各センサデータＳＤ１，ＳＤ２，ＳＤ３に対する入力処理を行うために使用する領域と、学習処理部２０および補完処理部３０がそれぞれ学習処理および補完処理を行うために使用する領域が設けられている。
　センサＩ／Ｆ部４には、上記瞳孔径センサＳＳ１、視線方向センサＳＳ２および脳波センサＳＳ３が接続され、センサＩ／Ｆ部４は上記各センサＳＳ１，ＳＳ２，ＳＳ３から出力される各センサデータＳＤ１，ＳＤ２，ＳＤ３をそれぞれ受信する。
　入出力Ｉ／Ｆ部５には、キーボードやマウス等の入力デバイスＩＮと、出力デバイスＯＵが接続される。入出力Ｉ／Ｆ部５は、オペレータが上記入力デバイスＩＮにおいて入力した制御コマンドや制御情報を受信すると共に、制御部１において生成された表示データ等を出力デバイスＯＵへ出力する。
　なお、入出力Ｉ／Ｆ部５は通信インタフェースを備え、補完済みの瞳孔径データを外部の分析装置へ送信する機能も有する。
　（動作例）
　次に、以上のように構成されたセンサデータ補完装置ＣＳの動作例を説明する。
　（１）学習フェーズ
　センサデータ補完装置ＣＳは、運用に先立ち、学習処理部２０の制御の下で学習モデル１０に対し以下のような学習を実行させる。
　（１－１）学習用データの生成
　図５は、入力処理部４０および学習処理部２０が実行する学習用データ生成処理の処理手順と処理内容の一例を示すフローチャートである。
　例えば、オペレータの入力デバイスＩＮの操作により学習の実行指示が入力されると、センサデータ補完装置ＣＳの制御部１は、瞳孔径センサＳＳ１、視線方向センサＳＳ２および脳波センサＳＳ３からそれぞれ出力される瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３をセンサＩ／Ｆ部４を介して取り込む。そして、ステップＳ１０において、先ず入力処理部４０により、上記瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３をそれぞれ予め定めた同一の時間解像度によりダウンサンプリングする。
　センサデータ補完装置ＣＳの制御部１は、次に学習処理部２０の制御の下、ステップＳ１１において、サンプリングされた上記瞳孔径データＳＤ１を、ヒトの一般的なの瞬きの間隔である開眼持続時間（例えば数秒）ごとに複数のスライスに分割する。例えば、瞳孔径データＳＤ１が左目および右目の２系列（２変数）のデータからなる場合、これら２系列の瞳孔径データをそれぞれ上記開眼持続時間ごとにスライスして、欠損を含まない時間区間のスライスサイズの二次元データを生成する。
　また学習処理部２０は、上記視線方向データＳＤ２および脳波データＳＤ３に対しても、上記瞳孔径データＳＤ１と同様に開眼持続時間ごとに複数のスライスに分割する。例えば、視線方向データＳＤ２については、左右の目の各々についてＸ，Ｙ座標により表される４系列の時系列データを上記開眼持続時間ごとにそれぞれスライスして、スライスサイズの４次元データを生成する。また、脳波データＳＤ３については、電極数分のｎ系列の時系列データを上記開眼持続時間ごとにそれぞれスライスして、スライスサイズのｎ次元データを生成する。
　学習処理部２０は、続いてステップＳ１２において、データ記憶部３から、事前に記憶されたヒトの一般的な瞬きの持続時間（瞬きにより瞼を閉じている閉眼持続時間（例えば数百ミリ秒））の統計量を取得する。閉眼持続時間の統計量は、例えば閉眼持続時間の平均または分散として算出される。そして学習処理部２０は、ステップＳ１３において、上記瞬きの持続時間の統計量に従い、上記瞳孔径データＳＤ１の２次元データのスライスの一部をランダムにマスク（例えば図３にＭＣとして図示）し、これにより欠損を生じさせた瞳孔径データＳＤ１ｘを生成する。
　（１－２）学習用データを用いた学習
　以上のように学習用データが生成されると、学習処理部２０はこの学習用データを用いて、学習モデル１０に対し以下のように学習を行わせる。
　図６は、学習処理部２０が実行する学習処理の処理手順と処理内容の一例を示すフローチャートである。
　図３は、学習モデル１０の機能構成と学習用データの入出力を示すものである。図３に示すように学習モデル１０は、Generatorと呼称されるデータ生成用の１つのニューラルネットワーク１１と、Discriminator A，Bと呼称される判定用の２つのニューラルネットワーク１２，１３とを組み合わせた敵対的生成ネットワークにより構成される。
　学習処理部２０は、先ずステップＳ２１において、一部に欠損（ＭＣ）を生じさせたスライスサイズの上記瞳孔径データＳＤ１ｘと、スライスサイズの視線方向データＳＤ２および脳波データＳＤ３を、学習モデル１０のGenerator１１に入力する。
　ここで、瞳孔径データＳＤ１ｘの２変数は変数間に強い共変関係を有する。すなわち、左瞳孔径が大きい時間には右瞳孔径も大きくなる傾向があり、反対に左瞳孔径が小さい時間には右瞳孔径も小さくなる傾向がある。同様に、視線方向データＳＤ２および脳波データＳＤ３も、変数間に強い共変関係を有する。一方、瞳孔径データの２変数と、視線方向および脳波データＳＤ３の各変数との間には弱い共変関係しか有さない。
　Generator１１は、以上のような各センサデータの共変関係を考慮してアーキテクチャが構築される。すなわち、Generator１１は、例えば図４に示すように、畳み込み層Ｌ１と、全結合層Ｌ２と、逆畳み込み層Ｌ３とから構成される。Generator１１は、先ず畳み込み層Ｌ１において、入力された上記瞳孔径データＳＤ１ｘ、スライスサイズの視線方向データＳＤ２および脳波データＳＤ３を、別々に畳み込み処理する。Generator１１は、次に全結合層Ｌ２において、上記畳み込み処理された上記瞳孔径データＳＤ１ｘと、スライスサイズの視線方向データＳＤ２および脳波データＳＤ３とを結合処理し、最後に逆畳み込み層Ｌ３において、上記結合されたデータを逆畳み込み処理することにより、上記欠損が補完された瞳孔径データＳＤ１ｚを生成する。
　学習処理部２０は、上記Generator１１により生成された瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３を、ステップＳ２２によりDiscriminator A，B １２，１３に入力する。このとき、学習処理部２０は、図３に示すように、上記瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３のスライスの全区間をDiscriminator A １２に入力し、上記瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３のスライスの補完区間をDiscriminator B １３に入力する。
　すなわち、瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３を、スライスの全区間と補完対象のマスキング区間ＭＣとに分けて、Discriminator A ，B １２，１３に振り分けて入力する。
　学習処理部２０は、ステップＳ２３において、上記Generator１１により生成された補完処理された瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３をもとに、これらの生成データが入力された時には生成データ判定値（例えば２値の“０”）を出力するようにDiscriminator A，B １２，１３を学習させる。
　Discriminator A，B １２，１３は、いずれも畳み込み層と全結合層とから構成される。そしてDiscriminator A，B １２，１３は、入力された上記瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３をそれぞれ畳み込み層により畳み込み処理し、処理後の各データを全結合層により結合する。すなわち、Discriminator A，B １２，１３は誤差逆伝搬法による学習を実行する。
　また学習処理部２０は、ステップＳ２４において、上記入力処理部４０において生成された瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３、すなわちマスキングされていない実データを、Discriminator A，B １２，１３に入力する。このとき、学習処理部２０は、先に述べた生成データの場合と同様に、瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３を、スライスの全区間と補完対象のマスキング区間ＭＣとに分けてDiscriminator A，B １２，１３に振り分けて入力する。
　そして学習処理部２０は、ステップＳ２５において、上記瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３をもとに、これらの実データが入力された時には実データ判定値（例えば２値の“１”）を出力するようにDiscriminator A，B １２，１３を学習させる。
　次に学習処理部２０は、ステップＳ２６において、上記欠損を生じさせた瞳孔径データＳＤ１ｘと、視線方向データＳＤ２および脳波データＳＤ３を、Generator１１に入力する。そして学習処理部２０は、ステップＳ２７において、上記Generator１１により補完処理された瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３の生成データを、先に述べたようにスライスの全区間と補完対象のマスキング区間ＭＣとに分けてDiscriminator A，B １２，１３に振り分けて入力する。
　学習処理部２０は、続いてステップＳ２８において、上記Generator１１を、Discriminator A，B １２，１３が上記補完された瞳孔径データＳＤ１ｚ、視線方向データＳＤ２および脳波データＳＤ３が入力された時に、実データ判定値（例えば２値の“１”）を出力するように、誤差逆伝搬法により学習させる。
　学習処理部２０は、最後にステップＳ２９において、上記学習モデル１０の学習誤差関数を算出しステップＳ２０に移行する。学習処理部２０は、ステップＳ２０において、上記学習誤差関数をしきい値と比較し、学習誤差関数が閾値以下となったか否かを判定する。そして、その判定の結果、学習誤差関数が閾値以下になっていなければ、先に述べたステップＳ２１～Ｓ２９による一連の学習処理を再度実行する。
　以後、学習処理部２０は、学習誤差関数が閾値以下になるまで上記ステップＳ２１～Ｓ２９による一連の学習処理を繰り返し実行する。そして、学習誤差関数が閾値以下になると、学習済みの学習モデルのパラメータを記憶し、学習処理を終了する。
　（２）運用フェーズ
　例えば、運転中に分析対象者の注意状態を分析する場合、センサデータ補完装置ＣＳの制御部１は、瞳孔径センサＳＳ１から出力される分析対象者の瞳孔径データＳＤ１をセンサＩ／Ｆ部４を介して取り込む。上記瞳孔径データＳＤ１には分析対象者の瞬きによる欠損が含まれる。
　センサデータ補完装置ＣＳの制御部１は、取り込んだ上記瞳孔径データＳＤ１を入力処理部４０でダウンサンプリングする。そして制御部１は、補完処理部３０において、上記サンプリングされた瞳孔径データを、学習フェーズの場合と同様にスライスに分割し、説明変数として学習済みの学習モデル１０に入力する。
　この結果、学習済みの学習モデル１０からは、上記瞳孔径データＳＤ１に含まれる欠損が補完されたデータが出力される。この欠損が補完された瞳孔径データは、学習フェーズにおいて視線方向および脳波との間の共変関係が考慮されたものである。このため、分析対象者の補完後の瞳孔径は妥当性が保障されたものとなる。
　（効果）
　以上述べたように一実施形態では、学習フェーズにおいて、同一期間に計測される瞳孔径データＳＤ１、視線方向データＳＤ２および脳波データＳＤ３の実データのセットと、上記瞳孔径データＳＤ１に対し瞬き持続時間に相当する欠損をランダムに生じさせた瞳孔径データＳＤ１ｘ、上記視線方向データＳＤ２および脳波データＳＤ３とのデータセットとを用いて、Generator １１とDiscriminator A，B １２，１３とを組み合わせたニューラルネットワークからなる学習モデル１０に誤差逆伝搬法による学習を行わせ、これにより瞳孔径データＳＤ１と、この瞳孔径データＳＤ１に対し共変関係を有する視線方向データＳＤ２および脳波データＳＤ３とを併用して、上記瞳孔径データＳＤ１ｘの欠損が補完された瞳孔径データＳＤ１ｚを出力可能な学習済みの学習モデル１０を作成する。
　そして、運用フェーズにおいて、分析対象者から得られた瞳孔径データを、前処理した後上記学習済みの学習モデルに入力し、これに対し学習モデルから出力される補完処理後の瞳孔径データを、上記分析対象者の注意状態と相関する周波数の時系列特徴量の分析のために分析装置に提供するようにしている。
　従って、瞬き等により生じた瞳孔径データの欠損が、視線方向や脳波などのその他のセンサデータとの間の共変関係を利用して補完される。このため、瞳孔径データの欠損を線形や二次または三次関数を用いて補完処理する場合に比べ、高精度に補完することが可能になる。その結果、上記補完後の瞳孔径データを使用することで、分析対象者の注意状態の指標となる、欠損区間の幅より小さい周波数の時系列特徴量を分析することが可能となり、これにより分析対象者の注意状態をその瞳孔径をもとに高精度に分析することが可能となる。
　［その他の実施形態］
　（１）一実施形態では、センサデータ補完装置ＣＳの機能をパーソナルコンピュータにより実現する場合を例にとって説明したが、センサデータ補完装置ＣＳの機能をＷｅｂ上またはクラウド上に配置されたサーバコンピュータにより実現するようにしてもよい。また、センサデータ補完装置ＣＳを例えば運転中のドライバの注意状態を分析する目的で使用する場合には、センサデータ補完装置ＣＳはドライブレコーダなどの車載装置に設けられてもよい。
　（２）一実施形態では、分析対象のセンサデータとして瞳孔径データを用い、この瞳孔径データと共変関係を有する他のセンサデータとして視線方向データおよび脳波データを用いた。しかし、それに限らず他のセンサデータとしては、視線方向データおよび脳波データのいずれか一方のみを用いるようにしてもよい。
　（３）一実施形態では、センサデータとして生体信号を用いてヒトの注意状態を分析する場合を例にとって説明した。しかし、それに限るものではなく、製造設備やロボット、車両、ドローンまたは船舶等の監視対象装置の振動データを、当該振動データと共変関係を有する他のセンサデータを利用して補完し、補完後のセンサデータを上記監視対象装置の異常検知のために用いるようにしてもよい。
　（４）その他、センサデータ補完装置の機能構成、機能を動作させるための制御手順や処理内容、各センサの種類と検出方式、学習モデルのアーキテクチャおよび学習処理のアルゴリズム等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　ＣＳ…センサデータ補完装置
　ＳＳ１…瞳孔径センサ
　ＳＳ２…視線方向センサ
　ＳＳ３…脳波センサ
　ＩＮ…入力デバイス
　ＯＵ…出力デバイス
　１…制御部
　２…プログラム記憶部
　３…データ記憶部
　４…センサＩ／Ｆ部
　５…入出力Ｉ／Ｆ部
　６…バス
　１０…学習モデル
　１１…Generator
　１２，１３…Discriminator
　２０…学習処理部
　３０…補完処理部
　４０…入力処理部
　５０…出力処理部
 

Claims (4)

  1. 　センサデータに生じた欠損を、機械学習モデルを用いて補完するセンサデータ補完装置であって、
    　時系列上において欠損を含まない第１のセンサデータと、前記第１のセンサデータに対し時系列上においてランダムなタイミングで欠損を生じさせた第２のセンサデータと、前記第１のセンサデータとの間で時系列上において所定の共変関係を有する第３のセンサデータとを取得する取得処理部と、
    　前記第１のセンサデータ、前記第２のセンサデータおよび前記第３のセンサデータを、時系列上の時間位置を同期させた状態で前記機械学習モデルに入力し、前記第２のセンサデータの欠損を、前記第１のセンサデータと、前記第１のセンサデータと前記第３のセンサデータとの間の共変関係とに基づいて補完するように、前記機械学習モデルに学習を行わせる学習処理部と、
    　学習済みの前記機械学習モデルに対し、欠損を含む分析対象のセンサデータを入力し、前記機械学習モデルから前記欠損が補完された前記分析対象のセンサデータを取得する補完処理部と
    　を備えるセンサデータ補完装置。
  2. 　前記機械学習モデルは、前記第２のセンサデータを構成する複数のデータ系列間の第１の共変関係より、前記第２のセンサデータの複数のデータ系列と前記第３のセンサデータを構成する複数のデータ系列との間の第２の共変関係が弱くなるように構築される、請求項１に記載のセンサデータ補完装置。
  3. 　センサデータに生じた欠損を、機械学習モデルを用いて補完するセンサデータ補完方法であって、
    　時系列上において欠損を含まない第１のセンサデータと、前記第１のセンサデータに対し時系列上においてランダムなタイミングで欠損を生じさせた第２のセンサデータと、前記第１のセンサデータとの間で時系列上において所定の共変関係を有する第３のセンサデータとを取得する過程と、
    　前記第１のセンサデータ、前記第２のセンサデータおよび前記第３のセンサデータを、前記時系列上の時間位置を同期させた状態で前記機械学習モデルに入力し、前記第２のセンサデータの欠損を、前記第１のセンサデータと、前記第１のセンサデータと前記第３のセンサデータとの間の共変関係とに基づいて補完するように、前記機械学習モデルに学習を行わせる過程と、
    　学習済みの前記機械学習モデルに対し、欠損を含む分析対象のセンサデータを入力し、前記機械学習モデルから前記欠損が補完された前記分析対象のセンサデータを取得する過程と
    　を備えるセンサデータ補完方法。
  4. 　請求項１に記載のセンサデータ補完装置が備える前記取得処理部、前記学習処理部および前記補完処理部による処理を、前記センサデータ補完装置が備えるプロセッサに実行させるプログラム。
PCT/JP2024/015447 2024-04-18 2024-04-18 センサデータ補完装置、方法およびプログラム Pending WO2025220187A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015447 WO2025220187A1 (ja) 2024-04-18 2024-04-18 センサデータ補完装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/015447 WO2025220187A1 (ja) 2024-04-18 2024-04-18 センサデータ補完装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2025220187A1 true WO2025220187A1 (ja) 2025-10-23

Family

ID=97403141

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/015447 Pending WO2025220187A1 (ja) 2024-04-18 2024-04-18 センサデータ補完装置、方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2025220187A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200968A (ja) * 2014-04-04 2015-11-12 日本電信電話株式会社 歩行情報の補完方法および歩行情報管理システム
JP2023124200A (ja) * 2022-02-25 2023-09-06 株式会社日立製作所 情報処理システム及び情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200968A (ja) * 2014-04-04 2015-11-12 日本電信電話株式会社 歩行情報の補完方法および歩行情報管理システム
JP2023124200A (ja) * 2022-02-25 2023-09-06 株式会社日立製作所 情報処理システム及び情報処理方法

Similar Documents

Publication Publication Date Title
Kerrén et al. An optimal oscillatory phase for pattern reactivation during memory retrieval
Zhang et al. Capsule attention for multimodal EEG-EOG representation learning with application to driver vigilance estimation
Saadati et al. Convolutional neural network for hybrid fNIRS-EEG mental workload classification
US20150134580A1 (en) Method And System For Training A Neural Network
Weiss et al. Visual processing during natural reading
Garcia et al. Estimating direction in brain-behavior interactions: Proactive and reactive brain states in driving
CN118648883B (zh) 双模血压计算方法、装置、设备及存储介质
Govindarajan et al. Affective driver state monitoring for personalized, adaptive adas
Wang et al. Synthetic-Neuroscore: Using a neuro-AI interface for evaluating generative adversarial networks
Abdubrani et al. A robust framework for driver fatigue detection from EEG signals using enhancement of modified z-score and multiple machine learning architectures
Ayeoribe et al. Real-Time EEG-Based Detection of Cognitive Fatigue in Human-Machine Interaction Systems: A Biomedical Engineering Approach
Martín-Chinea et al. A new PLV-Spatial filtering to improve the classification performance in BCI systems
Ju et al. EEG signal cleaning for brain wave monitoring of construction workers using prediction and clustering models
Rodríguez-San Esteban et al. Neural representation of consciously seen and unseen information
Cisotto et al. hvEEGNet: exploiting hierarchical VAEs on EEG data for neuroscience applications
US20230248318A1 (en) Storage medium, output apparatus, and data processing method
Shelhamer Nonlinear dynamic systems evaluation ofrhythmic'eye movements (Optokinetic Nystagmus)
Wang et al. EEG-based personality recognition with long short-term memory and squeeze-and-excitation network
Zhao et al. Extraction method of driver’s mental component based on empirical mode decomposition and approximate entropy statistic characteristic in vehicle running state
Sharma Mental workload classification
Subash et al. A novel method by combining brain heart signals for the early detection of epilepsy seizures
Sobhani et al. A machine learning-based EEG signal analysis framework to enhance emotional state detection
Shabestari et al. Parameterized cortical power spectra as a novel neural feature for real time BCI
Kibrislioglu et al. Motion Artifact Removal from EEG Signals Using the Motion-Net Deep Learning Algorithm
Chandrasekaran et al. Pioneering Prognosis and Management in Neuromuscular Healthcare Using EMG Signal Processing with Advanced Deep Learning Techniques.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24935914

Country of ref document: EP

Kind code of ref document: A1