WO2023021612A1 - 目的変数推定装置、方法およびプログラム - Google Patents

目的変数推定装置、方法およびプログラム Download PDF

Info

Publication number
WO2023021612A1
WO2023021612A1 PCT/JP2021/030181 JP2021030181W WO2023021612A1 WO 2023021612 A1 WO2023021612 A1 WO 2023021612A1 JP 2021030181 W JP2021030181 W JP 2021030181W WO 2023021612 A1 WO2023021612 A1 WO 2023021612A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
series data
data
multivariate time
objective
Prior art date
Application number
PCT/JP2021/030181
Other languages
English (en)
French (fr)
Inventor
優太 南部
匡宏 幸島
隆二 山本
仁志 瀬下
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/030181 priority Critical patent/WO2023021612A1/ja
Priority to JP2023542090A priority patent/JPWO2023021612A1/ja
Publication of WO2023021612A1 publication Critical patent/WO2023021612A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • One aspect of the present invention relates to an objective variable estimation device, method, and program for estimating, as an objective variable, an element that is difficult to evaluate absolutely, such as human emotions and emotions, from multivariate time-series data using a machine learning model. .
  • model learning in machine learning requires teacher labels, which serve as teacher data.
  • teacher labels which serve as teacher data.
  • subjective evaluation labels obtained from questionnaire responses from subjects are often used as teacher labels.
  • the first problem is that the reliability of subjective evaluation is generally low, making comparison with others difficult.
  • A a person who evaluates the non-excited state as 5 points
  • B a person who evaluates as 1 point
  • teacher labels become sparse.
  • the timing of evaluation is often a timing that does not interfere with viewing, such as after content is viewed.
  • the number of teacher labels is one which is assigned to one sample after viewing.
  • the biological data to be measured is obtained densely as time-series data
  • the teacher labels become sparse in time-series. This makes it impossible to obtain a teacher label during content viewing. Therefore, it is difficult to estimate the objective variable that changes finely, such as the transition of the degree of excitement.
  • Non-Patent Document 1 or Non-Patent Document 2 for example, as a method for estimating the comfort/discomfort and the degree of excitement/rest of a subject while watching video or music from biometric data.
  • These methods estimate objective variables by extracting feature values from electrocardiogram (ECG), electroencephalography (EEG), etc. and inputting them into machine learning models.
  • ECG electrocardiogram
  • EEG electroencephalography
  • both of these methods use the results of subjective evaluation as teacher labels used in machine learning, and the above two problems remain unsolved.
  • Non-Patent Document 3 or Non-Patent Document 4 when estimating the comfort/discomfort and excitement/rest degree of a subject while listening to a speech using rank learning, speech features are applied to a rank learner called RankSVM. It describes a method of estimating comfort/discomfort by inputting and using paired data obtained subjectively from the subject as teacher labels.
  • the present invention has been made in view of the above-mentioned circumstances, and aims to provide a technique that further reduces the variation in evaluation point standards and enables detailed estimation of objective variables even if teacher labels are rough. is.
  • one aspect of the objective variable estimation apparatus or method estimates the objective variable using a learning model that receives multivariate time-series data as input and outputs an objective variable that is difficult to evaluate absolutely.
  • the learning mode acquiring a plurality of learning multivariate time-series data generated from a plurality of different sources and correlated with the objective variable; Acquire multiple pairs of data that can be objectively compared generated based on series data.
  • the parameters of the learning model are learned by performing rank learning using the acquired paired data as a teacher label and optimizing a predetermined objective function in the time-series direction.
  • the operation mode when unknown multivariate time-series data is input, the input unknown multivariate time-series data is input to the learning mode, and the learned parameters are used in the learning mode. to estimate an objective variable corresponding to the unknown multivariate time-series data.
  • objective variable estimation is performed using trained model data that has been rank-learned using a plurality of paired data that can be objectively compared as teacher labels. It is possible to reduce variations in evaluation point standards that occur when estimation is performed using the model data obtained. Also, when learning the model parameters, a process of optimizing the objective function in the time series direction is added. Therefore, even if the teacher label is sparse in the direction of the time axis, the objective variable can be output densely, thereby making it possible to obtain the objective variable with high continuity in the direction of the time axis.
  • FIG. 1 is a diagram showing the overall configuration of a system provided with a server device having the function of a target variable estimation device according to one embodiment of the present invention.
  • FIG. 2 is a block diagram showing the hardware configuration of the server device shown in FIG.
  • FIG. 3 is a block diagram showing the software configuration of the server device shown in FIG.
  • FIG. 4 is a flow chart showing a learning mode processing procedure and processing contents executed by the server device shown in FIG.
  • FIG. 5 is a flow chart showing a processing procedure and processing contents of an operation mode executed by the server apparatus shown in FIG.
  • FIG. 6 is a diagram showing an example of multivariate time-series data.
  • FIG. 1 is a diagram showing an example of the overall configuration of a system provided with a server device SV having the function of a target variable estimation device according to one embodiment of the present invention.
  • the system of one embodiment observes an arbitrary user among a plurality of users US1 to USn who are watching content such as movies and music.
  • Users US1-USn have biosensors SC1-SCn, respectively.
  • Biosensors SC1 to SCn are capable of data communication with server device SV via network NW.
  • NW indicates a management terminal such as a personal computer used by, for example, a system administrator.
  • the biosensors SC1 to SCn are, for example, wearable terminals, and measure biometric data such as heartbeats of the users US1 to USn.
  • the biometric data is multivariate time-series data that changes in time series, and the biosensors SC1 to SCn transmit the multivariate time-series data to the server device SV from the communication interface section containing the multivariate time-series data.
  • the biosensors SC1 to SCn may be dedicated devices having only the function of measuring biometric data. Sent to SV.
  • biometric data reflecting human emotions such as blood pressure, respiration, perspiration, and tears may be measured as biometric data.
  • wireless networks such as Bluetooth (registered trademark) and WiFi (registered trademark), wired LAN (Local Area Network), public wireless networks adopting standards such as 4G or 5G, public optical communication networks, etc. Used, but not limited to:
  • Server device SV 2 and 3 are block diagrams respectively showing the hardware configuration and software configuration of the server device SV.
  • the server device SV consists of a server computer arranged on the Web or cloud, for example, and includes a control section 1 using a hardware processor such as a central processing unit (CPU).
  • a storage unit having a program storage section 2 and a data storage section 3, a communication interface (hereinafter referred to as I/F) section 4, and an input/output I/F are connected to the control section 1 via a bus 6.
  • /F section 5 is connected.
  • server device SV may be housed in, for example, a local network of a company or organization, or a general-purpose personal computer may be used instead of the server computer.
  • the communication I/F unit 4 transmits and receives data to and from the biosensors SC1 to SCn using a communication protocol defined by the network NW.
  • the communication I/F unit 4 receives the biometric data measured by the biosensors SC1 to SCn via the mobile terminals. You may
  • the input/output I/F unit 5 is connected to the management terminal MT.
  • the management terminal MT is composed of, for example, a general-purpose personal computer and has an input device 7 and a display device 8 .
  • the input/output I/F 5 receives input data from the input device 7 and outputs display data generated by the control unit 1 to the display device 8 for display.
  • the program storage unit 2 includes, for example, a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written and read at any time as a storage medium, and a non-volatile memory such as a ROM (Read Only Memory).
  • a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written and read at any time as a storage medium
  • a non-volatile memory such as a ROM (Read Only Memory).
  • middleware such as an OS (Operating System)
  • OS Operating System
  • the data storage unit 3 is, for example, a combination of a non-volatile memory such as an HDD or an SSD that can be written and read at any time and a volatile memory such as a RAM (Random Access Memory) as a storage medium.
  • Multivariate time-series data storage unit 31, paired data storage unit 32, setting parameter storage unit 33, model parameter storage unit 34, and objective variable storage unit 35 are storage areas necessary for carrying out the embodiment. It has
  • the multivariate time-series data storage unit 31 stores the multivariate time-series data (biological data in this example) acquired from the biosensors SC1 to SCn as the identification information of the biosensors SC1 to SCn or users US1 to USn ( hereinafter referred to as user ID).
  • the paired data storage unit 32 is used to store a plurality of objectively comparable paired data extracted from the plurality of multivariate time series data stored in the multivariate time series data storage unit 31.
  • Paired data includes a pair of data sampled at two different times of any one multivariate time-series data and a pair of data sampled at any time of any two different multivariate time-series data. included.
  • the setting parameter storage unit 33 is used in the learning mode to store learning model setting parameters that are input by the system administrator, for example, in the management terminal MT.
  • the model parameter storage unit 34 is used in the learning mode to store the results of the learning of the setting parameters by the control unit 1 as learned model parameters.
  • the objective variable storage unit 35 stores objective variables estimated by the control unit 1 using the learned model parameters in the learning model for unknown multivariate time-series data transmitted from the biosensors SC1 to SCn in the operation mode. used to store the
  • the control unit 1 includes a multivariate time-series data acquisition processing unit 11, a paired data acquisition processing unit 12, a setting parameter acquisition processing unit 13, and a model parameter learning processing unit 14 as processing functions according to one embodiment of the present invention. , an objective variable estimation processing unit 15 and an objective variable output processing unit 16 . Each of these processing units 11 to 16 is implemented by causing the hardware processor of the control unit 1 to execute an application program stored in the program storage unit 2 .
  • the multivariate time-series data acquisition processing unit 11 receives the multivariate time-series data transmitted from the biosensors SC1 to SCn via the communication I/F unit 4, and transmits each received multivariate time-series data. A process of storing in the multivariate time-series data storage unit 31 in association with the original user ID is performed.
  • the paired data acquisition processing unit 12 extracts a plurality of pairs of data at arbitrary different times from each of the plurality of multivariate time series data stored in the multivariate time series data storage unit 31, A plurality of data pairs at arbitrary times are extracted for a combination of arbitrary two time-series data out of the variable time-series data. That is, the paired data acquisition processing unit 12 extracts a plurality of paired data that can be objectively compared. Then, a process of storing the plurality of extracted paired data that can be objectively compared with the time data on the multivariate time-series data in the paired data storage unit 32 is performed.
  • the setting parameter acquisition processing unit 13 acquires the setting parameters of the learning model input by the system administrator through the management terminal MT via the input/output I/F unit 5, and stores the acquired setting parameters in the setting parameter storage unit. 33 is stored.
  • the model parameter learning processing unit 14 selectively reads a plurality of paired data that can be objectively compared from the paired data storage unit 32, and uses the read paired data as teacher labels to perform rank learning on the set parameters. Also, in the rank learning, a process of optimizing the objective function in the time-series direction is performed. Then, the model parameter learning processing unit 14 causes the model parameter storage unit 34 to store the results obtained by the learning process as learned model parameters.
  • An example of model parameter learning processing will be described in an operation example.
  • the objective variable estimation processing unit 15 receives the unknown multivariate time-series data transmitted from the biosensors SC1 to SCn of the users US1 to USn to be observed by the multivariate time-series data acquisition processing unit 11. input the received unknown multivariate time-series data to the learning model. Then, the objective variable estimation processing unit 15 uses the learned model parameters stored in the model parameter storage unit 34 in the learning model to estimate the objective variable corresponding to the unknown multivariate time series data. , the estimated objective variable is associated with the user ID and stored in the objective variable storage unit 35 .
  • the objective variable output processing unit 16 reads the estimated objective variable from the objective variable storage unit 35 and generates display data of the read objective variable. Then, the generated display data is output to the management terminal MT through the input/output I/F section 5 and displayed on the display device 8 thereof.
  • control unit 1 of the server device SV executes learning processing of model parameters to be set in the learning model according to the processing procedure shown in FIG.
  • the control unit 1 of the server device SV monitors data input in step S11 in the standby state. In this state, it is assumed that biometric data are transmitted from the biometric sensors SC1 to SCn of the users US1 to USn to be observed, respectively, while watching a movie or music content, for example.
  • control unit 1 of the server device SV receives the above biometric data via the communication I/F unit 4 in step S12 under the control of the multivariate time-series data acquisition processing unit 11, and
  • the biometric data is stored in the multivariate time series data storage unit 31 as multivariate time series data for learning.
  • the multivariate time-series data for learning is not limited to the data transmitted in real time from the biosensors SC1 to SCn to be observed as described above. biometric data during viewing collected in the past may be acquired from the database server. Also, the multivariate time-series data for learning may be created by simulation or the like by simulating biological data.
  • any one multivariate time-series data is read from the multivariate time-series data storage unit 31 in step S12.
  • Data at two arbitrary different times are extracted from the read multivariate time-series data, and pairs of the extracted data are stored in the paired data storage unit 32 .
  • the paired data acquisition processing unit 12 reads arbitrary two pieces of multivariate time-series data from the multivariate time-series data storage unit 31 .
  • Data at an arbitrary time is extracted from the two read multivariate time-series data, and pairs of the extracted data are stored in the paired data storage unit 32 .
  • the paired data acquisition processing unit 12 extracts a plurality of paired data that can be objectively compared from any plurality of multivariate time-series data, and stores them in the paired data storage unit 32.
  • the server device may acquire the plurality of paired data for teacher labels from the external device and store them in the paired data storage section 32 .
  • (1-3) Acquisition of setting parameters The system administrator inputs the setting parameters of the learning model in the management terminal MT.
  • the control unit 1 of the server device SV under the control of the setting parameter acquisition processing unit 13, acquires the setting parameters input in the management terminal MT through the input/output I/F unit 5 in step S13. , to store the fetched setting parameters in the setting parameter storage unit 33 .
  • model parameter learning processing unit 14 performs processing for optimizing the objective function in the time-series direction in the rank learning. Then, the model parameter learning processing unit 14 causes the model parameter storage unit 34 to store the results obtained by the learning process as learned model parameters.
  • FIG. 6 shows an example of changes in the direction of the time axis of the feature quantity x of this multivariate time-series data.
  • the number of combinations for extracting arbitrary paired data from multivariate time-series data set X is as large as 1/2MT (MT-1), and all paired data are covered. is not realistic. Therefore, in this example, it is assumed that the set D of pair data is a sparse teacher label extracted from a set X of multivariate time series data, that is, K ⁇ 1/2MT(MT-1).
  • deep learning methods such as RNN (Recurrent Neural Network) architecture such as LSTM (Long Short Term Memory) and multivariate time-series data for image sequences g: R H ⁇ W ⁇ C ⁇ R d
  • CNN Convolutional Neural Network
  • the function h can be a function that follows a probability distribution with the objective variable y or any function that has the role of limiting the range of the objective variable y.
  • Gaussian distribution may be defined as here, is.
  • Gaussian distribution For the Gaussian distribution, refer to the following document "Wei Chu and Zoubin Ghahramani. Preference learning with gaussian processes. pp. 137-144, 08 2005.” are described in detail.
  • the regularization term ⁇ can also be set arbitrarily.
  • the L1,2 norm or the like may be used to simply limit the weights.
  • ⁇ 2 ⁇ , ⁇ 2 ⁇ , t , ⁇ 2 ⁇ , t in the objective function L( ⁇ ) indicate the variance of the noise, and these are the weight ⁇ of the regularization term ⁇ and the learning rate parameter ⁇ k together with the setting Preconfigured as a parameter.
  • the control unit 1 of the server device SV monitors input of data in step S21 in the standby state.
  • the control unit 1 of the server device SV causes the multivariate time-series data acquisition processing unit 11 to Under the control, each biometric data is received via the communication I/F section 4 in step S22.
  • each of the received biometric data that is, the unknown multivariate time-series data is stored in the multivariate time-series data storage unit 31 in association with the user ID of the transmission source.
  • (3-2) Objective variable estimation process When the unknown multivariate time-series data is acquired, the control unit 1 of the server device SV first performs the above in step S23 under the control of the objective variable estimation processing unit 15. Unknown multivariate time-series data is read from the multivariate time-series data storage unit 31 and input to the learning model. Next, the objective variable estimation processing unit 15 uses the learned model parameters stored in the model parameter storage unit 34 in the learning model to estimate an objective variable corresponding to the unknown multivariate time series data. do. Then, the estimated objective variable is associated with the user ID and stored in the objective variable storage unit 35 .
  • the learned model parameters use paired data that can be objectively compared obtained from learning multivariate time-series data as teacher labels, and the objective function is the time-series It is rank-learned by optimizing in the direction. For this reason, the target variables output from the learning model have a standardized evaluation score by using the objective evaluation label and have continuity in the time-series direction.
  • the objective variable estimation processing unit 15 estimates objective variables for the biometric data of the users US1 to USn acquired during observation, for example, at regular time intervals, and stores the results in the objective variable storage unit 35. Repeatedly execute the process of
  • the control unit 1 of the server device SV monitors input of an estimation result output request in step S24.
  • the content distributor inputs an estimation result output request to the input device 7 of the management terminal MT in order to analyze the user's reaction to the distributed content.
  • step S25 the control unit 1 of the server device SV reads the stored objective variable from the objective variable storage unit 35 under the control of the objective variable output processing unit 16, and stores the read objective variable as Generate display data. Then, the generated display data is output to the management terminal MT via the input/output I/F section 5 and displayed on the display device 8 .
  • the objective estimation result of the emotion or emotion is continuously displayed at regular time intervals, and the user ID of the target user, or It is displayed in association with its corresponding username.
  • the above estimation result can also be displayed on the requesting terminal, for example, by the user sending an output request to the server device SV from a portable terminal such as a smartphone.
  • a plurality of multivariate time series data for learning are acquired, a plurality of paired data that can be objectively compared are extracted from these multivariate time series data, and the extracted By performing rank learning using the above paired data as teacher labels and optimizing the objective function in the time series direction, setting parameters of the learning model are learned and learned model parameters are generated.
  • setting parameters of the learning model are learned and learned model parameters are generated.
  • the operation mode when the biometric data of the user during viewing is acquired, this biometric data is input to the learning model as unknown multivariate time-series data, and the learned model parameters are used in this learning model.
  • An objective variable representing a user's feeling or emotion corresponding to the biometric data is estimated, and display data representing the estimation result is output.
  • the target variable is estimated using the learned model data that has undergone rank learning using paired data that can be objectively compared as teacher labels. It is possible to reduce variations in evaluation point standards that occur in some cases. Also, when learning the model parameters, a process of optimizing the objective function in the time series direction is added. Therefore, even if the teacher label is sparse in the time axis direction, the objective variable can be output densely, and as a result, it is possible to obtain an estimation result of the objective variable with high continuity in the time axis direction.
  • the observation target is a user who is watching a movie or listening to music, and the user's feelings and emotions are estimated based on the user's biometric data.
  • the present invention is not limited to this.
  • an animal other than a human being or a machine is used as an observation target, and based on the measurement data of the behavior or operation, the animal's emotion or emotion or the machine's malfunction and its signs are estimated. It is also applicable when
  • the function of the objective variable estimating device according to the present invention is provided in the server device SV as an example.
  • the present invention is not limited to this.
  • the function of the estimating device may be configured to be distributed to the server device or the terminal.
  • the functions of the objective variable estimation device according to the present invention may be downloaded from a host system such as a cloud to a local server such as an edge server and installed for use when necessary.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the gist of the invention at the implementation stage.
  • various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments.
  • constituent elements of different embodiments may be combined as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

この発明の一態様は、学習モードにおいて、異なる複数の発生元からそれぞれ発生されかつ目的変数と相関がある複数の学習用多変量時系列データを取得する。また、取得された前記複数の学習用多変量時系列データをもとに生成される客観比較が可能な複数のペアデータを取得する。そして、取得された複数の前記ペアデータを教師ラベルとしてランク学習を行って所定の目的関数を時系列方向に最適化することで、モデルパラメタの学習を行う。そして、運用モードにおいて、未知の多変量時系列データを取得して学習モデルに入力し、この学習モデルにおいて学習済の前記モデルパラメタを用いて、前記未知の多変量時系列データに対応する目的変数を推定する。

Description

目的変数推定装置、方法およびプログラム
　この発明の一態様は、機械学習モデルを用いて、例えば多変量時系列データから人の感情や情動のように絶対評価が困難な要素を目的変数として推定する目的変数推定装置、方法およびプログラムに関する。
　多変量時系列データを用いて絶対評価が困難な目的変数を推定したい場合がある。例えば、映画視聴中の人間の感情や情動を生体データから推定したい場合がこれに相当する。感情や情動の推定は、生体データという多変量時系列データを学習データとして入力して、興奮や感動といった絶対評価が困難な目的変数を出力するモデルの学習問題として定義することが可能である。
　一般に、機械学習におけるモデルの学習には、教師データとなる教師ラベルが必要となる。絶対評価が困難な目的変数を推定する場合、教師ラベルとしては、多くの場合被験者からのアンケート回答等から得た主観評価ラベルが用いられる。
　しかしながら、主観評価ラベルを用いた絶対評価が困難な目的変数の推定には、２つの課題が考えられる。一つ目の課題は、一般に主観評価の信憑性が低いため、他者との比較が難しいことである。例えば、興奮度合いを１点から９点までの多段階で評価するとき、興奮していない状態を５点として評価する人（以下Ａという）と、１点として評価する人（以下Ｂという）に分かれることが想定される。この場合、Ａが判断する５点とＢが判断する５点を同程度として扱うのは妥当でない。また、これらの目的変数は絶対評価が困難なため、Ａの１点とＢの５点という評価点からＡよりＢが５倍興奮していたと判断することも適切ではない。しかし、機械学習の評価値としては５点と５点は同値であり、１点と５点では５倍の評価値となってしまう。この例のように４点の差が生まれる場合は極端であるが、１点または２点程度の差であれば頻発する可能性がある。
　２つ目の課題は、教師ラベルが疎になることである。主観評価を実施する場合、評価のタイミングはコンテンツ視聴後などの視聴を妨害しないタイミングになる場合が多い。この場合、教師ラベルの数は１サンプルに対して視聴後に付与される１個となる。つまり、計測される生体データは時系列データとして密に取得されるにもかかわらず、教師ラベルは時系列上で疎になってしまう。これでは、コンテンツ視聴中の教師ラベルが得られない。このため、興奮度合いの遷移など細かく変化する目的変数を推定することは困難となる。
　一方、従来、映像や音楽を鑑賞中の被験者の快／不快や興奮／安静度合いを生体データから推定する手法として、例えば非特許文献１または非特許文献２に紹介される手法がある。これらの手法は、Electrocardiogram（ECG）やElectroencephalography （EEG）等から特徴量を抽出して機械学習モデルに入力することで目的変数を推定する。しかし、これらの手法はいずれも、機械学習に用いる教師ラベルには主観評価の結果を用いており、前述した２つの課題がいずれも未解決である。
　これに対し、主観評価における評価点のバラツキを吸収する手法として、ペアデータのランク学習を用いて目的変数を推定する手法がある。例えば、非特許文献３または非特許文献４には、ランク学習を用いてスピーチ視聴中の被験者の快／不快、興奮／安静度合いを推定する際に、音声特徴量をRankSVM と呼ばれるランク学習器に入力し、被験者の主観から得られたペアデータを教師ラベルとして用いることで快／不快などを推定する手法が記載されている。
　これらの手法は、主観評価を絶対的な数値として扱わずペアデータの比較として相対的に扱うことで、前述した１つ目の課題を軽減している。しかしながら、基本的に主観評価ラベルを用いる点は変わらない。このため、被験者ごとに評価点の基準が異なるという課題と、前述した２つ目の教師ラベルが時系列上で疎になるという課題が、依然として解決されていない。
Wei-Long Zheng, Jia-Yi Zhu, and Bao-Liang Lu. "Identifying stable patterns over time for emotion recognition from eeg." IEEE Transactions on Affective Computing, Vol.10, No.3, pp. 417-429, 2019. Mimma Nardelli, Gaetano Valenza, Alberto Greco, Antonio Lanata, and EnzoPasquale Scilingo. "Recognizing emotions induced by affective sounds through heart rate variability." IEEE Transactions on Affective Computing, Vol.6, No.4, pp. 385-394, 2015. Srinivas Parthasarathy, Reza Lotfian, and Carlos Busso. "Ranking emotional attributes with deep neural networks." In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 4995-4999, 2017. Jianyu Fan, K.Tatar, Miles Thorogood, and P.Pasquier. "Ranking-based emotion recognition for experimental music." In ISMIR, 2017.
　以上述べたように、従来の手法はいずれも絶対評価が困難な目的変数の推定に主観評価ラベルを用いている。このため、被験者ごとに評価点の基準が異なるという課題と、目的変数が時系列上で疎になるという課題を有している。
　この発明は上記事情に着目してなされたもので、評価点の基準のバラツキをさらに軽減し、かつ教師ラベルが粗であっても目的変数を密に推定可能にする技術を提供しようとするものである。
　上記課題を解決するためにこの発明に係る目的変数推定装置または方法の一態様は、多変量時系列データを入力として絶対評価が困難な目的変数を出力する学習モデルを用いて上記目的変数を推定する際に、学習モードにおいて、異なる複数の発生元からそれぞれ発生されかつ前記目的変数と相関がある複数の学習用多変量時系列データを取得すると共に、取得された前記複数の学習用多変量時系列データをもとに生成される客観比較が可能な複数のペアデータを取得する。そして、取得された前記ペアデータを教師ラベルとしてランク学習を行って所定の目的関数を時系列方向に最適化することで、前記学習モデルのパラメタの学習を行う。そして、運用モードにおいて、未知の多変量時系列データが入力された場合に、入力された前記未知の多変量時系列データを前記学習モードに入力し、この学習モードにより前記学習済のパラメタを用いて前記未知の多変量時系列データに対応する目的変数を推定する。
　この発明の一態様によれば、客観比較が可能な複数のペアデータを教師ラベルとして用いてランク学習された学習済モデルデータを使用して目的変数の推定が行われるので、主観評価ラベルにより学習されたモデルデータを用いて推定する場合に発生する、評価点の基準のバラツキを軽減することが可能となる。また、モデルパラメタを学習する際に、目的関数を時系列方向に最適化する処理が加えられる。このため、教師ラベルが時間軸方向に粗であっても目的変数を密に出力できるようになり、これにより時間軸方向に対し連続性の高い目的変数を得ることが可能となる。
　すなわちこの発明の一態様によれば、評価点の基準のバラツキをさらに軽減し、かつ教師ラベルが粗であっても目的変数を密に推定可能にする技術を提供することができる。
図１は、この発明の一実施形態に係る目的変数推定装置の機能を有するサーバ装置を備えたシステムの全体構成を示す図である。 図２は、図１に示したサーバ装置のハードウェア構成を示すブロック図である。 図３は、図１に示したサーバ装置のソフトウェア構成を示すブロック図である。 図４は、図３に示したサーバ装置により実行される学習モードの処理手順と処理内容を示すフローチャートである。 図５は、図３に示したサーバ装置により実行される運用モードの処理手順と処理内容を示すフローチャートである。 図６は、多変量時系列データの一例を示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［一実施形態］
　（構成例）
　（１）システム
　図１は、この発明の一実施形態に係る目的変数推定装置の機能を有するサーバ装置ＳＶを備えたシステムの全体構成の一例を示す図である。
　一実施形態のシステムは、例えば映画や音楽等のコンテンツを鑑賞中の複数のユーザＵＳ１～ＵＳｎのうちの任意のユーザを観測対象とする。ユーザＵＳ１～ＵＳｎはそれぞれ生体センサＳＣ１～ＳＣｎを保有する。生体センサＳＣ１～ＳＣｎは、ネットワークＮＷを介してサーバ装置ＳＶとの間でデータ通信が可能となっている。なお、ＭＴは例えばシステム管理者等が使用するパーソナルコンピュータ等からなる管理端末を示している。
　生体センサＳＣ１～ＳＣｎは、例えばウェアラブル端末からなり、ユーザＵＳ１～ＵＳｎの心拍等の生体データを計測する。生体データは、時系列で変化する多変量時系列データであり、生体センサＳＣ１～ＳＣｎは上記多変量時系列データを内蔵する通信インタフェース部からサーバ装置ＳＶへ送信する。なお、生体センサＳＣ１～ＳＣｎは生体データの計測機能のみを有する専用デバイスであってもよく、この場合生体センサＳＣ１～ＳＣｎにより計測された生体データはスマートフォン等の携帯情報端末を経由してサーバ装置ＳＶに送信される。また、生体データとしては、心拍以外に血圧、呼吸、発汗、涙等の人の感情が反映される生体データが計測されてもよい。
　ネットワークＮＷとしては、例えば、Bluetooth（登録商標）やWiFi（登録商標）等の無線ネットワーク、有線ＬＡＮ（Local Area Network）、4Gまたは5G等の規格を採用した公衆無線ネットワーク、公衆光通信ネットワーク等が使用されるが、これらに限るものではない。
　（２）サーバ装置ＳＶ
　図２および図３は、それぞれサーバ装置ＳＶのハードウェア構成およびソフトウェア構成を示すブロック図である。
　サーバ装置ＳＶは、例えばＷｅｂ上またはクラウド上に配置されるサーバコンピュータからなり、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１を備える。そして、この制御部１に対し、バス６を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、通信インタフェース（以後インタフェースをＩ／Ｆと記載する）部４と、入出力Ｉ／Ｆ部５を接続したものとなっている。
　なお、サーバ装置ＳＶは、例えば会社や団体のローカルネットワークに収容されたものであってもよく、またサーバコンピュータの代わりに汎用のパーソナルコンピュータが用いられてもよい。
　通信Ｉ／Ｆ部４は、制御部１の制御の下、ネットワークＮＷにより定義される通信プロトコルを使用して、上記生体センサＳＣ１～ＳＣｎとの間でそれぞれデータの送受信を行う。なお、ユーザＵＳ１～ＵＳｎがスマートフォン等の携帯端末を所持している場合には、通信Ｉ／Ｆ部４はこの携帯端末を経由して、上記生体センサＳＣ１～ＳＣｎにより計測された生体データを受信してもよい。
　入出力Ｉ／Ｆ部５には、上記管理端末ＭＴが接続される。管理端末ＭＴは例えば汎用のパーソナルコンピュータからなり、入力デバイス７と表示デバイス８を有している。入出力Ｉ／Ｆ５は、上記入力デバイス７から入力データを受け取ると共に、制御部１により生成された表示データを上記表示デバイス８に出力して表示させる。
　プログラム記憶部２は、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要な各種プログラムを格納する。
　データ記憶部３は、例えば、記憶媒体として、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、この発明の一実施形態を実施するために必要な記憶領域として、多変量時系列データ記憶部３１と、ペアデータ記憶部３２と、設定パラメタ記憶部３３と、モデルパラメタ記憶部３４と、目的変数記憶部３５とを備えている。
　多変量時系列データ記憶部３１は、生体センサＳＣ１～ＳＣｎから取得された多変量時系列データ（この例では生体データ）を、送信元の生体センサＳＣ１～ＳＣｎまたはユーザＵＳ１～ＵＳｎの識別情報（以後ユーザＩＤと呼ぶ）と対応付けて記憶するために使用される。
　ペアデータ記憶部３２は、上記多変量時系列データ記憶部３１に記憶された複数の多変量時系列データから抽出された、客観比較が可能な複数のペアデータを記憶するために使用される。ペアデータには、任意の１つの多変量時系列データの異なる２つの時刻においてサンプリングされたデータのペアと、任意の異なる２つの多変量時系列データの任意の時刻においてサンプリングされたデータのペアが含まれる。
　設定パラメタ記憶部３３は、学習モードにおいて、例えば管理端末ＭＴにおいてシステム管理者が入力した、学習モデルの設定パラメタを保存するために使用される。
　モデルパラメタ記憶部３４は、学習モードにおいて、上記設定パラメタに対して制御部１が学習した結果を、学習済のモデルパラメタとして記憶するために使用される。
　目的変数記憶部３５は、運用モードにおいて、生体センサＳＣ１～ＳＣｎから送信された未知の多変量時系列データに対し、制御部１が学習モデルにおいて上記学習済のモデルパラメタを用いて推定した目的変数を記憶するために使用される。
　制御部１は、この発明の一実施形態に係る処理機能として、多変量時系列データ取得処理部１１と、ペアデータ取得処理部１２と、設定パラメタ取得処理部１３と、モデルパラメタ学習処理部１４と、目的変数推定処理部１５と、目的変数出力処理部１６とを備えている。これらの各処理部１１～１６は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを、制御部１のハードウェアプロセッサに実行させることにより実現される。
　多変量時系列データ取得処理部１１は、生体センサＳＣ１～ＳＣｎから送信される多変量時系列データを通信Ｉ／Ｆ部４を介してそれぞれ受信し、受信された各多変量時系列データを送信元のユーザＩＤと対応付けて多変量時系列データ記憶部３１に記憶させる処理を行う。
　ペアデータ取得処理部１２は、上記多変量時系列データ記憶部３１に記憶された複数の多変量時系列データの各々から、任意の異なる時刻のデータのペアを複数抽出すると共に、上記複数の多変量時系列データのうち任意の２つの時系列データの組合せについて、任意の時刻のデータのペアを複数抽出する。すなわち、ペアデータ取得処理部１２は、客観比較が可能な複数のペアデータを抽出する。そして、抽出された上記客観比較が可能な複数のペアデータを、上記多変量時系列データ上の時刻データと対応付けてペアデータ記憶部３２に記憶させる処理を行う。
　設定パラメタ取得処理部１３は、学習モードにおいて、システム管理者が管理端末ＭＴにより入力した学習モデルの設定パラメタを入出力Ｉ／Ｆ部５を介して取り込み、取り込まれた設定パラメタを設定パラメタ記憶部３３に記憶させる処理を行う。
　モデルパラメタ学習処理部１４は、上記ペアデータ記憶部３２から客観比較が可能な複数のペアデータを選択的に読み込み、読み込まれた上記ペアデータを教師ラベルとして上記設定パラメタについてランク学習を行う。また、上記ランク学習において、目的関数を時系列方向に最適化する処理を行う。そして、モデルパラメタ学習処理部１４は、上記学習処理により得られた結果を、学習済のモデルパラメタとしてモデルパラメタ記憶部３４に記憶させる。なお、モデルパラメタ学習処理の一例は動作例において説明する。
　目的変数推定処理部１５は、運用モードにおいて、上記多変量時系列データ取得処理部１１により、観測対象のユーザＵＳ１～ＵＳｎの生体センサＳＣ１～ＳＣｎから送信された未知の多変量時系列データが受信された場合に、受信された上記未知の多変量時系列データを学習モデルに入力する。そして、目的変数推定処理部１５は、学習モデルにおいて、上記モデルパラメタ記憶部３４に記憶されている学習済のモデルパラメタを用いて、上記未知の多変量時系列データに対応する目的変数を推定し、推定された上記目的変数をユーザＩＤと対応付けて目的変数記憶部３５に記憶させる処理を行う。
　目的変数出力処理部１６は、推定された上記目的変数を上記目的変数記憶部３５から読み出し、読み出された上記目的変数の表示データを生成する。そして、生成された上記表示データを入出力Ｉ／Ｆ部５を介して管理端末ＭＴへ出力し、その表示デバイス８に表示させる処理を行う。
　（動作例）
　次に、以上のように構成されたサーバ装置ＳＶの動作例を説明する。　
　図４および図５は、サーバ装置ＳＶの制御部１が実行する処理の手順と処理内容の一例を示すフローチャートである。
　（１）学習モードにおける処理動作
　学習モードが設定されると、サーバ装置ＳＶの制御部１は、学習モデルに設定するモデルパラメタの学習処理を図４に示す処理手順に従い実行する。
　（１－１）多変量時系列データの取得
　サーバ装置ＳＶの制御部１は、待受状態において、ステップＳ１１によりデータ入力を監視する。この状態で、例えば映画または音楽コンテンツの鑑賞中に、観測対象となるユーザＵＳ１～ＵＳｎの生体センサＳＣ１～ＳＣｎからそれぞれ生体データが送信されたとする。
　そうすると、サーバ装置ＳＶの制御部１は、多変量時系列データ取得処理部１１の制御の下、ステップＳ１２において上記各生体データを通信Ｉ／Ｆ部４を介して受信し、受信された上記各生体データを学習用多変量時系列データとして多変量時系列データ記憶部３１に記憶させる。
　なお、学習用多変量時系列データは、上記したように観測対象の生体センサＳＣ１～ＳＣｎからリアルタイムに送信されるデータに限らず、例えば外部のデータベースサーバ等に蓄積された、複数の観測対象ユーザの過去に収集された鑑賞中の生体データを上記データベースサーバから取得したものであってもよい。また、学習用多変量時系列データは、生体データを模してシミュレーション等により作成されたものであってもよい。
　（１－２）ペアデータの取得
　上記多変量時系列データ記憶部３１に、例えば所定の単位時間分の多変量時系列データが蓄積されると、サーバ装置ＳＶの制御部１は、続いてペアデータ取得処理部１２の制御の下、ステップＳ１２により、上記多変量時系列データ記憶部３１から任意の１つの多変量時系列データを読み込む。そして、読み込まれた上記多変量時系列データの任意の異なる２つの時刻におけるデータを抽出して、抽出されたデータのペアをペアデータ記憶部３２に記憶させる。また、それと共にペアデータ取得処理部１２は、上記多変量時系列データ記憶部３１から任意の２つの多変量時系列データを読み込む。そして、読み込まれた上記２つの多変量時系列データの任意の時刻におけるデータを抽出し、抽出されたデータのペアをペアデータ記憶部３２に記憶させる。
　すなわち、ペアデータ取得処理部１２は、任意の複数の多変量時系列データから客観比較が可能なペアデータを複数個抽出し、ペアデータ記憶部３２に記憶させる。
　なお、外部装置において、過去の複数の学習用多変量時系列データにもとに作成された客観比較が可能な複数のペアデータが、教師ラベル用として既に用意されている場合には、サーバ装置ＳＶは上記複数の教師ラベル用のペアデータを上記外部装置から取得して、ペアデータ記憶部３２に記憶するようにしてもよい。
　（１－３）設定パラメタの取得
　システム管理者は、管理端末ＭＴにおいて学習モデルの設定パラメタを入力する。これに対しサーバ装置ＳＶの制御部１は、設定パラメタ取得処理部１３の制御の下、ステップＳ１３により、上記管理端末ＭＴにおいて入力された上記設定パラメタを入出力Ｉ／Ｆ部５を介して取り込み、取り込まれた上記設定パラメタを設定パラメタ記憶部３３に記憶させる。
　（１－４）モデルパラメタの学習
　上記設定パラメタの取得が終了すると、サーバ装置ＳＶの制御部１は、次にステップＳ１４において、モデルパラメタ学習処理部１４の制御の下、上記ペアデータ記憶部３２から客観比較が可能な複数のペアデータを選択的に読み込む。そして、読み込まれた上記ペアデータを教師ラベルとして上記設定パラメタについてランク学習を行う。
　また、モデルパラメタ学習処理部１４は、上記ランク学習において、目的関数を時系列方向に最適化する処理を行う。そして、モデルパラメタ学習処理部１４は、上記学習処理により得られた結果を、学習済のモデルパラメタとしてモデルパラメタ記憶部３４に記憶させる。
　（２）学習モードにおける詳細な動作
　次に、以上述べた学習モードにおける一連の処理をより詳細に説明する。
　（２－１）入力データ
　観測可能な多変量時系列データxt = {x1, . . . , xT }を、所定のサンプリング間隔T で、M 人分集めた集合X を
　　　X = {xm t| m = 1, . . . ,M}
とする。図６はこの多変量時系列データの特徴量x の時間軸方向の変化の一例を示すものである。
　また、ランク学習におけるペアデータの関係を示す集合D を
　　　D = {vk ＞ uk | k ＝ 1, . . . ,K} 
とする。但し、vk ∈ X 、uk ∈ X であり、vk ＞ uk はukよりvkのほうが好ましいことを示す。
　なお、ペアデータの集合D を定義する際、多変量時系列データの集合X から任意のペアデータを抽出する組み合わせは1/2MT(MT－1)と非常に多く、全てのペアデータを網羅することは現実的ではない。そこで、この例では、ペアデータの集合D を多変量時系列データの集合X から一部を抽出した疎な教師ラベル、つまりK ≪ 1/2MT(MT－1) とする場合を想定する。
　（２－２）入力モデル
　入力となるモデルには、時系列方向に連続した推定値を出力する任意のモデルが利用可能である。ここでは、例えばある時刻t に対し、過去の直近のタイミングt-1 における潜在変数zm t－1 と、現時刻t における多変量時系列データxm tとを用いて、現時刻t における潜在変数zm t を得る関数g と、現時刻t における潜在変数zm t から目的変数ym t を推定する関数h とからなる、以下のモデルf 
　　　f = g ○ h
　　　zm t ＝ g(zm t－1 , xm t)
　　　ym t ＝ h(zm t ) + εy
を想定する。
　このうち、関数g には任意の関数を利用することができる。例えば、状態空間モデルを用いて、
　　　g (zm t－1，xm t) ＝ zm t－1 ＋ αm t xm t＋β
としてもよい。ここで、
　　　αm t ＝ αm t－1 ＋ ηα，t
　　　βm t ＝ βm t－1 ＋ ηβ，t
　　　ηα，t ～ N（0, σ2 α，t）
　　　ηβ，t ～ N（0, σ2 β，t）
である。
　また、パーセプトロンのように
　　　g (zm t－1, xm t) ＝ wz zm t－1 ＋ wx xm t＋b 
としてもよい。さらにDeep Learning の手法である、LSTM（Long Short Term Memory）のようなRNN（Recurrent Neural Network）アーキテクチャや、多変量時系列データが画像列の場合に対し
　　　g ：RH×W×C → Rd
とするようなCNN（Convolutional Neural Network）を用いることも想定される。
　一方、関数h には、目的変数y がある確率分布に従う関数、或いは目的変数y の値域を制限する役割を持つ任意の関数を用いることができる。
　（２－３）出力
　上記モデルf の出力は、ペアデータの集合D の関係に従う目的変数y と相関のある値である。なお、ランク学習の性質上、この出力値はスコアの正確さを重視した値ではなく、サンプルの順序関係を保持することを重視した値となる。
　（２－４）目的関数
　上記モデルのパラメタ推定は、ペアデータの集合D によるランク学習に基づき目的関数を最適化することにより行われる。ただし、ペアデータの集合D が疎であるため、推定値は局所的にしかフィッティングせず、時間軸方向に連続しない可能性がある。そこで、時間軸方向の変化を緩慢（なだらか）にするために、目的関数に、モデルf のパラメタθ を制限する正則化項Ω とその重みλの積を加える。これらを踏まえ、目的関数L(θ)を
　　　L(θ) ＝Φ(dk)＋ λΩ(θ)
　　　dk ＝ f(vk) － f(uk)
のように表現する。
　この目的関数L(θ) において、Φにはペアデータの順序関係を保持するとき出力が小さくなる任意の関数が利用できる。例えば、RankNet と同様に、シグモイド関数とエントロピー損失関数とを用いて
　　　Φ(dk) ＝ －log（edk／1＋edk）
と定義してもよい。
　なお、RankNetについては、以下の文献
　Christopher Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt Deeds, Nicole Hamilton, and Gregory Hullender. “Learning to rank using gradient descent”.
pp. 89－96, 01 2005.
に詳しく記載されている。
　また、ガウス分布を用いて、
Figure JPOXMLDOC01-appb-M000001
 と定義してもよい。ここで、
Figure JPOXMLDOC01-appb-M000002
 である。
　なお、ガウス分布については、以下の文献
　「Wei Chu and Zoubin Ghahramani. Preference learning with gaussian processes.
pp. 137-144, 08 2005.」
に詳しく記載されている。
　一方、目的関数L(θ)において、正則化項Ω も任意に設定することができる。例えば、
Figure JPOXMLDOC01-appb-M000003
 に示すようなTVノルムでもよいし、単純に重みに制限を与えるものとしてL1,2ノルムなどを用いてもよい。
　（２－５）目的関数の最適化
　目的関数L(θ)の最適化には、勾配法などの任意の最適化手法が適用可能である。勾配法を利用する場合は、k 回目の最適化ステップで
　　　θk+1 ← θk －γk∇θL(θ)
の式にしたがいパラメタθを更新することを繰り返せばよい。ここで、γk は学習率パラメタを示す。目的関数L(θ) の勾配∇θL(θ) は、計算により導出した関数を用いてもよいし、数値的に計算したものであってもよい。
　なお、上記目的関数L(θ) におけるσ2 ε，σ2 α，t，σ2 β，tはノイズの分散を示し、これらは正則化項Ω の重みλ、学習率パラメタγk と共に、設定パラメタとして事前に設定される。
　（３）運用モードにおける処理動作
　上記学習モードにおけるモデルパラメタの学習が終了し、実際の運用に適用する運用モードが設定されると、サーバ装置ＳＶの制御部１は、実際に映画または音楽コンテンツを鑑賞中のユーザＵＳ１～ＵＳｎの生体データから、当該ユーザの感情や情動等を示す目的変数を推定する処理を、図５に示す処理手順に従い実行する。
　（３－１）未知の多変量時系列データの取得
　サーバ装置ＳＶの制御部１は、待受状態において、ステップＳ２１によりデータの入力を監視する。この状態で、映像または音楽コンテンツを鑑賞中のユーザＵＳ１～ＵＳｎの生体センサＳＣ１～ＳＣｎから生体データが送信されると、サーバ装置ＳＶの制御部１は、多変量時系列データ取得処理部１１の制御の下、ステップＳ２２において、上記各生体データを通信Ｉ／Ｆ部４を介して受信する。そして、受信された上記各生体データ、つまり未知の多変量時系列データを、送信元のユーザＩＤと対応付けて多変量時系列データ記憶部３１に記憶させる。
　（３－２）目的変数の推定処理
　上記未知の多変量時系列データが取得されると、サーバ装置ＳＶの制御部１は、目的変数推定処理部１５の制御の下、ステップＳ２３において、先ず上記未知の多変量時系列データを、多変量時系列データ記憶部３１から読み込み、学習モデルに入力する。次に、目的変数推定処理部１５は、上記学習モデルにおいて、モデルパラメタ記憶部３４に記憶されている学習済のモデルパラメタを用いて、上記未知の多変量時系列データに対応する目的変数を推定する。そして、推定された上記目的変数をユーザＩＤと対応付けて目的変数記憶部３５に記憶させる。
　このとき、上記学習済のモデルパラメタは、先に学習モードで述べたように、学習用多変量時系列データから得られる客観比較が可能なペアデータを教師ラベルとして用い、さらに目的関数を時系列方向に最適化処理することによりランク学習されたものである。このため、上記学習モデルから出力される目的変数は、客観評価ラベルを用いることで評価点の基準が統一され、かつ時系列方向に連続性を持った値となる。
　以後同様に目的変数推定処理部１５は、観測中に取得されるユーザＵＳ１～ＵＳｎの生体データに対し、例えば一定の時間間隔で目的変数を推定して、その結果を目的変数記憶部３５に記憶させる処理を繰り返し実行する。
　（３－３）推定結果の出力
　サーバ装置ＳＶの制御部１は、上記目的変数の推定処理を実行しながら、ステップＳ２４において推定結果の出力要求の入力を監視する。この状態で、例えばコンテンツの配信者が、配信したコンテンツに対するユーザの反応を分析するために、管理端末ＭＴの入力デバイス７において、推定結果の出力要求を入力したとする。
　そうすると、サーバ装置ＳＶの制御部１は、目的変数出力処理部１６の制御の下、ステップＳ２５において、上記目的変数記憶部３５から上記記憶された目的変数を読み出し、読み出された上記目的変数の表示データを生成する。そして、生成された上記表示データを入出力Ｉ／Ｆ部５を介して管理端末ＭＴへ出力し、表示デバイス８に表示させる。
　この結果、管理端末ＭＴの表示デバイス８には、例えば、コンテンツ鑑賞中のユーザごとに、その感情または情動の客観的な推定結果が一定の時間間隔で連続して、対象ユーザのユーザＩＤ、またはそれに対応するユーザ名と関連付けられた状態で表示される。
　なお、上記推定結果は、例えばユーザが自身のスマートフォン等の携帯端末から出力要求をサーバ装置ＳＶに送信することによっても、同様に要求元の端末に表示させることが可能である。
　（作用・効果）
　以上述べたように一実施形態では、学習モードにおいて、複数の学習用多変量時系列データを取得してこれらの多変量時系列データから客観比較が可能な複数のペアデータを抽出し、抽出された上記ペアデータを教師ラベルとして用いてランク学習を行って目的関数を時系列方向に最適化することで、学習モデルの設定パラメタを学習して学習済のモデルパラメタを生成している。そして、運用モードにおいて、鑑賞中のユーザの生体データが取得されると、この生体データを未知の多変量時系列データとして学習モデルに入力し、この学習モデルにおいて上記学習済のモデルパラメタを用いて上記生体データに対応するユーザの感情や情動を表す目的変数を推定し、その推定結果を表す表示データを出力するようにしている。
　従って、客観比較が可能なペアデータが教師ラベルとして使用されてランク学習された学習済モデルデータを用いて目的変数の推定が行われるので、主観評価ラベルにより学習されたモデルデータを用いて推定する場合に発生する、評価点の基準のバラツキを減らすことが可能となる。また、モデルパラメタを学習する際に、目的関数を時系列方向に最適化する処理が加えられる。このため、教師ラベルが時間軸方向に粗であっても目的変数を密に出力できるようになり、これにより時間軸方向に対し連続性の高い目的変数の推定結果を得ることが可能となる。
　［その他の実施形態］
　（１）前記一実施形態では、観測対象を映画や音楽を鑑賞中のユーザとし、当該ユーザの生体データをもとにユーザの感情や情動を推定する場合を例にとって説明した。しかし、この発明はこれに限るものではなく、例えば人間以外の動物または機械を観測対象とし、その行動または動作の計測データをもとに動物の感情や情動または機械の動作不良とその兆候を推定する場合にも、適用可能である。
　（２）上記一実施形態では、目的関数の最適化手法として勾配法を用いる場合を例示したが、ほかに確率的勾配法やAdam 等の任意の手法が利用できる。同様に、時系列データ推定モデルや、目的関数の正則化項についても任意のものが利用できる。
　（３）上記一実施形態では、この発明に係る目的変数推定装置の機能をサーバ装置ＳＶに備えた場合を例にとって説明した。しかし、この発明はこれに限るものではなく、例えばこの発明に係る目的変数推定装置の機能を管理端末ＭＴやユーザが所有する携帯端末などに備えるようにしてもよく、またこの発明に係る目的変数推定装置の機能をサーバ装置や端末に分散配置するように構成してもよい。さらに、この発明に係る目的変数推定装置の機能は、必要時に例えばクラウド等の上位のシステムからエッジサーバ等のローカルサーバにダウンロードしてインストールし使用するようにしてもよい。
　（４）その他、目的変数推定装置の機能構成、処理手順および処理内容、学習モデルの種類や構成、用途等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
　以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　ＳＶ…サーバ装置
　ＵＳ１～ＵＳｎ…ユーザ
　ＳＣ１～ＳＣｎ…生体センサ
　ＮＷ…ネットワーク
　ＴＭ…管理端末
　１…制御部
　２…プログラム記憶部
　３…データ記憶部
　４…通信Ｉ／Ｆ部
　５…入出力Ｉ／Ｆ部
　６…バス
　１１…多変量時系列データ取得処理部
　１２…ペアデータ取得処理部
　１３…設定パラメタ取得処理部
　１４…モデルパラメタ学習処理部
　１５…目的変数推定処理部
　１６…目的変数出力処理部
　３１…多変量時系列データ記憶部
　３２…ペアデータ記憶部
　３３…設定パラメタ記憶部
　３４…モデルパラメタ記憶部
　３５…目的変数記憶部
 

Claims (5)

  1. 　多変量時系列データを入力として絶対評価が困難な目的変数を出力する学習モデルを用いた目的変数推定装置であって、
    　異なる複数の発生元からそれぞれ発生されかつ前記目的変数と相関がある複数の学習用多変量時系列データを取得する時系列データ取得処理部と、
    　取得された前記複数の学習用多変量時系列データをもとに生成される、客観比較が可能な複数のペアデータを取得するペアデータ取得処理部と、
    　前記学習モデルに対するパラメタを設定し、取得された前記複数のペアデータを教師ラベルとしてランク学習を行って所定の目的関数を時系列方向に最適化することで、前記パラメタの学習を行うパラメタ学習処理部と、
    　未知の多変量時系列データが入力されたとき、入力された前記未知の多変量時系列データを前記学習モデルに入力し、前記学習モデルにより学習済の前記パラメタを用いて前記未知の多変量時系列データに対応する前記目的変数を推定する目的変数推定処理部と
    　を具備する目的変数推定装置。
  2. 　前記学習モデルは、過去の潜在変数と現在の前記多変量時系列データとから現在の潜在変数を得る第１の関数と、現在の前記潜在変数から現在の前記目的変数を推定する第２の関数により定義され、
    　前記目的関数は、前記ペアデータの順序関係が保持されるとき出力値が最小となる任意の関数と、前記出力値の時系列方向の変化を緩慢にすると共に前記学習モデルの前記パラメタの値を制限する関数とからなる
    　請求項１に記載の目的変数推定装置。
  3. 　前記目的関数の最適化処理には、最適化アルゴリズムとして、勾配法、確率的勾配法およびAdamのいずれかが適用される、請求項１に記載の目的変数推定装置。
  4. 　多変量時系列データを入力として絶対評価が困難な目的変数を出力する学習モデルを用いた推定装置が実行する目的変数推定方法であって、
    　異なる複数の発生元からそれぞれ発生されかつ前記目的変数と相関がある複数の学習用多変量時系列データを取得する過程と、
    　取得された前記複数の学習用多変量時系列データをもとに生成される、客観比較が可能な複数のペアデータを取得する過程と、
    　前記学習モデルに対するパラメタを設定し、取得された複数の前記ペアデータを教師ラベルとしてランク学習を行って所定の目的関数を時系列方向に最適化することで、前記パラメタの学習を行う過程と、
    　未知の多変量時系列データが入力されたとき、入力された前記未知の多変量時系列データを前記学習モデルに入力し、前記学習モデルにより学習済の前記パラメタを用いて前記未知の多変量時系列データに対応する前記目的変数を推定する過程と
    　を具備する目的変数推定方法。
  5. 　請求項１乃至３のいずれかに記載の目的変数推定装置が具備する前記各処理部の処理を、前記目的変数推定装置が備えるプロセッサに実行させるプログラム。
PCT/JP2021/030181 2021-08-18 2021-08-18 目的変数推定装置、方法およびプログラム WO2023021612A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/030181 WO2023021612A1 (ja) 2021-08-18 2021-08-18 目的変数推定装置、方法およびプログラム
JP2023542090A JPWO2023021612A1 (ja) 2021-08-18 2021-08-18

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/030181 WO2023021612A1 (ja) 2021-08-18 2021-08-18 目的変数推定装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2023021612A1 true WO2023021612A1 (ja) 2023-02-23

Family

ID=85240287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030181 WO2023021612A1 (ja) 2021-08-18 2021-08-18 目的変数推定装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2023021612A1 (ja)
WO (1) WO2023021612A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347476A1 (en) * 2018-05-09 2019-11-14 Korea Advanced Institute Of Science And Technology Method for estimating human emotions using deep psychological affect network and system therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347476A1 (en) * 2018-05-09 2019-11-14 Korea Advanced Institute Of Science And Technology Method for estimating human emotions using deep psychological affect network and system therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BURGES C, ET AL.: "Learning to Rank using Gradient Descent", MACHINE LEARNING. PROCEEDINGS OF THE INTERNATIONAL CONFERENCE., XX, XX, 7 August 2005 (2005-08-07) - 11 August 2005 (2005-08-11), XX , pages 89 - 96, XP003014729 *

Also Published As

Publication number Publication date
JPWO2023021612A1 (ja) 2023-02-23

Similar Documents

Publication Publication Date Title
Kraus Components and completion of partially observed functional data
JP6977901B2 (ja) 学習材推薦方法、学習材推薦装置および学習材推薦プログラム
CN114098730B (zh) 基于认知图谱的认知能力测试和训练方法、装置、设备和介质
US10610109B2 (en) Emotion representative image to derive health rating
JP2014228991A (ja) 情報処理装置および方法、並びにプログラム
US12087444B2 (en) Population-level gaussian processes for clinical time series forecasting
CN115862868A (zh) 心理测评系统、平台、电子设备及存储介质
Khalaf et al. Blinder Oaxaca and Wilk Neutrosophic Fuzzy Set-based IoT Sensor Communication for Remote Healthcare Analysis
Girard et al. Computational analysis of spoken language in acute psychosis and mania
JP2004240394A (ja) 話者音声解析システムおよびこれに用いるサーバ装置、話者音声の解析を利用した健康診断方法、話者音声解析プログラム
Ferrari et al. Using voice and biofeedback to predict user engagement during requirements interviews
Loeys et al. Semi‐parametric proportional hazards models with crossed random effects for psychometric response times
Stanković et al. Artificial neural network model for prediction of students’ success in learning programming
Bendell et al. Towards artificial social intelligence: Inherent features, individual differences, mental models, and theory of mind
JPWO2019146405A1 (ja) 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム
WO2023021612A1 (ja) 目的変数推定装置、方法およびプログラム
JP2011128922A (ja) 美容サポートシステム及び美容サポート方法
Tasnim et al. Investigating Personalization Techniques for Improved Cybersickness Prediction in Virtual Reality Environments
JP2013109575A (ja) メンタルケア装置、メンタルケア方法及びメンタルケアプログラム
US20210327591A1 (en) System for Efficiently Estimating and Improving Wellbeing
Sargsyan et al. Feature selection with weighted importance index in an autism spectrum disorder study
CN109475301A (zh) 用于意识水平测量的诊断系统及其方法
Gamage et al. Academic depression detection using behavioral aspects for Sri Lankan university students
CN111259695B (zh) 用于获取信息的方法及装置
JP2010022649A (ja) 指標選択装置及び方法ならびにコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21954185

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023542090

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21954185

Country of ref document: EP

Kind code of ref document: A1