WO2021059080A1 - 統計モデルの作成方法、状態推定方法、および状態推定システム - Google Patents
統計モデルの作成方法、状態推定方法、および状態推定システム Download PDFInfo
- Publication number
- WO2021059080A1 WO2021059080A1 PCT/IB2020/058539 IB2020058539W WO2021059080A1 WO 2021059080 A1 WO2021059080 A1 WO 2021059080A1 IB 2020058539 W IB2020058539 W IB 2020058539W WO 2021059080 A1 WO2021059080 A1 WO 2021059080A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- subject
- statistical model
- state
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Definitions
- One aspect of the present invention relates to a method for creating a statistical model. Moreover, one aspect of the present invention relates to a method of estimating the state of a subject. Further, one aspect of the present invention relates to a state estimation system.
- Deterioration of health is caused by the accumulation of fatigue. Fatigue can be divided into physical fatigue, mental fatigue, and neurological fatigue. Symptoms manifested by the accumulation of physical fatigue are relatively easy to notice. On the other hand, the symptoms caused by the accumulation of mental fatigue and neurological fatigue are often difficult to notice. If mental fatigue and neurological fatigue can be quantified, the condition of the subject can be objectively judged. That is, if the degree of fatigue, stress state, etc. of the subject can be estimated, the health condition of the subject can be appropriately managed.
- Patent Document 1 discloses a stress determination device that estimates the degree of stress from information about a subject. Further, Patent Document 2 discloses a stress degree evaluation device that acquires a value related to the stress degree based on a value related to the ratio of the pupil diameter to the iris diameter.
- the stress determination device disclosed in Patent Document 1 uses machine learning. Further, the stress degree evaluation device disclosed in Patent Document 2 uses a weighted value based on statistics. Individual differences are not taken into consideration in these, and if the subjects are different, there is a risk that the judgment results and evaluation results will differ.
- one aspect of the present invention is to estimate the state of the subject in consideration of individual differences.
- Another object of one aspect of the present invention is to provide a state estimation system in consideration of individual differences.
- One aspect of the present invention is a method of creating a statistical model used for estimating the state of a subject, in which the random variable is a Bernoulli distribution, the link function is a logit link function, and linear prediction is performed.
- the child is a hierarchical Bayesian model using ordinal logistic regression, which is the sum of the section, the product of the partial regression coefficients and explanatory variables, and the parameters representing individual differences.
- the method of creating a statistical model is a process of inputting a data set having a plurality of sets of data including the rate of change of the pupil area of a plurality of persons and data on the states of a plurality of persons, the prior distribution of sections, and the bias.
- the prior distribution of the regression coefficients is set to be a non-information prior distribution, and the prior distribution of the parameters representing individual differences is set to be a hierarchical prior distribution, and the posterior distribution of the sections using the Markov chain Monte Carlo method. , A step of estimating the posterior distribution of the partial regression coefficient, and the posterior distribution of the parameters representing individual differences.
- Another aspect of the present invention is a first step of estimating the state of the subject from the second data using a statistical model in which the parameters are estimated using the first data, and the subject. It is a method of estimating the state of a subject, which has a second step of outputting the result of estimating the state of the person.
- the statistical model is a hierarchical Bayesian model using ordinal logistic regression
- the first data has a plurality of sets of data including the rate of change of the pupil area of a plurality of persons and the data on the states of a plurality of persons.
- the second data includes the rate of change of the pupil area of the subject, the rate of change of the pupil area is the explanatory variable of the statistical model, and the data regarding the state is the response variable of the statistical model.
- the random variable is the Bernoulli distribution
- the link function is the logit link function
- the linear predictor is the product of the section, the partial regression coefficient and the explanatory variables, and the parameters representing individual differences. And, preferably the sum of.
- the prior distribution of the sections and the prior distribution of the partial regression coefficient are set to be non-information prior distribution, and the prior distribution of the parameters representing individual differences is set to be a hierarchical prior distribution, and Markov. It is preferred to use the chain Monte Carlo method to estimate posterior distributions of sections, partial regression coefficients, and parameters that represent individual differences.
- Another aspect of the present invention is a state estimation system having an input unit, an output unit, a calculation unit, a main storage unit, and an auxiliary storage unit.
- the input unit has a function of inputting the first data and the second data
- the calculation unit has a function of estimating the parameters of the statistical model using the first data and creating the statistical model.
- the arithmetic unit has a function of estimating the state of the target person from the second data based on the statistical model
- the output unit has a function of supplying information on the estimated state of the target person.
- the main storage unit or the auxiliary storage unit has a function of storing a statistical model
- the first data is a set of data including the rate of change of the pupil area of a plurality of persons and the data relating to the states of the plurality of persons.
- the second data includes the rate of change of the pupil area of the subject.
- the state of the subject can be estimated in consideration of individual differences. Further, according to one aspect of the present invention, it is possible to provide a state estimation system in consideration of individual differences.
- the effect of one aspect of the present invention is not limited to the effects listed above.
- the effects listed above do not preclude the existence of other effects.
- the other effects are the effects not mentioned in this item, which are described below. Effects not mentioned in this item can be derived from those described in the description, drawings, etc. by those skilled in the art, and can be appropriately extracted from these descriptions.
- one aspect of the present invention has at least one of the above-listed effects and / or other effects. Therefore, one aspect of the present invention may not have the effects listed above in some cases.
- FIGS. 1A and 1B are diagrams illustrating a hierarchical Bayesian model.
- FIG. 2 is a flow chart showing an example of a method of estimating the state of the subject.
- FIG. 3 is a flow chart showing an example of a method for estimating parameters.
- FIG. 4 is a flow chart showing an example of a method of estimating the state of the subject.
- FIG. 5 is a flow chart showing an example of a method of estimating the state of the subject.
- 6A and 6B are block diagrams showing a configuration example of a state estimation system.
- the degree of fatigue of the subject may be collectively described as the state of the subject. Therefore, the term “subject's condition” can be rephrased as “subject's fatigue level” or “subject's stress condition”. In addition, “stress state” may be paraphrased as "fatigue degree”.
- Embodiment 1 a method of estimating the state of the subject and a state estimation system will be described.
- the method of estimating the state of the target person is described as the abnormality of the target person. In other words, it is a method of detection.
- the state estimation system can be paraphrased as an abnormality detection system.
- Fatigue is felt when the autonomic nerves and hormones are out of balance and affect the brain and body. Stress is one of the causes of imbalance of autonomic nerves and hormones. In other words, stress causes the autonomic nerves and hormones to become unbalanced, leading to fatigue. From this, the imbalance of the autonomic nerves (disturbance of the autonomic nerves) is involved in fatigue and stress.
- the autonomic nerves include sympathetic nerves that become active during body activity, daytime, and tension, and parasympathetic nerves that become active during rest, night, and relaxation.
- sympathetic nerve When the sympathetic nerve becomes dominant, pupil dilation (mydriasis), promotion of heartbeat, and increase in blood pressure occur.
- pupil dilation mydriasis
- suppression of heartbeat decrease in blood pressure, drowsiness, etc. occur.
- mydriasis and miosis are known to have double control of the autonomic nerves.
- miosis delay is affected by sympathetic nerve excitement and parasympathetic nerve relaxation.
- mydriasis delay is affected by sympathetic relaxation and parasympathetic excitement.
- the parasympathetic nerve is in an excited state, miosis and mydriasis are suppressed, and the rate of change in pupil diameter or pupil area is slowed down. Therefore, when the autonomic nerves are out of balance, miosis or mydriasis is delayed, that is, the rate of change in pupil diameter or pupil area is slowed down.
- the imbalance of the autonomic nerves is related to the degree of fatigue and stress. Therefore, the state of the subject (the degree of fatigue of the subject, the stress state of the subject, etc.) can be estimated from the rate of change of the pupil diameter or the pupil area of the subject.
- the rate of change of the pupil diameter or the pupil area is treated as a numerical value. Therefore, in one aspect of the present invention, a statistical model is used to estimate the state of the subject.
- a response variable is a variable related to the result. That is, the response variable in one aspect of the present invention is the state of a plurality of subjects or the state of the subjects. The subject may be one of the plurality of subjects.
- the explanatory variables are variables related to the causative matter. That is, the explanatory variable in one aspect of the present invention is the rate of change of the pupil diameter or the pupil area.
- the pupil area is proportional to the square of the pupil diameter. Therefore, it is easier to observe or acquire the transition of the change rate of the pupil area as compared with the change rate of the pupil diameter.
- the rate of change in the pupil area will be used as an explanatory variable.
- the rate of change in the pupil area can be rephrased as the rate of change in the pupil diameter.
- the explanatory variables are not limited to the rate of change in the pupil area, and may be a combination of the rate of change in the pupil area and any one or more of changes over time such as heartbeat or pulse, blood pressure, body temperature, blinking, and posture. Good.
- a questionnaire regarding the condition of the subject may be obtained and combined with these.
- the time-dependent change of blinking refers to the time-dependent change of the blinking time interval, the time-dependent change of the time required for one blinking, and the like.
- the rate of change in the pupil area is defined as the degree of change in the pupil area before and after giving a stimulus that changes the condition of the subject or the subject.
- the pupil area before the stimulus is applied is defined as the maximum pupil area
- the pupil area after the stimulus is applied is defined as the minimum pupil area.
- the rate of change of the pupil area is defined as the difference between the maximum pupil area and the minimum pupil area with respect to the time required to change from the maximum pupil area to the minimum pupil area. That is, the rate of change of the pupil area corresponds to the inclination when changing from the maximum pupil area to the minimum pupil area.
- the maximum pupil area may be defined as the average value of the pupil area in a certain period before the stimulus is given.
- the minimum pupil area may be defined as the average value of the pupil area in a certain period after the stimulus is given.
- the self-evaluation of the subject's condition is obtained by a method such as a questionnaire.
- Questionnaire surveys regarding the condition of subjects are generally measured using an interval scale or an ordinal scale.
- the data measured by the interval scale is quantitative data
- the data measured by the ordinal scale is qualitative data.
- the stress status survey is conducted on a two-point scale of "feeling stress” and "not feeling stress”.
- the evaluation is performed on a three-point scale of "very stressed”, “slightly stressed”, and “not stressed”.
- the evaluation is not limited to these, and may be performed by a multi-stage evaluation of 4 or more stages.
- the subject's condition is discrete data because it is measured by an ordinal scale or an interval scale.
- data about the subject's condition is represented by a non-negative integer. That is, the data regarding the state of the subject is count data.
- the data on the subject's condition is in a finite range.
- Individual differences include, for example, the ratio of the black eye region to the white eye region, the ratio of the pupil area to the black eye region, and the difference in the rate of change of the pupil area with respect to stress.
- Individual differences are factors that are independent of the subject's condition. That is, individual differences are presumed to be a random effect. Therefore, in order to consider individual differences in estimating the state of the subject, it is preferable to use a statistical model that can consider the random effect.
- the generalized linear mixed model is a statistical analysis model that is an extension of the generalized linear model (GLM).
- the generalized linear mixed model is a statistical model that can consider random effects in addition to fixed effects.
- the generalized linear mixed model is a statistical model that specifies a probability distribution, a linear predictor, and a link function.
- the probability distribution is a correspondence between the value of a random variable and its appearance probability.
- a linear predictor is an expression represented by a linear combination of parameters and explanatory variables.
- the link function is a function that derives a linear predictor. The link function is often automatically determined by determining the probability distribution.
- the data regarding the state of the subject is acquired as count data in a finite range. Therefore, it is preferable to use logistic regression as a statistical model used for estimating the state of the subject.
- logistic regression is a preferred technique when the response variables are ordinal or interval scale data of three or more classifications.
- the Bernoulli distribution is used as the probability distribution as the ordinal logistic regression.
- a logit link function is used as the link function.
- the linear predictor is the sum of the intercept, the product of the explanatory variables and the partial regression coefficients, and the parameters representing individual differences.
- the linear predictor is the sum of the intercept, the product of the explanatory variables and the partial regression coefficients, the parameters representing individual differences, and the parameters representing environmental differences.
- the intercept, the partial regression coefficient, the parameter representing the individual difference, and the parameter representing the environmental difference are the parameters of the statistical model.
- the intercept and the partial regression coefficient may be simply referred to as parameters.
- Methods for estimating parameters of statistical models include maximum likelihood estimation, maximum posteriori probability estimation, and Bayesian estimation.
- the parameter estimation of maximum likelihood estimation and maximum posteriori probability estimation is point estimation.
- Bayesian estimation which estimates the probability distribution of the parameters of the statistical model, is used instead of point estimation of the parameters of the statistical model. preferable.
- Bayesian estimation also called Bayesian statistical model
- Bayesian statistical model is a statistical model with a structure in which the posterior distribution is proportional to the product of the likelihood and the prior distribution.
- the probability distribution of the parameter to be estimated is obtained as the posterior distribution.
- the posterior distribution in Bayesian estimation may be difficult to obtain analytically. If not analytically, the posterior distribution in Bayesian inference can be calculated numerically. For example, numerical integration or the Markov Chain Monte Carlo (MCMC) method may be used. Further, as the algorithm of the MCMC method, the metropolis method, the Gibbs sampling method, or the like may be used.
- MCMC Markov Chain Monte Carlo
- the intercept and the partial regression coefficient are parameters that explain the entire data globally.
- the parameters that represent individual differences and the parameters that represent environmental differences are local parameters that explain only a small part of the data.
- Global parameters are estimated using a non-information prior distribution.
- Local parameters are estimated by specifying a hierarchical prior distribution.
- the parameters of the statistical model of the present embodiment include at least parameters representing individual differences. Therefore, in the Bayesian statistical model of the present embodiment, it is preferable to use a hierarchical prior distribution.
- a Bayesian model that uses a hierarchical Bayesian distribution is also called a hierarchical Bayesian model.
- FIG. 1A is a diagram showing a hierarchical Bayes model, which is a statistical model according to one aspect of the present invention.
- ordinal logistic regression is used as the hierarchical Bayesian model 100.
- the Bernoulli distribution is used as the probability distribution and the logit link function is used as the link function.
- the linear predictor is the sum of the intercept 101, the product of the partial regression coefficient 102 and the explanatory variables, and the parameter 103 representing individual differences.
- the explanatory variable 111 be the rate of change of the pupil area. That is, there is only one explanatory variable.
- the response variable 112 is set as a stress state (data classified into three) evaluated in three stages. For example, "very stressed” is referred to as grade 3, "slightly stressed” is referred to as grade 2, and “not stressed” is referred to as grade 1.
- N sets (N is a positive integer) of data related to the rate of change in the pupil area of a plurality of persons and the stress state of the plurality of persons are prepared.
- the plurality of persons are the plurality of subjects described above.
- the target person may be included in the plurality of persons.
- the number of the plurality of persons is preferably 2 or more.
- it is preferable that the number of the plurality of persons is N or less.
- the plurality of persons may be referred to as a subject or a plurality of subjects.
- q i and 1 are the probabilities that the i-th data (i is an integer of 1 or more and N or less) becomes grade 2 or grade 3.
- ⁇ i, 1 is a logit of q i, 1.
- ⁇ 01, ⁇ 1, r i is a parameter.
- ⁇ 01 is the intercept.
- ⁇ 1 is a partial regression coefficient.
- r i is a parameter representing the individual differences.
- x i is the i-th explanatory variable, a rate of change of pupil size with the i-th data.
- Y 1 data Y indicating the stress state of where the data indicating the grade 1 Y 1 0, data indicative of grade 2 or grade 3 to 1.
- q i and 2 are the probabilities that the i-th data becomes grade 3.
- ⁇ i, 2 is a logit of q i, 2.
- ⁇ 02, ⁇ 1, r i is a parameter.
- ⁇ 02 is the intercept.
- parameters other than beta 02 is the same as the beta 1, and r i described above.
- the data Y indicating the stress state of a Y 2 the data indicative of the Y 2 in Grade 1 or Grade 2 0, data indicative of the grade 3 to 1.
- the probability that the i-th data will be grade 1 is 1-q i, 1
- the probability that the i-th data will be grade 2 is q i, 1 ⁇ q i, 2 .
- the posterior distribution of the hierarchical Bayesian model is proportional to the product of the likelihood and the prior distribution. Further, the parameters ⁇ 0k and ⁇ 1 are fixed effects, and the parameters r i are random effects. Therefore, the following relationship holds.
- the left side is the posterior distribution, when data Y 1 or the data Y 2 is given a beta 0k, the probability distribution of the beta 1, s, and r i.
- the p ( ⁇ 0k ) and p ( ⁇ 1 ) on the right side are prior distributions of the intercept ⁇ 0 k and the partial regression coefficient ⁇ 1, respectively.
- p ( ⁇ 0k ) and p ( ⁇ 1 ) are set to have no information prior distribution.
- s) is set to be a hierarchical prior distribution.
- the prior distribution of r i are all the following the normal distribution of standard deviation s by an average zero.
- s may be called a hyperparameter.
- p (s) may be called a super prior distribution.
- p (s) is set to have no information prior distribution.
- the parameter beta 0k (k is 1 or 2), it can be estimated beta 1, s, and r i.
- a statistical model for estimating which grade is likely to be classified from the explanatory variables will be created.
- the rate of change of pupil size input to the explanatory variables also, beta 0k, using the mean of the posterior distribution of the beta 1, r i, comprising the probability of a Grade 1, the probability of a grade 2, and grade 3 probability are calculated respectively. By comparing these probabilities, it is possible to estimate which grade the fatigue degree at the input rate of change of the pupil area has the highest probability.
- the linear predictor the parameters e j representing environmental difference (j is a positive integer.) May be added. This makes it possible to estimate the stress state in consideration of not only individual differences but also environmental differences.
- the prior distribution of e j shall be either follows a normal distribution with a standard deviation s p zero mean.
- p (s p) is set to be a non-informative prior distribution.
- the response variable is the stress state evaluated in the (m + 1) stage (m is 3 or more).
- the data is classified into (m + 1) pieces.
- parameter, beta 01 to beta 0 m, beta 1, s, is a r i. Therefore, by estimating these parameters, it is possible to create a statistical model for estimating the stress state from the explanatory variables.
- the condition of the target person can be estimated in consideration of individual differences.
- a hierarchical Bayesian model is used as a statistical model for estimating the state of the subject.
- ordinal logistic regression it is preferable to use ordinal logistic regression as a statistical model.
- a Bernoulli distribution is used as a random variable and a logit link function is used as a link function.
- the linear predictor is the sum of the intercept, the product of the explanatory variables and the partial regression coefficients, and the parameters representing individual differences.
- the intercept and the partial regression coefficient are also parameters.
- FIG. 2 is a flow chart showing an example of a method of estimating the state of the subject.
- the method of estimating the state of the subject includes steps S001 to S005 shown in FIG.
- Step S001 is a step of inputting the first data.
- the first data includes a plurality of sets (data sets) of data regarding the rate of change of the pupil area of the subject and the state of the subject. It is preferable that there are a plurality of subjects.
- the subject may include the subject.
- the data regarding the state of the subject is the degree of fatigue of the subject, the stress state (or stress index) of the subject, and the like.
- the first data may include one or more data of the subject's heartbeat or pulse, blood pressure, body temperature, blinking, posture, and other changes over time.
- the condition of the target person is estimated in consideration of individual differences. Therefore, it is preferable that an ID indicating a subject is assigned to each of the data sets included in the first data.
- an ID indicating the subject and an ID indicating the measurement environment are assigned to each of the data sets included in the first data. Is preferable.
- Step S002 is a step of estimating the parameters included in the statistical model.
- a statistical model for estimating the state of the subject can be created.
- parameter estimation can be rephrased as creating a statistical model.
- Step S002 includes steps S101 and S102.
- the rate of change in pupil area is used as the explanatory variable of the statistical model, and the data related to the condition of the subject is used as the response variable of the statistical model.
- the first data includes any one or more data of the subject's heartbeat or pulse, blood pressure, body temperature, blinking, posture, and other changes over time, these data are used as explanatory variables of the statistical model. You may use it.
- Step S101 is a step of setting the prior distribution of parameters. Since the intercept and the partial regression coefficient are individual effects, the prior distribution of the intercept and the prior distribution of the partial regression coefficient are set to be non-information prior distributions. Further, since the parameter representing the individual difference is a random effect, the prior distribution of the parameter representing the individual difference is set to be a hierarchical prior distribution.
- Step S102 is a step of estimating the posterior distribution of the parameters. It is preferable to use the MCMC method for estimating the posterior distribution of parameters.
- step S002 step S101 and step S102
- the parameters included in the statistical model can be estimated. This makes it possible to create a statistical model.
- step S002 The above is a detailed explanation of step S002.
- Step S003 is a step of inputting the second data.
- the second data needs to include the explanatory variables of the first data. That is, the second data includes at least the rate of change of the pupil area of the subject.
- the condition of the target person is estimated in consideration of individual differences. Therefore, it is preferable that an ID indicating the target person is assigned to the second data. Further, when estimating the state of the target person in consideration of individual differences and environmental differences, it is preferable that an ID indicating the target person and an ID indicating the measurement environment are assigned to the second data.
- Step S004 is a step of estimating the state of the subject from the rate of change of the pupil area included in the second data.
- the statistical model created in step S002 is used to estimate the state of the subject.
- Step S005 is a step of supplying information.
- the information is information about the state of the subject estimated in step S004.
- the information is supplied as, for example, visual information such as character strings, numerical values, graphs, and colors, and auditory information such as voice and music.
- step S004 If it is determined that the state of the subject estimated in step S004 is normal or not abnormal, the above information may not be supplied. At this time, it may be completed after step S004 is completed. Further, when the state of the target person is estimated in the (m + 1) stage (m is 3 or more), the stage in which the above information is not supplied may be specified in advance.
- the procedure of the method of estimating the state of the target person is not limited to the above.
- the state of the subject may be estimated by the flow shown in FIG. 4 or FIG.
- FIG. 4 is a flow chart showing another example of the method of estimating the state of the subject.
- the method of estimating the state of the subject may include steps S011 to S017 shown in FIG.
- Step S011 is a step of inputting the first data.
- the first data includes a plurality of sets of data regarding the time-series changes in the pupil area of the subject and the state of the subject. It is preferable that there are a plurality of subjects.
- the subject may include the subject.
- the first data may include one or more data of the subject's heartbeat or pulse, blood pressure, body temperature, blinking, posture, and other changes over time.
- Step S012 is a step of calculating the rate of change of the pupil area from the time-series change of the pupil area included in the first data. If the first data includes any one or more data of changes over time such as heartbeat or pulse, blood pressure, body temperature, blinking, and posture, the rate of these changes may be calculated.
- Step S013 is a step of estimating the parameters included in the statistical model. Step S013 is the same step as step S002. Therefore, step S013 has step S101 and step S102 shown in FIG.
- the description of step S013 can refer to the description of step S002, step S101, and step S102.
- step S013 the parameters included in the statistical model can be estimated. This makes it possible to create a statistical model.
- Step S014 is a step of inputting the second data.
- the second data needs to include the data contained in the first data. That is, the second data includes at least a time-series change in the pupil area of the subject. If the second data includes the rate of change in the pupil area of the subject, step S015, which will be described next, may be omitted.
- Step S015 is a step of calculating the rate of change of the pupil area from the time-series change of the pupil area included in the second data. If the second data includes any one or more data of changes over time such as heartbeat or pulse, blood pressure, body temperature, blinking, and posture of the subject, even if the rate of these changes is calculated. Good.
- Step S016 is a step of estimating the state of the subject from the rate of change of the pupil area calculated in step S015.
- the statistical model created in step S013 is used to estimate the state of the subject.
- Step S017 is a step of supplying information.
- the information is information about the state of the subject estimated in step S016.
- the information is supplied as, for example, visual information such as character strings, numerical values, graphs, and colors, and auditory information such as voice and music.
- FIG. 5 is a flow chart showing another example of the method of estimating the state of the subject.
- the method of estimating the state of the subject may include steps S021 to S029 shown in FIG.
- Step S021 is a step of inputting the first data.
- the first data includes a plurality of sets of data relating to the moving image and the condition of the subject.
- the moving image indicates a set of images having two or more frames.
- the moving image includes the eyes of the subject as the subject. It is preferable that there are a plurality of subjects.
- the subject may include the subject.
- the moving image may be captured by using an imaging device, or may be captured by an imaging unit included in a state estimation system described later.
- the first data may include one or more data of the subject's heartbeat or pulse, blood pressure, body temperature, blinking, posture, and other changes over time.
- Step S022 is a step of detecting the pupil from the moving image included in the first data. That is, it is a step of detecting the pupil from a moving image in which the subject's eyes are included as the subject.
- the first object is detected from the images included in the moving image.
- the first object is, for example, an eye. If the image contains both eyes, only one eye is detected.
- the second object is detected from the first object.
- the second object is, for example, a pupil.
- the pupil can be detected from the eye by circular extraction. From the above, the pupil can be detected from the moving image included in the first data.
- image processing may be performed in step S022.
- image processing for example, noise removal, grayscale conversion, normalization, contrast adjustment, and the like may be performed.
- the pupil can be detected with high accuracy.
- machine learning should be performed.
- machine learning may be performed using a neural network.
- the pupil can be detected in a shorter time than, for example, when a person visually detects the pupil. Further, for example, even if the surrounding landscape is reflected in the pupil, the position of the pupil and the boundary between the pupil and the iris can be detected with high accuracy.
- Step S023 is a step of calculating the rate of change of the pupil area from the pupil detected in step S022.
- the area of the second object is calculated.
- the pupil area can be calculated for each image included in the moving image. That is, it is possible to acquire the time-series change of the pupil area.
- the rate of change in the pupil area is calculated from the time-series changes in the pupil area. From the above steps, the rate of change in the pupil area can be calculated from the moving image in which the subject's eyes are included as the subject.
- the rate of these changes may be calculated. ..
- Step S024 is a step of estimating the parameters included in the statistical model. Step S024 is the same step as step S002. Therefore, step S024 includes steps S101 and S102 shown in FIG. The description of step S024 can refer to the description of step S002, step S101, and step S102.
- step S024 the parameters included in the statistical model can be estimated. This makes it possible to create a statistical model.
- Step S025 is a step of inputting the second data.
- the second data needs to include the data contained in the first data. That is, the second data includes at least a moving image including one eye of the subject as a subject. It is preferable that the moving image is taken by an imaging unit included in the state estimation system described later. If the second data includes the rate of change in the pupil area of the subject, steps S026 and S027 described below may be omitted.
- Step S026 is a step of detecting the pupil from the moving image included in the second data. That is, it is a process of detecting the pupil from the moving image including the eyes of the subject as the subject. Since step S026 is the same process as step S022, the description of step S026 can take into account the description of step S022.
- Step S027 is a step of calculating the rate of change of the pupil area from the pupil detected in step S026. Since step S027 is the same process as step S023, the description of step S027 can be taken into consideration with the description of step S023.
- the second data includes any one or more data of changes over time such as heartbeat or pulse, blood pressure, body temperature, blinking, and posture of the subject, even if the rate of these changes is calculated. Good.
- Step S028 is a step of estimating the state of the subject from the rate of change of the pupil area calculated in step S027.
- the statistical model created in step S024 is used to estimate the state of the subject.
- Step S029 is a step of supplying information.
- the information is information about the state of the subject estimated in step S028.
- the information is supplied as, for example, visual information such as character strings, numerical values, graphs, and colors, and auditory information such as voice and music.
- the state of the target person can be constantly estimated, so that the health state of the target person can be constantly managed.
- the abnormality of the subject can be detected, so that the health state of the subject can be constantly managed.
- the method of estimating the state of the target person may be a combination of the above steps.
- the state of the target person may be estimated by performing step S011, step S012, step S013, step S025, step S026, step S027, step S028, and step S029 in this order.
- the state of the target person can be estimated at all times, so that the health state of the target person can be constantly managed.
- the amount of time-series change in the pupil area is smaller than the amount of moving image data, the state of the subject can be estimated with high accuracy even with a small amount of data. Therefore, the amount of data stored in the storage unit (main storage unit or auxiliary storage unit) of the state estimation system described later can be reduced.
- FIG. 6A is a block diagram showing a configuration example of the state estimation system 10, which is a state estimation system of one aspect of the present invention.
- the state estimation system 10 includes an information processing device 20.
- the information processing device 20 includes an input unit 21, an output unit 22, a calculation unit 23, a main storage unit 24, and an auxiliary storage unit 25. Data and the like can be transmitted between the components of the information processing apparatus 20 via the transmission line 27.
- the input unit 21 has a function of inputting data.
- the input unit 21 includes an input device such as a keyboard and a mouse.
- the output unit 22 has a function of supplying information.
- the calculation unit 23 has a function of performing calculation processing.
- the calculation unit 23 has a function of performing a predetermined calculation process on the data transmitted from the input unit 21, the main storage unit 24, the auxiliary storage unit 25, and the like to the calculation unit 23 via the transmission line 27, for example.
- the calculation unit 23 has a function of estimating parameters and a function of estimating the state of the target person.
- the calculation unit 23 may have a function of processing an image included in the moving image, a function of calculating the pupil area from the image, a function of calculating the change speed of the pupil area from the time-series change of the pupil area, and the like.
- the calculation unit 23 can have, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like.
- the main storage unit 24 has a function of storing data, programs, and the like.
- the calculation unit 23 can read the data stored in the main storage unit 24, a program, and the like, and execute the calculation process. For example, the calculation unit 23 can execute a predetermined calculation process on the data read from the main storage unit 24 by executing the program read from the main storage unit 24.
- the main storage unit 24 preferably operates at a higher speed than the auxiliary storage unit 25.
- the main storage unit 24 can have, for example, a DRAM (Dynamic Random Access Memory), a SRAM (Static Random Access Memory), or the like.
- the auxiliary storage unit 25 has a function of storing data, programs, and the like for a longer period of time than the main storage unit 24.
- the auxiliary storage unit 25 may have, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.
- the auxiliary storage unit 25 includes ReRAM (Resistive Random Access Memory, also referred to as resistance change type memory), PRAM (Phase change Random Access Memory), FeRAM (Random Highway Memory Memory, Resistance Memory Access Memory), FeRAM (Random Highway Memory Access Memory), and FeRAM (Random High Speed Memory). It may also have a non-volatile memory such as (also referred to as a memory) or a flash memory.
- the statistical model created by estimating the parameters is stored in the auxiliary storage unit 25.
- the statistical model may be stored in the main storage unit 24.
- the information processing device 20 can be provided in an information terminal such as a smartphone, a tablet, or a personal computer, for example.
- the information processing device 20 may have an imaging unit in addition to the above.
- the imaging unit has a function of performing imaging and acquiring imaging data.
- the configuration of the state estimation system 10 is not limited to the above.
- the state estimation system 10 may have an information processing device 30 in addition to the information processing device 20.
- the information processing device 20 has a communication unit 26 in addition to an input unit 21, an output unit 22, a calculation unit 23, a main storage unit 24, and an auxiliary storage unit 25.
- the above description can be taken into consideration for the description of the information processing device 20 and the components of the information processing device 20.
- the communication unit 26 has a function of transmitting and receiving data and the like to a device and the like provided outside the information processing device 20. Further, the communication unit 26 can have a function of supplying data or the like to the network and a function of acquiring data or the like from the network.
- the calculation unit 23 performs a predetermined calculation process on the data transmitted from the input unit 21, the main storage unit 24, the auxiliary storage unit 25, the communication unit 26, and the like to the calculation unit 23 via the transmission line 27, for example. Has a function.
- the information processing device 30 includes an input unit 31, an output unit 32, a calculation unit 33, a main storage unit 34, an auxiliary storage unit 35, and a communication unit 36. Data and the like can be transmitted between the components of the information processing apparatus 30 via the transmission line 37.
- the input unit 31 has a function of inputting data.
- the input unit 31 includes an input device such as a keyboard and a mouse.
- the output unit 32 has a function of supplying information.
- the calculation unit 33 has a function of performing calculation processing.
- the calculation unit 33 has a function of performing predetermined calculation processing on data transmitted from, for example, an input unit 31, a main storage unit 34, an auxiliary storage unit 35, a communication unit 36, etc. to the calculation unit 33 via a transmission line 37.
- the calculation unit 33 has a function of estimating parameters and a function of estimating the state of the target person.
- the calculation unit 33 may have a function of processing an image included in the moving image, a function of calculating the pupil area from the image, a function of calculating the change speed of the pupil area from the time-series change of the pupil area, and the like.
- the calculation unit 33 may have, for example, a CPU, a GPU, and the like.
- the main storage unit 34 has a function of storing data, programs, and the like.
- the calculation unit 33 can read the data stored in the main storage unit 34, a program, and the like, and execute the calculation process. For example, the calculation unit 33 can execute a predetermined calculation process on the data read from the main storage unit 34 by executing the program read from the main storage unit 34.
- the main storage unit 34 preferably operates at a higher speed than the auxiliary storage unit 35.
- the main storage unit 34 may have, for example, a DRAM, an SRAM, or the like.
- the auxiliary storage unit 35 has a function of storing data, programs, and the like for a longer period of time than the main storage unit 34.
- the auxiliary storage unit 35 may have, for example, an HDD, an SSD, or the like. Further, the auxiliary storage unit 35 may have a non-volatile memory such as ReRAM, PRAM, FeRAM, MRAM, or a flash memory.
- the statistical model created by estimating the parameters is stored in the auxiliary storage unit 35.
- the statistical model may be stored in the main storage unit 34.
- the communication unit 36 has a function of transmitting and receiving data and the like to a device and the like provided outside the information processing device 30. For example, by supplying data or the like from the communication unit 26 to the communication unit 36, the information processing device 20 can supply the data or the like to the information processing device 30. Further, the communication unit 36 can have a function of supplying data or the like to the network and a function of acquiring data or the like from the network.
- the calculation unit 23 and the calculation unit 33 have a function of estimating the state of the target person, for example, the calculation unit 23 creates a statistical model, and the created statistical model is transmitted from the information processing device 20 to the information processing device 30. Can be supplied.
- the arithmetic unit 33 provided in the information processing apparatus 30 does not create a statistical model, the target person is based on the statistical model created by the arithmetic unit 23 for the data input to the arithmetic unit 33. The state of can be estimated. Therefore, the arithmetic processing capacity of the arithmetic unit 33 can be made lower than that of the arithmetic unit 23.
- the information processing device 20 can be provided in, for example, a server.
- the information processing device 20 does not have to be provided with the input unit 21 and the output unit 22. That is, the input unit 21 and the output unit 22 may be provided outside the information processing device 20.
- the information processing device 30 can be provided in an information terminal such as a smartphone, a tablet, or a personal computer. Further, at least a part of the components of the information processing device 20 and at least a part of the components of the information processing device 30 may be provided in the server.
- the calculation unit 23 and the calculation unit 33 may be provided in the server. In this case, for example, the data acquired by the information terminal is supplied to the calculation unit 33 via the network, and the calculation unit 33 provided in the server estimates the data. Then, by supplying the estimation result to the information terminal via the network, the information terminal can acquire the estimation result.
- the information processing device 30 may have an imaging unit in addition to the above.
- the imaging unit has a function of performing imaging and acquiring imaging data.
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Mathematical Optimization (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
Abstract
個人差を考慮して、対象者の状態を推定する方法を提供する。 複数の人物の瞳孔面積の変化速度と、複数の人物の状態に関するデータと、を含むデータの組を複数有する第1のデータから、パラメータの推定が行われた統計モデルを用いて、対象者の瞳孔面積の変化速度を含む第2のデータから、対象者の状態を推定するステップと、対象者の状態を推定した結果を出力するステップと、を有する。なお、統計モデルは、線形予測子が、切片と、偏回帰係数および説明変数の積と、個人差をあらわすパラメータと、の和である、順序ロジスティック回帰を用いた階層ベイズモデルである。
Description
本発明の一態様は、統計モデルの作成方法に関する。また、本発明の一態様は、対象者の状態を推定する方法に関する。また、本発明の一態様は、状態推定システムに関する。
健康状態の適切な管理は、重要な課題である。健康状態の悪化は、疲労の蓄積により引き起こされる。疲労は、身体的疲労と、精神的疲労と、神経的疲労と、に分けることができる。身体的疲労の蓄積により現れる症状は、比較的自覚しやすい。一方、精神的疲労や神経的疲労の蓄積により現れる症状は、自覚しにくいことが多い。精神的疲労や神経的疲労を数値化することができれば、対象者の状態を客観的に判断することができる。つまり、対象者の疲労度、ストレス状態などを推定することができれば、対象者の健康状態の適切な管理を行うことができる。
近年、機械学習などを用いて、ストレス状態を推定する方法が注目されている。特許文献1では、対象者に関する情報からストレスの程度を推定するストレス判定装置が開示されている。また特許文献2では、虹彩径に対する瞳孔径の割合に関する値に基づいてストレス度に関する値を取得するストレス度評価装置が開示されている。
特許文献1に開示されているストレス判定装置では、機械学習を用いている。また、特許文献2に開示されているストレス度評価装置は、統計に基づいた重み付け値を用いている。これらは個人差が考慮されておらず、対象者が異なると、判定結果や評価結果に違いがでる恐れがある。
そこで、本発明の一態様は、個人差を考慮して、対象者の状態を推定することを課題の一とする。また、本発明の一態様は、個人差を考慮した状態推定システムを提供することを課題の一とする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
本発明の一態様は、対象者の状態を推定するために使用する統計モデルの作成方法であって、統計モデルは、確率変数がベルヌーイ分布であり、リンク関数がロジットリンク関数であり、線形予測子が、切片と、偏回帰係数および説明変数の積と、個人差をあらわすパラメータと、の和である、順序ロジスティック回帰を用いた階層ベイズモデルである。統計モデルの作成方法は、複数の人物の瞳孔面積の変化速度と、複数の人物の状態に関するデータと、を含むデータの組を複数有するデータセットを入力する工程と、切片の事前分布、および偏回帰係数の事前分布は、無情報事前分布であると設定し、個人差をあらわすパラメータの事前分布は、階層事前分布であると設定する工程と、マルコフ連鎖モンテカルロ法を使って、切片の事後分布、偏回帰係数の事後分布、および個人差をあらわすパラメータの事後分布を推定する工程と、を有する。
本発明の他の一態様は、第1のデータを用いてパラメータの推定が行われた統計モデルを用いて、第2のデータから、対象者の状態の推定を行う第1のステップと、対象者の状態の推定の結果を出力する第2のステップと、を有する、対象者の状態を推定する方法である。統計モデルは、順序ロジスティック回帰を用いた階層ベイズモデルであり、第1のデータは、複数の人物の瞳孔面積の変化速度と、複数の人物の状態に関するデータと、を含むデータの組を複数有し、第2のデータは、対象者の瞳孔面積の変化速度を含み、瞳孔面積の変化速度は、統計モデルの説明変数であり、状態に関するデータは、統計モデルの応答変数である。
上記方法の順序ロジスティック回帰において、確率変数は、ベルヌーイ分布であり、リンク関数は、ロジットリンク関数であり、線形予測子は、切片と、偏回帰係数および説明変数の積と、個人差をあらわすパラメータと、の和であることが好ましい。
また、上記方法において、切片の事前分布、および偏回帰係数の事前分布は、無情報事前分布であると設定し、個人差をあらわすパラメータの事前分布は、階層事前分布であると設定し、マルコフ連鎖モンテカルロ法を使って、切片、偏回帰係数、および個人差をあらわすパラメータの事後分布を推定することが好ましい。
本発明の他の一態様は、入力部と、出力部と、演算部と、主記憶部と、補助記憶部と、を有する状態推定システムである。入力部は、第1のデータおよび第2のデータを入力する機能を有し、演算部は、第1のデータを用いて統計モデルのパラメータの推定を行い、統計モデルを作成する機能を有し、演算部は、統計モデルを基に、第2のデータから、対象者の状態を推定する機能を有し、出力部は、推定された対象者の状態に関する情報を供給する機能を有し、主記憶部または補助記憶部は、統計モデルを格納する機能を有し、第1のデータは、複数の人物の瞳孔面積の変化速度と、複数の人物の状態に関するデータと、を含むデータの組を複数含み、第2のデータは、対象者の瞳孔面積の変化速度を含む。
本発明の一態様により、個人差を考慮して、対象者の状態を推定することができる。また、本発明の一態様により、個人差を考慮した状態推定システムを提供することができる。
なお、本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお、他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば、明細書、図面などの記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び/又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
図1A、図1Bは、階層ベイズモデルを説明する図である。
図2は、対象者の状態を推定する方法の一例を示すフロー図である。
図3は、パラメータを推定する方法の一例を示すフロー図である。
図4は、対象者の状態を推定する方法の一例を示すフロー図である。
図5は、対象者の状態を推定する方法の一例を示すフロー図である。
図6A、図6Bは、状態推定システムの構成例を示すブロック図である。
図2は、対象者の状態を推定する方法の一例を示すフロー図である。
図3は、パラメータを推定する方法の一例を示すフロー図である。
図4は、対象者の状態を推定する方法の一例を示すフロー図である。
図5は、対象者の状態を推定する方法の一例を示すフロー図である。
図6A、図6Bは、状態推定システムの構成例を示すブロック図である。
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。
また、本明細書にて用いる「第1」、「第2」、「第3」という序数詞は、構成要素の混同を避けるために付したものであり、数的に限定するものではないことを付記する。
本明細書では、対象者の疲労度、対象者のストレス状態などをまとめて、対象者の状態と記載する場合がある。よって、「対象者の状態」という用語を、「対象者の疲労度」または「対象者のストレス状態」と言い換えることができる。また、「ストレス状態」を「疲労度」と言い換えることができる場合がある。
(実施の形態1)
本実施の形態では、対象者の状態を推定する方法、および状態推定システムについて説明する。なお、本実施の形態で説明する対象者の状態を推定する方法を用いることで、対象者の異常を検出することができるため、当該対象者の状態を推定する方法を、対象者の異常を検出する方法と言い換えることもできる。また、本実施の形態で説明する状態推定システムを用いることで、対象者の異常を検出することができるため、当該状態推定システムを、異常検出システムと言い換えることもできる。
本実施の形態では、対象者の状態を推定する方法、および状態推定システムについて説明する。なお、本実施の形態で説明する対象者の状態を推定する方法を用いることで、対象者の異常を検出することができるため、当該対象者の状態を推定する方法を、対象者の異常を検出する方法と言い換えることもできる。また、本実施の形態で説明する状態推定システムを用いることで、対象者の異常を検出することができるため、当該状態推定システムを、異常検出システムと言い換えることもできる。
<対象者の状態を推定する方法>
はじめに、対象者の状態を推定する方法について説明する。
はじめに、対象者の状態を推定する方法について説明する。
疲労は、自律神経やホルモンのバランスが崩れ、脳や身体に影響することで感じる。自律神経やホルモンのバランスが崩れる原因の一つとして、ストレスが挙げられる。つまり、ストレスによって、自律神経やホルモンのバランスが崩れ、疲労につながる。このことから、疲労やストレスには、自律神経のバランスの崩れ(自律神経の乱れ)がかかわっている。
自律神経には、体の活動時、昼間、緊張時に活発になる交感神経と、安静時、夜間、リラックス時に活発になる副交感神経がある。交感神経が優位に立つと、瞳孔の拡大(散瞳)、心臓拍動の促進、血圧の上昇などが起こる。他方、副交感神経が優位に立つと、瞳孔の縮小(縮瞳)、心臓拍動の抑制、血圧の低下、眠気などが起こる。
特に、散瞳および縮瞳は、自律神経の二重支配となっていることが知られている。例えば、縮瞳の遅延は、交感神経の興奮、および副交感神経の弛緩に影響される。また、例えば、散瞳の遅延は、交感神経の弛緩、および副交感神経の興奮に影響される。特に、副交感神経が興奮状態にあるとき、縮瞳および散瞳が抑制され、瞳孔径または瞳孔面積の変化速度は遅くなる。したがって、自律神経のバランスが崩れると、縮瞳または散瞳の遅延、すなわち、瞳孔径または瞳孔面積の変化速度が遅くなる。
上述したように、自律神経のバランスの崩れは、疲労度やストレス状態とかかわっている。よって、対象者の瞳孔径または瞳孔面積の変化速度から、対象者の状態(対象者の疲労度、対象者のストレス状態など)を推定することができる。なお、瞳孔径または瞳孔面積の変化速度は、数値として取り扱われる。そこで、本発明の一態様では、対象者の状態を推定するのに、統計モデルを用いる。
統計モデルにおいて、説明変数および応答変数の設定が重要である。応答変数とは、結果となる事柄に関する変数である。つまり、本発明の一態様における応答変数は、複数の被験者の状態または対象者の状態である。なお、当該対象者は、当該複数の被験者の一人であってもよい。また、説明変数は、原因となる事柄に関する変数である。つまり、本発明の一態様における説明変数は、瞳孔径または瞳孔面積の変化速度である。
瞳孔面積は、瞳孔径の2乗に比例する。よって、瞳孔径の変化速度と比較して、瞳孔面積の変化速度の推移を観測または取得する方が容易である。以降では、説明変数として、瞳孔面積の変化速度を用いて説明する。なお、本明細書では、瞳孔面積の変化速度を、瞳孔径の変化速度と言い換えることができる。
なお、説明変数は、瞳孔面積の変化速度に限られず、瞳孔面積の変化速度と、心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数とを組み合わせてもよい。また、対象者の状態に関するアンケートを取得し、これらと組み合わせてもよい。なお、まばたきの経時変化とは、まばたきの時間間隔の経時変化、一回のまばたきを行うのに要する時間の経時変化などをさす。
ここで、瞳孔面積の変化速度を、被験者または対象者の状態に変化をもたらす刺激を与える前後での、瞳孔面積の変化の度合いとする。例えば、当該刺激を与える前の瞳孔面積を最大瞳孔面積と定義し、当該刺激を与えた後の瞳孔面積を最小瞳孔面積と定義する。このとき、瞳孔面積の変化速度を、最大瞳孔面積から最小瞳孔面積に変化するのに要する時間に対する、最大瞳孔面積と最小瞳孔面積の差とする。つまり、瞳孔面積の変化速度は、最大瞳孔面積から最小瞳孔面積へ変化する際の傾きに相当する。なお、最大瞳孔面積は、当該刺激が与えられる前のある一定期間における瞳孔面積の平均値と定義してもよい。また、最小瞳孔面積は、当該刺激を与えた後のある一定期間における瞳孔面積の平均値と定義してもよい。
応答変数に関わる、被験者の状態は、自己評価を参考にする。被験者の状態に対する自己評価は、アンケートなどの方法により取得する。
被験者の状態に関するアンケート調査は、間隔尺度または順序尺度で測ることが一般的である。なお、間隔尺度で測ったデータは定量的データであり、順序尺度で測ったデータは定性的データである。
例えば、ストレス状態の調査は、「ストレスを感じている」、「ストレスを感じていない」の2段階評価で行われる。または、例えば、「ストレスを非常に感じている」、「ストレスをやや感じている」、「ストレスを感じていない」の3段階評価で行われる。なお、これらに限られず、4段階以上の多段階評価で行われてもよい。
なお、順序尺度および間隔尺度では、目盛間隔の差は等しいという仮定のもとに、数値を与えることができる。例えば、ストレス状態の調査が3段階評価で行われる場合、「ストレスを非常に感じている」を2、「ストレスをやや感じている」を1、「ストレスを感じていない」を0とすることができる。このとき、順序尺度で測ったデータも、定量的データと見做すことができる。なお、ストレス指数を用いて、ストレス状態を測ってもよい。例えば、ストレスを感じているほどストレス指数が高く、ストレスを感じていないほどストレス指数が低いと設定するとよい。
上述したように、被験者の状態は、順序尺度または間隔尺度で測られるため、離散的なデータである。さらに、被験者の状態に関するデータは、非負の整数で表される。つまり、被験者の状態に関するデータは、カウントデータである。さらに、被験者の状態に関するデータは、有限の範囲である。
被験者の状態には、個人差がある。個人差として、例えば、白目の領域に対する黒目の領域の割合、黒目の領域に対する瞳孔面積の割合、ストレスに対する瞳孔面積の変化速度の違い、などがある。なお、個人差は、被験者の状態と独立した要素である。つまり、個人差は、ランダム効果と推測される。そこで、対象者の状態の推定において個人差を考慮するには、ランダム効果を考慮できる統計モデルを使用することが好ましい。
以上より、個人差を考慮して対象者の状態を推定するには、統計モデルの中でも、一般化線形混合モデル(generalized linear mixed model:GLMM)を用いることが好ましい。一般化線形混合モデルは、一般化線形モデル(generalized linear model:GLM)を拡張した統計解析モデルである。一般化線形混合モデルは、固定効果に加えて、ランダム効果を考慮できる統計モデルである。
一般化線形混合モデルは、確率分布、線形予測子、およびリンク関数を指定する統計モデルである。確率分布とは、確率変数の値とその出現確率を対応させたものである。線形予測子は、パラメータと説明変数の線形結合で表される式である。リンク関数は、線形予測子を導く関数である。なお、リンク関数は、確率分布が決まることで自動的に決まることが多い。
上述したように、被験者の状態に関するデータは、有限の範囲のカウントデータとして取得される。よって、対象者の状態の推定に用いる統計モデルとして、ロジスティック回帰を用いることが好ましい。特に、被験者の状態を3段階以上の多段階評価で取得する場合、統計モデルとして、順序ロジスティック回帰を用いることが好ましい。順序ロジスティック回帰は、応答変数が3分類以上の順序尺度または間隔尺度のデータである場合に好適な手法である。
本実施の形態では、順序ロジスティック回帰として、確率分布にベルヌーイ分布を用いる。また、リンク関数としてロジットリンク関数を用いる。また、線形予測子は、切片と、説明変数および偏回帰係数の積と、個人差をあらわすパラメータとの和とする。または、線形予測子は、切片と、説明変数および偏回帰係数の積と、個人差をあらわすパラメータと、環境差をあらわすパラメータと、の和とする。なお、切片、偏回帰係数、個人差をあらわすパラメータ、および環境差をあらわすパラメータは、統計モデルのパラメータである。また、切片と偏回帰係数を単にパラメータと呼ぶ場合がある。
対象者の状態を推定するための統計モデルを作成するには、統計モデルのパラメータを推定する必要がある。統計モデルのパラメータの推定方法として、最尤推定、最大事後確率推定、ベイズ推定などがある。最尤推定、最大事後確率推定のパラメータ推定は、点推定である。本実施の形態の場合、観測するデータ数が多くない場合も想定されるため、統計モデルのパラメータを点推定するのではなく、統計モデルのパラメータの確率分布を推定する、ベイズ推定を用いることが好ましい。
ベイズ推定で使う統計モデル(ベイズ統計モデルともいう)は、事後分布が、尤度と事前分布との積に比例するという構造をもつ統計モデルである。ベイズ推定では、推定したいパラメータの確率分布は、事後分布として求められる。
ベイズ推定における事後分布は、解析的に求めることが難しい場合がある。解析的に求められない場合、ベイズ推定における事後分布は、数値的に求めることができる。例えば、数値積分やマルコフ連鎖モンテカルロ(Markov Chain Monte Carlo:MCMC)法などを用いるとよい。また、MCMC法のアルゴリズムとして、メトロポリス法、ギブスサンプリング法などを用いるとよい。
上述した統計モデルのパラメータのうち、切片および偏回帰係数は、データ全体を大域的に説明するパラメータである。また、個人差をあらわすパラメータ、および環境差をあらわすパラメータはデータのごく一部だけを説明する局所的なパラメータである。大域的なパラメータは、無情報事前分布を用いて推定する。また、局所的なパラメータは、階層事前分布を指定して推定する。
本実施の形態の統計モデルのパラメータには、少なくとも個人差をあらわすパラメータが含まれる。そこで、本実施の形態のベイズ統計モデルでは、階層事前分布を使用することが好ましい。階層事前分布を使用しているベイズモデルを階層ベイズモデルともいう。本実施の形態では、階層ベイズモデルを用いて統計モデルを作成し、MCMC法を用いて事後分布を数値的に求めることが好ましい。
<<対象者の状態を推定する方法の詳細>>
本項では、対象者の状態を推定する方法の詳細について説明する。
本項では、対象者の状態を推定する方法の詳細について説明する。
図1Aは、本発明の一態様に係る統計モデルである、階層ベイズモデルを示す図である。図1Aに示すように、階層ベイズモデル100として、順序ロジスティック回帰を用いる。なお、順序ロジスティック回帰において、確率分布にベルヌーイ分布を用い、リンク関数としてロジットリンク関数を用いる。また、線形予測子は、切片101と、偏回帰係数102および説明変数の積と、個人差をあらわすパラメータ103と、の和とする。
また、説明変数111を瞳孔面積の変化速度とする。つまり、説明変数は1つである。また、応答変数112を、3段階で評価したストレス状態(3つに分類されたデータ)とする。例えば、「ストレスを非常に感じている」をグレード3、「ストレスをやや感じている」をグレード2、「ストレスを感じていない」をグレード1と表記する。
はじめに、複数の人物の瞳孔面積の変化速度および当該複数の人物のストレス状態に関するデータの組をN組(Nは正の整数である。)用意する。ここで、当該複数の人物は、上述した複数の被験者である。なお、当該複数の人物に、対象者が含まれてもよい。また、当該複数の人物の数は2以上が好ましい。また、当該複数の人物の数はN以下であることが好ましい。以降、当該複数の人物を、被験者、または複数の被験者と表記する場合がある。
次に、3段階評価で調査されたストレス状態を、グレード1と、グレード2およびグレード3と、に分類する。このときのロジスティック関数および線形予測子は以下のように記述できる。
ここで、qi,1は、i番目(iは、1以上N以下の整数である。)のデータがグレード2またはグレード3になる確率である。ηi,1は、qi,1のロジットである。β01、β1、riはパラメータである。β01は切片である。β1は偏回帰係数である。riは、個人差をあらわすパラメータである。xiはi番目の説明変数であり、i番目のデータが有する瞳孔面積の変化速度である。また、ここでのストレス状態を表すデータYをY1とすると、Y1ではグレード1を示すデータは0、グレード2またはグレード3を示すデータは1とする。
つぎに、3段階評価で調査されたストレス状態を、グレード1およびグレード2と、グレード3と、に分類する。このときのロジスティック関数および線形予測子は以下のように記述できる。
上式において、qi,2は、i番目のデータがグレード3になる確率である。ηi,2は、qi,2のロジットである。β02、β1、riはパラメータである。β02は切片である。なお、β02以外のパラメータは、上述したβ1、およびriと同じである。また、ここでのストレス状態を表すデータYをY2とすると、Y2ではグレード1またはグレード2を示すデータは0、グレード3を示すデータは1とする。
なお、順序ロジスティック回帰において、グレード1になる確率、グレード2になる確率、およびグレード3になる確率の和は1となる。よって、i番目のデータがグレード1になる確率は、1−qi,1であり、i番目のデータがグレード2になる確率は、qi,1−qi,2である。
入力された説明変数から、どのグレードに分類される確率が高いかを推定するための統計モデルを作成するには、パラメータであるβ0k(kは1または2である)、β1、riを推定する必要がある。
上述したように、階層ベイズモデルの事後分布は、尤度と事前分布の積に比例する。また、パラメータβ0k、β1は固定効果であり、パラメータriはランダム効果である。よって、以下の関係が成り立つ。
ここで、左辺は事後分布であり、データY1またはデータY2が与えられたときの、β0k、β1、s、およびriの確率分布である。右辺のp(β0k)およびp(β1)は、それぞれ切片β0kおよび偏回帰係数β1の事前分布である。ここで、切片および偏回帰係数は、固定効果なので、p(β0k)およびp(β1)は無情報事前分布であると設定する。
パラメータriはランダム効果であるので、p(ri|s)は階層事前分布であると設定する。つまり、riの事前分布は、いずれも平均ゼロで標準偏差sの正規分布にしたがうとする。ここで、sを超パラメータと呼ぶ場合がある。また、p(s)を超事前分布と呼ぶ場合がある。また、p(s)は無情報事前分布であると設定する。
以上のように設定し、MCMC法を使って、上式の左辺である事後分布を推定する。よって、上式の左辺である事後分布を推定することで、複数パラメータの事後分布を推定することができる。
以上により、パラメータβ0k(kは1または2である)、β1、s、およびriを推定することができる。これにより、説明変数から、どのグレードに分類される確率が高いかを推定するための統計モデルが作成されることになる。例えば、瞳孔面積の変化速度を説明変数に入力し、また、β0k、β1、riの事後分布の平均を用い、グレード1になる確率、グレード2になる確率、およびグレード3になる確率をそれぞれ算出する。これらの確率を比較することで、入力した瞳孔面積の変化速度における疲労度が、どのグレードになる確率が最も高いかを推定することができる。
なお、図1Bに示すように、線形予測子に、環境差をあらわすパラメータej(jは正の整数である。)を加えてもよい。これにより、個人差だけでなく、環境差を考慮して、ストレス状態を推定することができる。
パラメータejはランダム効果であるので、ejの事前分布は、いずれも平均ゼロで標準偏差spの正規分布にしたがうとする。また、p(sp)は無情報事前分布であると設定する。
また、応答変数が、(m+1)段階(mは3以上)で評価したストレス状態とする。このとき、データは(m+1)個に分類される。この場合、m個のグレードに分類し、m組のロジスティック関数およびロジスティックモデルを用意するとよい。なお、パラメータは、β01乃至β0m、β1、s、riである。よって、これらのパラメータを推定することで、説明変数から、ストレス状態を推定するための統計モデルを作成することができる。
以上が、対象者の状態を推定する方法の詳細な説明である。
以上より、個人差を考慮して、対象者の状態を推定することができる。
<対象者の状態を推定する方法の手順>
次に、対象者の状態を推定する方法の手順について説明する。
次に、対象者の状態を推定する方法の手順について説明する。
ここでは、対象者の状態を推定するための統計モデルとして、階層ベイズモデルを用いる。また、統計モデルとして、順序ロジスティック回帰を用いることが好ましい。また、順序ロジスティック回帰として、確率変数にベルヌーイ分布を用い、リンク関数にロジットリンク関数を用いる。また、線形予測子は、切片と、説明変数および偏回帰係数の積と、個人差をあらわすパラメータとの和とする。なお、切片、および偏回帰係数もパラメータである。
図2は、対象者の状態を推定する方法の一例を示すフロー図である。対象者の状態を推定する方法は、図2に示す、ステップS001乃至ステップS005を有する。
ステップS001は、第1のデータを入力する工程である。第1のデータには、被験者の瞳孔面積の変化速度および被験者の状態に関するデータの組(データセット)が複数含まれる。なお、被験者は複数人であることが好ましい。また、被験者に、対象者が含まれてもよい。被験者の状態に関するデータとは、被験者の疲労度、被験者のストレス状態(またはストレス指数)などである。なお、第1のデータには、被験者の心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれてもよい。
本実施の形態では、個人差を考慮して、対象者の状態を推定する。そこで、第1のデータに含まれるデータセットのそれぞれには、被験者を示すIDが割り振られていることが好ましい。また、個人差、および環境差を考慮して、対象者の状態を推定する場合、第1のデータに含まれるデータセットのそれぞれには、被験者を示すID、および測定環境を示すIDが割り振られていることが好ましい。
ステップS002は、統計モデルに含まれるパラメータを推定する工程である。なお、当該パラメータを推定することで、対象者の状態を推定するための統計モデルを作成することができる。つまり、パラメータの推定は、統計モデルの作成と言い換えることができる。
ステップS002の詳細について、図3を用いて説明する。ステップS002は、ステップS101およびステップS102を有する。
第1のデータに含まれるデータのうち、瞳孔面積の変化速度を統計モデルの説明変数とし、被験者の状態に関するデータを統計モデルの応答変数とする。なお、第1のデータに被験者の心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれる場合、これらのデータは、統計モデルの説明変数として使用してもよい。
ステップS101は、パラメータの事前分布を設定する工程である。切片、および偏回帰係数は個体効果であるため、切片の事前分布、および偏回帰係数の事前分布は、無情報事前分布であると設定する。また、個人差をあらわすパラメータはランダム効果であるため、個人差をあらわすパラメータの事前分布は、階層事前分布であると設定する。
ステップS102は、パラメータの事後分布を推定する工程である。パラメータの事後分布の推定には、MCMC法を使用することが好ましい。
ステップS002(ステップS101およびステップS102)を行うことで、統計モデルに含まれるパラメータを推定することができる。これにより、統計モデルを作成することができる。
以上が、ステップS002の詳細な説明である。
ステップS003は、第2のデータを入力する工程である。第2のデータには、第1のデータの有する説明変数が含まれる必要がある。つまり、第2のデータには、少なくとも、対象者の瞳孔面積の変化速度が含まれる。
本実施の形態では、個人差を考慮して、対象者の状態を推定する。そこで、第2のデータには、対象者を示すIDが割り振られていることが好ましい。また、個人差、および環境差を考慮して、対象者の状態を推定する場合、第2のデータには、対象者を示すID、および測定環境を示すIDが割り振られていることが好ましい。
ステップS004は、第2のデータに含まれる瞳孔面積の変化速度から、対象者の状態を推定する工程である。対象者の状態の推定には、ステップS002で作成された統計モデルを使用する。
ステップS005は、情報の供給を行う工程である。当該情報とは、ステップS004で推定された対象者の状態に関する情報である。当該情報は、例えば、文字列、数値、グラフ、色などの視覚情報、音声、音楽などの聴覚情報などとして供給される。
上記情報を供給した後、終了する。
なお、ステップS004で推定された対象者の状態が、正常であるまたは異常ではないと判断された場合、上記情報が供給されなくてもよい。このとき、ステップS004が終了した後、終了してもよい。また、対象者の状態を(m+1)段階(mは3以上)で推定する場合、上記情報を供給しない段階をあらかじめ指定しておいてもよい。
対象者の状態を推定する方法の手順は、上記に限られない。例えば、図4または図5に示すフローで対象者の状態を推定してもよい。
図4は、対象者の状態を推定する方法の他の一例を示すフロー図である。対象者の状態を推定する方法は、図4に示す、ステップS011乃至ステップS017を有してもよい。
ステップS011は、第1のデータを入力する工程である。第1のデータには、被験者の瞳孔面積の時系列変化および被験者の状態に関するデータの組が複数含まれる。なお、被験者は複数人であることが好ましい。また、被験者に、対象者が含まれてもよい。また、第1のデータには、被験者の心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれてもよい。
ステップS012は、第1のデータに含まれる瞳孔面積の時系列変化から、瞳孔面積の変化速度を算出する工程である。なお、第1のデータに、心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれる場合、これらの変化速度を算出してもよい。
ステップS013は、統計モデルに含まれるパラメータを推定する工程である。ステップS013はステップS002と同様の工程である。よって、ステップS013は、図3に示すステップS101およびステップS102を有する。ステップS013の説明は、ステップS002、ステップS101、およびステップS102の説明を参酌することができる。
ステップS013を行うことで、統計モデルに含まれるパラメータを推定することができる。これにより、統計モデルを作成することができる。
ステップS014は、第2のデータを入力する工程である。第2のデータには、第1のデータの有するデータが含まれる必要がある。つまり、第2のデータには、少なくとも、対象者の瞳孔面積の時系列変化が含まれる。なお、第2のデータに、対象者の瞳孔面積の変化速度が含まれる場合、次に説明するステップS015は省略してもよい。
ステップS015は、第2のデータに含まれる瞳孔面積の時系列変化から、瞳孔面積の変化速度を算出する工程である。なお、第2のデータに、対象者の心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれる場合、これらの変化速度を算出してもよい。
ステップS016は、ステップS015で算出された瞳孔面積の変化速度から、対象者の状態を推定する工程である。対象者の状態の推定には、ステップS013で作成された統計モデルを使用する。
ステップS017は、情報の供給を行う工程である。当該情報とは、ステップS016で推定された対象者の状態に関する情報である。当該情報は、例えば、文字列、数値、グラフ、色などの視覚情報、音声、音楽などの聴覚情報などとして供給される。
上記情報を供給した後、終了する。
上記以外の、対象者の状態を推定する方法の手順を、図5を用いて説明する。図5は、対象者の状態を推定する方法の他の一例を示すフロー図である。対象者の状態を推定する方法は、図5に示す、ステップS021乃至ステップS029を有してもよい。
ステップS021は、第1のデータを入力する工程である。第1のデータには、動画および被験者の状態に関するデータの組が複数含まれる。ここで、動画とは、2フレーム以上の画像の集合を示す。また、当該動画には、被写体として被験者の目が含まれる。被験者は複数人であることが好ましい。また、被験者に、対象者が含まれてもよい。なお、当該動画は、撮像装置を用いて撮影してもよいし、後述する状態推定システムが有する撮像部で撮影してもよい。また、第1のデータには、被験者の心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれてもよい。
ステップS022は、第1のデータに含まれる動画から、瞳孔を検出する工程である。つまり、被写体として被験者の目が含まれる動画から、瞳孔を検出する工程である。まず、動画に含まれる画像の中から、第1の物体を検出する。第1の物体は、例えば、目とする。なお、当該画像に両目が含まれる場合、片方の目のみ検出する。次に、第1の物体から、第2の物体を検出する。第2の物体は、例えば、瞳孔とする。具体的には、円形抽出により、目から瞳孔を検出することができる。以上より、第1のデータに含まれる動画から、瞳孔を検出することができる。
なお、ステップS022において、画像処理を行ってもよい。画像処理として、例えば、ノイズ除去、グレースケール化、正規化、コントラスト調整などを行うとよい。これにより、瞳孔の検出を高い精度で行うことができる。
また、ステップS022において、機械学習を行うとよい。例えば、ニューラルネットワークを用いて機械学習を行うとよい。機械学習を用いて、第1のデータに含まれる動画から瞳孔を検出することにより、例えば、人が目視で瞳孔の検出を行う場合より、短時間で瞳孔の検出を行うことができる。また、例えば、瞳孔に周囲の風景が映り込んでいたとしても、瞳孔の位置や瞳孔と虹彩の境界を高い精度で検出することができる。
ステップS023は、ステップS022で検出した瞳孔から、瞳孔面積の変化速度を算出する工程である。はじめに、第2の物体の面積を算出する。ステップS022および第2の物体の面積を算出する工程により、動画に含まれる画像毎に、瞳孔面積を算出することができる。つまり、瞳孔面積の時系列変化を取得することができる。
次に、瞳孔面積の時系列変化から、瞳孔面積の変化速度を算出する。以上の工程より、被写体として被験者の目が含まれる動画から、瞳孔面積の変化速度を算出することができる。
なお、第1のデータに、被験者の心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれる場合、これらの変化速度を算出してもよい。
ステップS024は、統計モデルに含まれるパラメータを推定する工程である。ステップS024はステップS002と同様の工程である。よって、ステップS024は、図3に示すステップS101およびステップS102を有する。ステップS024の説明は、ステップS002、ステップS101、およびステップS102の説明を参酌することができる。
ステップS024を行うことで、統計モデルに含まれるパラメータを推定することができる。これにより、統計モデルを作成することができる。
ステップS025は、第2のデータを入力する工程である。第2のデータには、第1のデータの有するデータが含まれる必要がある。つまり、第2のデータには、少なくとも、被写体として対象者の片方の目を含む動画が含まれる。なお、当該動画は、後述する状態推定システムが有する撮像部で撮影されることが好ましい。なお、第2のデータに、対象者の瞳孔面積の変化速度が含まれる場合、次に説明するステップS026およびステップS027は省略してもよい。
ステップS026は、第2のデータに含まれる動画から、瞳孔を検出する工程である。つまり、被写体として対象者の目が含まれる動画から、瞳孔を検出する工程である。なお、ステップS026は、ステップS022と同じ工程であるため、ステップS026の説明は、ステップS022の説明を参酌することができる。
ステップS027は、ステップS026で検出した瞳孔から、瞳孔面積の変化速度を算出する工程である。なお、ステップS027は、ステップS023と同じ工程であるため、ステップS027の説明は、ステップS023の説明を参酌することができる。
なお、第2のデータに、対象者の心臓拍動または脈拍、血圧、体温、まばたき、姿勢などの経時変化のいずれか一または複数のデータが含まれる場合、これらの変化速度を算出してもよい。
ステップS028は、ステップS027で算出された瞳孔面積の変化速度から、対象者の状態を推定する工程である。対象者の状態の推定には、ステップS024で作成された統計モデルを使用する。
ステップS029は、情報の供給を行う工程である。当該情報とは、ステップS028で推定された対象者の状態に関する情報である。当該情報は、例えば、文字列、数値、グラフ、色などの視覚情報、音声、音楽などの聴覚情報などとして供給される。
上記情報を供給した後、終了する。
図5に示す、対象者の状態を推定する方法を用いることで、対象者の状態を常時推定することができるため、対象者の健康状態を常時管理することができる。別言すると、図5に示す、対象者の状態を推定する方法を用いることで、対象者の異常を検出することができるため、対象者の健康状態を常時管理することができる。
なお、対象者の状態を推定する方法は、上記ステップを組み合わせてもよい。例えば、ステップS011、ステップS012、ステップS013、ステップS025、ステップS026、ステップS027、ステップS028、ステップS029の順に実施して、対象者の状態を推定してもよい。これにより、対象者の状態を常時推定することができるため、対象者の健康状態を常時管理することができる。また、動画のデータ量と比較して、瞳孔面積の時系列変化のデータ量は少ないため、少ないデータ量でも対象者の状態を高い精度で推定することができる。よって、後述する状態推定システムが有する記憶部(主記憶部、または補助記憶部)に格納されるデータ量を削減することができる。
以上が、対象者の状態を推定する方法の一例の説明である。これにより、個人差を考慮して、対象者の状態を推定することができる。
<状態推定システムの構成例>
次に、状態推定システムの構成例について説明する。
次に、状態推定システムの構成例について説明する。
図6Aは、本発明の一態様の状態推定システムである、状態推定システム10の構成例を示すブロック図である。状態推定システム10は、情報処理装置20を有する。
情報処理装置20は、入力部21と、出力部22と、演算部23と、主記憶部24と、補助記憶部25と、を有する。情報処理装置20が有する構成要素間でのデータ等の伝送は、伝送路27を介して行うことができる。
入力部21は、データを入力する機能を有する。入力部21として、キーボード、マウスなどの入力デバイスがある。出力部22は、情報を供給する機能を有する。
演算部23は、演算処理を行う機能を有する。演算部23は、例えば、入力部21、主記憶部24、補助記憶部25などから伝送路27を介して演算部23に伝送されたデータに対して、所定の演算処理を行う機能を有する。また、演算部23は、パラメータを推定する機能、および対象者の状態を推定する機能を有する。また、演算部23は、動画に含まれる画像を加工する機能、画像から瞳孔面積を算出する機能、瞳孔面積の時系列変化から瞳孔面積の変化速度を算出する機能などを有してもよい。演算部23は、例えばCPU(Central Processing Unit)、及びGPU(Graphics Processing Unit)等を有することができる。
主記憶部24は、データ、及びプログラム等を記憶する機能を有する。演算部23は、主記憶部24に記憶されたデータ、及びプログラム等を読み込んで、演算処理を実行することができる。例えば、演算部23は、主記憶部24から読み込んだプログラムを実行することにより、主記憶部24から読み込んだデータに対して所定の演算処理を実行することができる。
主記憶部24は、補助記憶部25より高速に動作することが好ましい。主記憶部24は、例えばDRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)等を有することができる。
補助記憶部25は、データ、及びプログラム等を、主記憶部24より長期間記憶する機能を有する。補助記憶部25は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、等を有することができる。また、補助記憶部25は、ReRAM(Resistive Random Access Memory、抵抗変化型メモリともいう)、PRAM(Phase change Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、MRAM(Magnetoresistive Random Access Memory、磁気抵抗型メモリともいう)、又はフラッシュメモリなどの不揮発性メモリを有していてもよい。
パラメータの推定により作成された統計モデルは、補助記憶部25に格納される。なお、当該統計モデルは、主記憶部24に格納されてもよい。
情報処理装置20は、例えば、スマートフォン、タブレット、パーソナルコンピュータ等の情報端末に設けることができる。
なお、情報処理装置20は、上記に加えて、撮像部を有してもよい。撮像部は、撮像を行い、撮像データを取得する機能を有する。
なお、状態推定システム10の構成は上記に限らない。例えば、図6Bに示すように、状態推定システム10は、情報処理装置20に加えて、情報処理装置30を有してもよい。
情報処理装置20は、入力部21、出力部22、演算部23、主記憶部24、および補助記憶部25に加えて、通信部26を有する。なお、情報処理装置20、および情報処理装置20が有する構成要素の説明については、上述した説明を参酌することができる。
通信部26は、情報処理装置20の外部に設けられた装置等に対して、データ等の送受信を行う機能を有する。また、通信部26は、ネットワークにデータ等を供給する機能、及びネットワークからデータ等を取得する機能を有することができる。
演算部23は、例えば、入力部21、主記憶部24、補助記憶部25、通信部26などから伝送路27を介して演算部23に伝送されたデータに対して、所定の演算処理を行う機能を有する。
情報処理装置30は、入力部31と、出力部32と、演算部33と、主記憶部34と、補助記憶部35と、通信部36と、を有する。情報処理装置30が有する構成要素間でのデータ等の伝送は、伝送路37を介して行うことができる。
入力部31は、データを入力する機能を有する。入力部31として、キーボード、マウスなどの入力デバイスがある。出力部32は、情報を供給する機能を有する。
演算部33は、演算処理を行う機能を有する。演算部33は、例えば入力部31、主記憶部34、補助記憶部35、通信部36などから伝送路37を介して演算部33に伝送されたデータに対して、所定の演算処理を行う機能を有する。また、演算部33は、パラメータを推定する機能、および対象者の状態を推定する機能を有する。また、演算部33は、動画に含まれる画像を加工する機能、画像から瞳孔面積を算出する機能、瞳孔面積の時系列変化から瞳孔面積の変化速度を算出する機能などを有してもよい。演算部33は、例えばCPU、及びGPU等を有することができる。
主記憶部34は、データ、及びプログラム等を記憶する機能を有する。演算部33は、主記憶部34に記憶されたデータ、及びプログラム等を読み込んで、演算処理を実行することができる。例えば、演算部33は、主記憶部34から読み込んだプログラムを実行することにより、主記憶部34から読み込んだデータに対して所定の演算処理を実行することができる。
主記憶部34は、補助記憶部35より高速に動作することが好ましい。主記憶部34は、例えばDRAM、SRAM等を有することができる。
補助記憶部35は、データ、及びプログラム等を、主記憶部34より長期間記憶する機能を有する。補助記憶部35は、例えばHDD、SSD、等を有することができる。また、補助記憶部35は、ReRAM、PRAM、FeRAM、MRAM、又はフラッシュメモリなどの不揮発性メモリを有していてもよい。
パラメータの推定により作成された統計モデルは、補助記憶部35に格納される。なお、当該統計モデルは、主記憶部34に格納されてもよい。
通信部36は、情報処理装置30の外部に設けられた装置等に対して、データ等の送受信を行う機能を有する。例えば、通信部26から通信部36へデータ等を供給することにより、情報処理装置20から情報処理装置30へデータ等を供給することができる。また、通信部36は、ネットワークにデータ等を供給する機能、及びネットワークからデータ等を取得する機能を有することができる。
ここで、演算部23、及び演算部33が対象者の状態を推定する機能を有する場合、例えば演算部23が統計モデルを作成し、作成した統計モデルを情報処理装置20から情報処理装置30に供給することができる。以上により、情報処理装置30に設けられる演算部33が統計モデルを作成しなくても、演算部33に入力されたデータに対して、演算部23により作成された統計モデルを基に、対象者の状態を推定することができる。よって、演算部33の演算処理能力を、演算部23より低いものとすることができる。
演算部23が統計モデルを作成し、作成した統計モデルを情報処理装置20から情報処理装置30に供給する場合、情報処理装置20は、例えばサーバに設けることができる。なお、情報処理装置20をサーバに設ける場合、情報処理装置20には入力部21、及び出力部22を設けなくてもよい。つまり、入力部21、及び出力部22を、情報処理装置20の外部に設けてもよい。
また、情報処理装置30は、例えばスマートフォン、タブレット、パーソナルコンピュータ等の情報端末に設けることができる。また、情報処理装置20の構成要素の少なくとも一部と、情報処理装置30の構成要素の少なくとも一部と、の両方をサーバに設けてもよい。例えば、演算部23と、演算部33と、をサーバに設けてもよい。この場合、例えば情報端末が取得したデータを、ネットワークを介して演算部33に供給し、サーバに設けられている演算部33が当該データに対して推定等を行う。そして、推定の結果を、ネットワークを介して情報端末に供給することにより、情報端末が推定の結果を取得することができる。
なお、情報処理装置30は、上記に加えて、撮像部を有してもよい。撮像部は、撮像を行い、撮像データを取得する機能を有する。
以上より、個人差を考慮した状態推定システムを提供することができる。
本実施の形態に示す構成、方法などは、その一部を適宜組み合わせて用いることができる。
10:状態推定システム、20:情報処理装置、21:入力部、22:出力部、23:演算部、24:主記憶部、25:補助記憶部、26:通信部、27:伝送路、30:情報処理装置、31:入力部、32:出力部、33:演算部、34:主記憶部、35:補助記憶部、36:通信部、37:伝送路、100:階層ベイズモデル、101:切片、102:偏回帰係数、103:個人差をあらわすパラメータ、111:説明変数、112:応答変数
Claims (5)
- 対象者の状態を推定するために使用する統計モデルの作成方法であって、
前記統計モデルは、確率変数がベルヌーイ分布であり、リンク関数がロジットリンク関数であり、線形予測子が、切片と、偏回帰係数および説明変数の積と、個人差をあらわすパラメータと、の和である、順序ロジスティック回帰を用いた階層ベイズモデルであり、
複数の人物の瞳孔面積の変化速度と、前記複数の人物の状態に関するデータと、を含むデータの組を複数有するデータセットを入力する工程と、
前記切片の事前分布、および前記偏回帰係数の事前分布は、無情報事前分布であると設定し、前記個人差をあらわすパラメータの事前分布は、階層事前分布であると設定する工程と、
マルコフ連鎖モンテカルロ法を使って、前記切片の事後分布、前記偏回帰係数の事後分布、および前記個人差をあらわすパラメータの事後分布を推定する工程と、を有する、
統計モデルの作成方法。 - 第1のデータを用いてパラメータの推定が行われた統計モデルを用いて、第2のデータから、対象者の状態の推定を行う第1のステップと、
前記対象者の状態の推定の結果を出力する第2のステップと、
を有し、
前記統計モデルは、順序ロジスティック回帰を用いた階層ベイズモデルであり、
前記第1のデータは、複数の人物の瞳孔面積の変化速度と、前記複数の人物の状態に関するデータと、を含むデータの組を複数有し、
前記第2のデータは、前記対象者の瞳孔面積の変化速度を含み、
前記瞳孔面積の変化速度は、前記統計モデルの説明変数であり、
前記状態に関するデータは、前記統計モデルの応答変数である、
対象者の状態推定方法。 - 請求項2において、
前記順序ロジスティック回帰において、
確率変数は、ベルヌーイ分布であり、
リンク関数は、ロジットリンク関数であり、
線形予測子は、切片と、偏回帰係数および前記説明変数の積と、個人差をあらわすパラメータと、の和である、
対象者の状態推定方法。 - 請求項3において、
前記切片の事前分布、および前記偏回帰係数の事前分布は、無情報事前分布であると設定し、
前記個人差をあらわすパラメータの事前分布は、階層事前分布であると設定し、
マルコフ連鎖モンテカルロ法を使って、前記切片、前記偏回帰係数、および前記個人差をあらわすパラメータの事後分布を推定する、
対象者の状態推定方法。 - 入力部と、出力部と、演算部と、主記憶部と、補助記憶部と、を有し、
前記入力部は、第1のデータおよび第2のデータを入力する機能を有し、
前記演算部は、前記第1のデータを用いて統計モデルのパラメータの推定を行い、前記統計モデルを作成する機能を有し、
前記演算部は、前記統計モデルを基に、前記第2のデータから、対象者の状態を推定する機能を有し、
前記出力部は、推定された前記対象者の状態に関する情報を供給する機能を有し、
前記主記憶部または前記補助記憶部は、前記統計モデルを格納する機能を有し、
前記第1のデータは、複数の人物の瞳孔面積の変化速度と、前記複数の人物の状態に関するデータと、を含むデータの組を複数含み、
前記第2のデータは、前記対象者の瞳孔面積の変化速度を含む、
状態推定システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/640,842 US20220344054A1 (en) | 2019-09-27 | 2020-09-15 | Statistical model creation method, state estimation method, and state estimation system |
| JP2021547981A JPWO2021059080A1 (ja) | 2019-09-27 | 2020-09-15 | |
| CN202080066654.8A CN114423342A (zh) | 2019-09-27 | 2020-09-15 | 统计模型的生成方法、状态估计方法及状态估计系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-177812 | 2019-09-27 | ||
| JP2019177812 | 2019-09-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021059080A1 true WO2021059080A1 (ja) | 2021-04-01 |
Family
ID=75166009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/IB2020/058539 Ceased WO2021059080A1 (ja) | 2019-09-27 | 2020-09-15 | 統計モデルの作成方法、状態推定方法、および状態推定システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220344054A1 (ja) |
| JP (1) | JPWO2021059080A1 (ja) |
| CN (1) | CN114423342A (ja) |
| WO (1) | WO2021059080A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7255580B2 (ja) * | 2020-10-29 | 2023-04-11 | 株式会社村田製作所 | 心身調子表示装置、心身調子表示システム、心身調子表示方法、プログラムおよび記録媒体 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015184763A (ja) * | 2014-03-20 | 2015-10-22 | ヤフー株式会社 | 感情推定装置、感情推定方法、及び感情推定プログラム |
| WO2016189711A1 (ja) * | 2015-05-27 | 2016-12-01 | 糧三 齋藤 | 携帯端末用ストレス評価プログラム及び該プログラムを備えた携帯端末 |
| WO2019022242A1 (ja) * | 2017-07-28 | 2019-01-31 | 国立大学法人大阪大学 | 快不快の判別 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6355050B2 (ja) * | 2014-11-11 | 2018-07-11 | パナソニックIpマネジメント株式会社 | 会議システムおよび会議システム用プログラム |
| CN109414164B (zh) * | 2016-05-09 | 2022-06-14 | 奇跃公司 | 用于用户健康分析的增强现实系统和方法 |
| KR102491130B1 (ko) * | 2016-06-20 | 2023-01-19 | 매직 립, 인코포레이티드 | 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템 |
| US10451895B2 (en) * | 2016-07-25 | 2019-10-22 | Magic Leap, Inc. | Light field processor system |
| US11093848B2 (en) * | 2017-09-27 | 2021-08-17 | Tibco Software Inc. | Predictive engine for generating multivariate predictive responses |
| US11904224B2 (en) * | 2018-02-20 | 2024-02-20 | Koninklijke Philips N.V. | System and method for client-side physiological condition estimations based on a video of an individual |
| EP4031000A4 (en) * | 2019-09-18 | 2023-09-27 | Bioxcel Therapeutics, Inc. | Systems and methods for detection and prevention of emergence of agitation |
| AU2021218422A1 (en) * | 2020-02-14 | 2022-09-22 | Bioxcel Therapeutics, Inc. | Systems and methods for detection and prevention of emergence of agitation |
| US11468288B2 (en) * | 2020-07-28 | 2022-10-11 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
-
2020
- 2020-09-15 US US17/640,842 patent/US20220344054A1/en not_active Abandoned
- 2020-09-15 CN CN202080066654.8A patent/CN114423342A/zh active Pending
- 2020-09-15 WO PCT/IB2020/058539 patent/WO2021059080A1/ja not_active Ceased
- 2020-09-15 JP JP2021547981A patent/JPWO2021059080A1/ja not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015184763A (ja) * | 2014-03-20 | 2015-10-22 | ヤフー株式会社 | 感情推定装置、感情推定方法、及び感情推定プログラム |
| WO2016189711A1 (ja) * | 2015-05-27 | 2016-12-01 | 糧三 齋藤 | 携帯端末用ストレス評価プログラム及び該プログラムを備えた携帯端末 |
| WO2019022242A1 (ja) * | 2017-07-28 | 2019-01-31 | 国立大学法人大阪大学 | 快不快の判別 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021059080A1 (ja) | 2021-04-01 |
| CN114423342A (zh) | 2022-04-29 |
| US20220344054A1 (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7200311B2 (ja) | 人工知能およびユーザ入力を用いて発達進度を判定するための方法および装置 | |
| Mansueto et al. | Investigating the feasibility of idiographic network models. | |
| Midha et al. | Factors affecting the success of Open Source Software | |
| Xu et al. | A Bayesian nonparametric approach for estimating individualized treatment-response curves | |
| US10950353B2 (en) | Systems and methods for disease progression modeling | |
| Wu et al. | Mapping the voxel-wise effective connectome in resting state fMRI | |
| RU2017101996A (ru) | Способы и система слежения за лечением аметропии | |
| US10610109B2 (en) | Emotion representative image to derive health rating | |
| JP2022531413A (ja) | 機械学習ベースの視覚機器選択の装置 | |
| CN114902235A (zh) | 用于基于用户选择的因素来训练机器学习模型的系统和方法 | |
| CN109215785A (zh) | 用于姿势稳定性评估的方法和系统 | |
| US20200405145A1 (en) | Systems and methods for using machine learning to predict contact lens compatibility | |
| CN119541868B (zh) | 基于数据挖掘的儿童近视防控预测系统及方法 | |
| CN119273659A (zh) | 一种基于大数据的眼部健康状态监测与评估方法及装置 | |
| US20240233914A1 (en) | Predicting mental state characteristics of users of wearable devices | |
| Paigude et al. | Deep learning model for work-life balance prediction for working women in IT Industry | |
| US20180078445A1 (en) | Visual health maintenance and improvement | |
| JP7266548B2 (ja) | 訓練性ストレス情報を用いて体調を推定する装置、プログラム及び方法 | |
| Shaghaghi et al. | evision: Influenza forecasting using cdc, who, and google trends data | |
| CN112862014A (zh) | 客户信用预警方法及装置 | |
| KR20240122122A (ko) | 실시간 심박 데이터 기반 학습 능률 판별 방법, 서버 및 컴퓨터 프로그램 | |
| CN114423342A (zh) | 统计模型的生成方法、状态估计方法及状态估计系统 | |
| CN116134540A (zh) | 使用深度神经网络从眼底自发荧光图像预测地图状萎缩生长率 | |
| JP6359433B2 (ja) | 予防サービス効果評価装置、および予防サービス効果評価プログラム | |
| CN114449701B (zh) | 基于病历信息的灯光类型调控方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20867144 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021547981 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20867144 Country of ref document: EP Kind code of ref document: A1 |


