WO2023053324A1 - 情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023053324A1
WO2023053324A1 PCT/JP2021/036092 JP2021036092W WO2023053324A1 WO 2023053324 A1 WO2023053324 A1 WO 2023053324A1 JP 2021036092 W JP2021036092 W JP 2021036092W WO 2023053324 A1 WO2023053324 A1 WO 2023053324A1
Authority
WO
WIPO (PCT)
Prior art keywords
modal
modals
types
type
information processing
Prior art date
Application number
PCT/JP2021/036092
Other languages
English (en)
French (fr)
Inventor
祐亮 赤松
祥史 大西
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/036092 priority Critical patent/WO2023053324A1/ja
Publication of WO2023053324A1 publication Critical patent/WO2023053324A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to technical fields of information processing devices, biological information estimation devices, information processing methods, and recording media.
  • Patent Document 1 describes an example of a device that detects heart rate and respiratory rate from face images.
  • Patent Document 2 describes an example of a system for determining a subject's stress coping style based on facial images and a plurality of average blood pressure, heart rate, cardiac output, and total peripheral resistance.
  • Patent Literature 3 describes an example of a function of re-learning an algorithm based on obtained new learning data.
  • Patent Document 4 describes a method for automatically re-learning a speech recognition system.
  • JP 2012-239661 A Japanese Patent Application Laid-Open No. 2021-037287 WO2021/075288 Japanese translation of PCT publication No. 2003-524805
  • An object of this disclosure is to provide an information processing device, a biological information estimation device, an information processing method, and a recording medium that aim to improve the techniques described in prior art documents.
  • One aspect of an information processing apparatus acquires a first modal set that includes at least a first type of modal among a plurality of types of modals and does not include a second type of modal among the plurality of types of modals. and a modal generation model that outputs at least one of the plurality of types of modals when at least one of the plurality of types of modals is input, and includes the plurality of types of modals.
  • output means for outputting at least the second type of modal by inputting the first modal set to a modal generation model generated by machine learning using two modal sets; and the first modal modal generation means for generating a third modal set including the set and the second type of modals output by the modal generation model;
  • One aspect of the biometric information estimation device includes at least image acquisition means for acquiring a face image of a subject, and a first modal among a plurality of types of modals, and a second modal among the plurality of types of modals.
  • the plurality of types of modals By performing machine learning using a third modal set that includes a first modal set that does not include the type of modal and the second type of modal output by the modal generation model, the plurality of types of modals the modal estimation model for outputting, as an output modal, a fourth type of modal different from the third type of the plurality of types of modals when a third type of modal among the plurality of types of modals is input as an input modal; biometric information estimating means for outputting biometric information of a subject as the output modal, wherein the modal generation model generates one of the plurality of types of modals when at least one of the plurality of types of modals is input; It was generated by machine learning using
  • One aspect of the information processing method acquires a first modal set that includes at least a first type of modal among a plurality of types of modals and does not include a second type of modal among the plurality of types of modals. and a modal generation model that outputs at least one of the plurality of types of modals when at least one of the plurality of types of modals is input, and a second modal including the plurality of types of modals
  • a modal generation model that outputs at least one of the plurality of types of modals when at least one of the plurality of types of modals is input, and a second modal including the plurality of types of modals
  • a computer stores a first modal set that includes at least a first type of modal among a plurality of types of modals and does not include a second type of modal among the plurality of types of modals. and a modal generation model that outputs at least one of the plurality of types of modals when at least one of the plurality of types of modals is input, and includes the plurality of types of modals
  • a computer program is recorded for executing an information processing method for generating a third modal set including the second type of modals output by the generative model.
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of an information processing apparatus according to the second embodiment.
  • FIG. 3 shows an example of the data structure of a data group used in the second embodiment.
  • FIG. 4 is a flowchart showing the flow of modal set generation operations performed by the information processing apparatus according to the second embodiment.
  • FIG. 5 is a block diagram showing the configuration of the modal generator 212 included in the information processing apparatus according to the third embodiment.
  • FIG. 6 is a block diagram showing the configuration of an information processing apparatus according to the fourth embodiment.
  • FIG. 7 is a flowchart showing the flow of modal estimation model generation operation performed by the information processing apparatus according to the fourth embodiment.
  • FIG. 8 is a block diagram showing the configuration of an online diagnostic support system including a diagnostic support device according to the fifth embodiment.
  • FIG. 9 is a block diagram showing the configuration of a biological information estimating unit included in the diagnostic support apparatus according to the fifth embodiment.
  • FIG. 10 is a diagram showing the flow of the online diagnosis support operation performed by the online diagnosis support system including the diagnosis support device according to the fifth embodiment.
  • FIG. 1 is a block diagram showing the configuration of the information processing device 1 according to the first embodiment. As shown in FIG. 1 , the information processing device 1 includes an acquisition unit 11 and a modal generation unit 12 .
  • modal may refer to biometric information.
  • a modal set may refer to data containing one or more types of modals, for example, regarding an individual.
  • modal data including all three types of modal A, modal B, and modal C is called a full modal set.
  • the data including modal A, modal B, and modal C are called a partial modal set.
  • the partial modal set includes data including modal A and modal B, data including modal A and modal C, data including modal B and modal C, data including modal A, data including modal B, and data including modal C. It can be anything.
  • the acquisition unit 11 acquires the partial modal set IMS as the first modal set.
  • the partial modal set IMS includes at least the first type of modal 1M among the multiple types of modals, but does not include the second type of modal 2M among the multiple types of modals.
  • the modal output unit 13 outputs at least a second type of modal by inputting the partial modal set IMS to the modal generation model.
  • the modal generator 12 generates a generated total modal set GMS as a third modal set including the partial modal set IMS and the second type of modals output by the modal generative model.
  • the generated total modal set GMS is a total modal set including all kinds of modals.
  • the modal generation model outputs at least one of multiple types of modals when at least one of multiple types of modals is input.
  • a modal generation model is a model generated by machine learning using a full modal set MMS as a second modal set including all types of modals. (1-2) Technical effect of information processing device 1
  • the information processing apparatus 1 outputs at least the modals of the second type, that is, the modals not included in the partial modal set IMS.
  • the modal generation unit 12 can generate a full modal set including a plurality of types of modals.
  • the information processing apparatus 1 according to the first embodiment can relatively easily acquire a complete modal set including a large number of multiple types of modals.
  • the entire modal set, which includes a large number of multiple types of modals can be used for machine learning of a model that achieves highly accurate estimation, and can contribute to the realization of highly accurate modal estimation.
  • FIG. 2 is a block diagram showing the configuration of the information processing device 2 according to the second embodiment.
  • the same reference numerals are assigned to the components that have already been described, and detailed description thereof will be omitted.
  • the information processing device 2 includes an arithmetic device 21 and a storage device 22 . Furthermore, the information processing device 2 may include a communication device 23 , an input device 24 and an output device 25 . However, the information processing device 2 does not have to include at least one of the communication device 23 , the input device 24 and the output device 25 . Arithmetic device 21 , storage device 22 , communication device 23 , input device 24 and output device 25 may be connected via data bus 26 .
  • the computing device 21 includes, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field Programmable Gate Array). Arithmetic device 21 reads a computer program. For example, arithmetic device 21 may read a computer program stored in storage device 22 . For example, the computing device 21 reads a computer program stored in a computer-readable and non-temporary recording medium by a recording medium reading device (not shown) provided in the information processing device 2 (for example, an input device 24 to be described later). can be read using The computing device 21 may acquire (that is, download) a computer program from a device (not shown) arranged outside the information processing device 2 via the communication device 23 (or other communication device). may be read).
  • a recording medium reading device not shown
  • the computing device 21 may acquire (that is, download) a computer program from a device (not shown) arranged outside the information processing device 2 via the communication device 23 (or other communication device). may be read).
  • Arithmetic device 21 executes the read computer program. As a result, logical functional blocks for executing the operations to be performed by the information processing device 2 are realized in the arithmetic device 21 .
  • the arithmetic unit 21 can function as a controller for realizing logical functional blocks for executing operations (in other words, processing) that the information processing apparatus 2 should perform.
  • FIG. 2 shows an example of logical functional blocks implemented within the arithmetic device 21 for executing modal generation operations.
  • the arithmetic unit 21 includes an acquisition unit 211 as a specific example of "acquisition means”, a modal generation unit 212 as a specific example of "modal generation means”, and an "output means".
  • a modal output unit 213, which is a specific example of (1), and a first model generation unit 214, which is a specific example of "first model generation means", are realized.
  • the first model generation unit 214 generates the modal generation model GM by performing machine learning using the full modal set MMS as the second modal set.
  • the arithmetic device 21 does not have to include the first model generation unit 214 .
  • the storage device 22 can store desired data.
  • the storage device 22 may temporarily store computer programs executed by the arithmetic device 21 .
  • the storage device 22 may temporarily store data temporarily used by the arithmetic device 21 while the arithmetic device 21 is executing a computer program.
  • the storage device 22 may store data that the information processing device 2 saves for a long period of time.
  • the storage device 22 may include at least one of RAM (Random Access Memory), ROM (Read Only Memory), hard disk device, magneto-optical disk device, SSD (Solid State Drive), and disk array device. good. That is, the storage device 22 may include non-transitory recording media.
  • the storage device 22 may store a full modal set MMS, a partial modal set IMS, a generative full modal set GMS, and a modal generative model GM. Details of the full modal set MMS and the partial modal set IMS will be described later with reference to FIG. However, the storage device 22 may not store the full modal set MMS, partial modal set IMS, generated full modal set GMS, and modal generative model GM.
  • the full modal set MMS is a modal set including all types of modals.
  • the communication device 23 can communicate with devices external to the information processing device 2 via a communication network (not shown).
  • the input device 24 is a device that receives input of information to the information processing device 2 from outside the information processing device 2 .
  • the input device 24 may include an operation device (for example, at least one of a keyboard, a mouse, and a touch panel) that can be operated by an operator of the information processing device 2 .
  • the input device 24 may include a reading device capable of reading information recorded as data on a recording medium that can be externally attached to the information processing device 2 .
  • the output device 25 is a device that outputs information to the outside of the information processing device 2 .
  • the output device 25 may output information as an image.
  • the output device 25 may include a display device (so-called display) capable of displaying an image showing information to be output.
  • the output device 25 may output information as voice. That is, the output device 25 may include an audio device capable of outputting audio (so-called speaker).
  • the output device 25 may output information on paper. That is, the output device 25 may include a printing device (so-called printer) capable of printing desired information on paper.
  • a partial modal set lacking some types of modals is easier than collecting a full modal set including all types of modals.
  • a whole modal set including three types of modals, face image, heart rate, and oxygen saturation, for a certain individual can be counted as one sample. to all modal sets containing 10,000 or more samples.
  • multiple types of modals may include, for example, facial images, heart rate, and oxygen saturation.
  • FIG. 3 shows an example of the data structure of the data group used in the second embodiment.
  • FIG. 3A shows the data structure of the learning data group used by the first model generation unit 214 for machine learning of the modal generation model GM.
  • the learning data group may include, for example, 2,000 all modal set MMSs.
  • the full modal set MMS may include facial images, heart rate, and oxygen saturation.
  • each modal included in the total modal set MMS may be data obtained by actual measurement.
  • FIG. 3B shows the data structure of the first input data group that the modal output unit 213 inputs to the modal generative model GM.
  • the first input data group may include, for example, 4,000 first partial modal sets IMS#1.
  • the partial modal set IMS includes at least the first type of modal 1M among the multiple types of modals, but does not include the second type of modal 2M among the multiple types of modals.
  • the first kind of modals 1M in the first partial modal set IMS#1 may be facial images and heart rate
  • the first partial modal set IMS#1 may be facial images and May include heart rate.
  • a second type of modal 2M may also be oxygen saturation. Since facial images and heart rate are often acquired simultaneously, it is relatively easy to acquire a large partial modal set of facial image and heart rate combinations.
  • FIG. 3C shows the data structure of the second input data group that the modal output unit 213 inputs to the modal generative model GM.
  • the second input data group may include, for example, 4,000 items of the second partial modal set IMS#2.
  • the first type modal 1M in the second partial modal set IMS#2 may be heart rate, oxygen saturation
  • the second partial modal set IMS#2 may be heart rate, oxygen May contain saturation.
  • the second type of modal 2M may be a face image.
  • Heart rate and oxygen saturation data have a smaller data capacity than face images.
  • each modal included in the partial modal set IMS may be data obtained by actual measurement.
  • the modal generation unit 212 can input the first input data group and the second input data group to the modal generation model GM to generate a data group including 8,000 generated all modal sets GMS.
  • the generated total modal set GMS is a modal set including a plurality of types of modals including the partial modal set IMS and the second type of modal 2M output by the modal generative model GM. Therefore, the data structure of the generated total modal set GMS is similar to the data structure shown in FIG. 3(A). That is, in the case of the above example, the total modal set MMS of 2,000 cases and the generated total modal set GMS of 8,000 cases are combined, and the learning data including the total modal set including 10,000 plural types of modals Flocks can be collected. (2-2) Modal set generation operation performed by information processing device 2
  • FIG. 4 is a flow chart showing the flow of the modal set generation operation performed by the information processing device 2 according to the second embodiment.
  • the acquisition unit 211 acquires all modal set MMS (step S21).
  • the total modal set MMS may include facial images, heart rate, and oxygen saturation, and may be 2,000, for example.
  • the first model generation unit 214 generates a modal generation model GM by performing machine learning using the all modal set MMS acquired in step S21 (step S22).
  • the modal generation model GM is a model that can output at least one of multiple types of modals when at least one of multiple types of modals is input.
  • the full modal set MMS used to generate the modal generative model GM as described above includes facial images, heart rate, and oxygen saturation
  • the first model generator 214 by machine learning, A modal generation model GM that can output at least one of the face image, heart rate, and oxygen saturation when at least one of the face image, heart rate, and oxygen saturation is input may be generated.
  • the first model generation unit 214 generates the error between the face image output by the modal generation model GM and the face images included in the total modal set MMS, the heart rate output by the modal generation model GM, and the total modal set MMS.
  • the modal generative model GM may be generated by adjusting the parameters of the modal generative model GM so as to be small (preferably minimized).
  • the acquisition unit 211 acquires the partial modal set IMS (step S23).
  • the partial modal set IMS includes, for example, 4,000 partial modal sets IMS#1 including face images and heart rate, and a second partial modal set IMS #1 including heart rate and oxygen saturation.
  • the set IMS#2 may contain, for example, 4000 records.
  • the modal output unit 213 inputs the partial modal set IMS to the modal generative model GM (step S24).
  • the modal output unit 213 causes the modal generative model GM to output at least the second type of modal 2M (step S25).
  • the modal generation model GM may output the oxygen saturation for the input of the partial modal set IMS#1, and may output information indicating a face image for the input of the partial modal set IMS#2. good.
  • the modal generation unit 212 generates, for example, 8,000 generation total modal sets GMS including the partial modal set IMS and the second type of modal 2M output by the modal generation model GM (step S26).
  • the modal generation model GM is not only the oxygen saturation as the second type modal 2M, but also at least one of the face image and the heart rate. may output one.
  • at least one of the face image and the heart rate has two types: modals input to the modal generation model GM and modals output from the modal generation model GM.
  • the modal generator 212 generates the generated total modal set GMS including the partial modal set IMS and the second type of modal 2M. and modals of the kind that were included in the partial modal set IMS and were not output by the modal generative model GM.
  • the first type of modal 1M is a face image and heart rate
  • the second type of modal 2M is oxygen saturation
  • the modal generation model GM outputs the face image and oxygen saturation
  • modal generation The unit 212 stores the face image and oxygen saturation output by the modal generative model GM, and the heart rate included in the partial modal set IMS (included in the partial modal set IMS and not output by the modal generative model GM).
  • a generated total modal set GMS may be generated that includes modals of the type heart rate).
  • the modal generation unit 212 obtains a composite face image by combining the face image included in the partial modal set IMS and the face image output by the modal generation model GM, and obtains the composite face image and the face image included in the partial modal set IMS.
  • a generated total modal set GMS may be generated that includes the heart rate from the modal generative model GM and the oxygen saturation output from the modal generative model GM. As a result, the number of generative total modal sets GMS that can be generated using the modal generative model GM increases.
  • the modals included in the partial modal set IMS may be reliable data obtained by actual measurement, and the modal generation unit 212 uses the modals included in the partial modal set IMS to generate the generated full modal set GMS. It can be considered preferable to generate On the other hand, the modal output from the modal generation model GM may have noise removed, etc., and the modal generation unit 212 generates using the second type of modal 2M output from the modal generation model GM. It can be considered preferable to generate the full modal set GMS.
  • the first generated full modal set GMS using the modals included in the partial modal set IMS is output from the modal generative model GM
  • Three types of generated total modal set GMS may be generated: a second generated total modal set GMS using the combined modal, and a third generated total modal set GMS using a composite modal combining the two.
  • the modal generation model GM when the facial image IA and the heart rate IB are input as the partial modal set IMS, the modal generation model GM generates the oxygen saturation OC as the second type of modal 2M and the facial image Consider the case where OA and heart rate OB are output.
  • a modal obtained by synthesizing the facial image IA and the facial image OA is called a facial image CA
  • a modal obtained by synthesizing the heart rate IB and the heart rate OB is referred to as a heart rate CB.
  • the modal generation unit 212 generates a generated total modal set GMS1 including the facial image IA, the heart rate IB, and the oxygen saturation OC, and a generated total modal set GMS1 including the facial image IA, the heart rate OB, and the oxygen saturation OC.
  • generated total modal set GMS2 including facial image OA, heart rate IB and oxygen saturation OC
  • generated total modal set GMS4 including facial image OA, heart rate OB and oxygen saturation OC, facial image CA , heart rate CB, and oxygen saturation OC
  • generated full modal set GMS5 including face image CA, heart rate IB, and oxygen saturation OC, face image CA, heart rate OB, and a generated full modal set GMS7 including the oxygen saturation OC
  • a generated full modal set GMS8 including the face image IA, the heart rate CB, and the oxygen saturation OC, the face image OA, the heart rate CB, and the oxygen saturation OC
  • Nine types of generated total modal sets GMS can be generated, including a generated total modal set GMS9.
  • a face image and a heart rate are input to the modal generative model GM, and at least the oxygen saturation is output.
  • a face image has been described, but the modal inputs and outputs to the modal generation model GM are not limited to these two types.
  • a face image and oxygen saturation may be input to the modal generative model GM and at least the heart rate may be output, or a face image may be input to the modal generative model GM and at least the heart rate and the oxygen saturation may be output.
  • a heart rate may be input to the modal generative model GM, and at least a facial image and oxygen saturation may be output.
  • an oxygen saturation may be input to the modal generative model GM, and at least a facial image and Heart rate may be output.
  • the information processing apparatus 2 performs machine learning using a relatively small amount of all modal sets MMS, thereby estimating modals other than the input modal with a certain degree of accuracy and outputting a modal generation model. can be generated. Then, the information processing apparatus 2 in the second embodiment can acquire modals of a type not included in the partial modal set IMS by using the modal generation model.
  • the information processing device 2 in the second embodiment uses the acquired modal , it is possible to generate a large amount of generation total modal sets GMS in which a plurality of types of modals are available. For example, suppose we wanted a full modal set with three types of modals: face image, heart rate, and oxygen saturation. Collect a large amount of partial modal sets, such as a partial modal set containing heart rate and oxygen saturation, a partial modal set containing facial images and heart rate, etc., even if it is difficult to collect a large amount of all modal sets. is possible.
  • the information processing apparatus 2 acquires modals of a type not included in the partial modal set using the modal generation model, and extracts the three types of modals of face image, heart rate, and oxygen saturation. It is possible to generate a large number of all modal sets with This entire modal set, which includes a large number of multiple types of modals, can be used for machine learning of a model that achieves highly accurate estimation, and thus can contribute to the realization of highly accurate modal estimation.
  • the information processing apparatus 2 can generate and obtain an increased number of types of modals D by using the generated modal generation model GM.
  • a full modal set with D) can be collected relatively easily. Therefore, the information processing apparatus 2 according to the second embodiment can relatively easily collect a large number of all modal sets even when the number of modal types increases. And since the large amount of all modal sets can be used for machine learning of models that achieve highly accurate estimation, it can contribute to the realization of highly accurate modal estimation of various types of modals. . (3) Third embodiment
  • the information processing device in the third embodiment may have the same configuration as the information processing device 2 in the second embodiment described above.
  • the information processing apparatus according to the third embodiment differs from the information processing apparatus 2 according to the second embodiment in the information that the modal output unit 213 inputs to the modal generative model GM.
  • Other features of the information processing device may be the same as other features of the information processing device 2 .
  • FIG. 5A is a block diagram showing the configuration of the modal generation unit 212.
  • the modal generation unit 212 may include at least an input value generation unit 312 and a modal generation model GM.
  • the input value generator 312 may generate an input value for at least one of the multiple types of modals when at least one of the multiple types of modals is input.
  • the input of at least one of the multiple types of modals to the modal generative model GM may be an input of at least one input value of the multiple types of modals.
  • the input value may be, for example, a modal feature quantity.
  • the input value generation unit 312 may be any mechanism capable of extracting modal feature amounts, such as a mechanism utilizing a neural network.
  • the modal generative model GM may include at least an encoder section GME and a decoder section GMD.
  • the encoder unit GME may compress the input value of at least one of the multiple types of modals when at least one of the multiple types of modals is input.
  • the decoder unit GMD may expand the compressed input value to generate at least one of multiple types of modals.
  • the modal output unit 213 in the third embodiment creates an environment label EL indicating an acquisition environment when the partial modal set IMS and the first type modal 1M included in the partial modal set IMS are acquired in the modal generation model GM. may cause the modal generative model GM to output the second type of modal 2M.
  • the modal generator 212 generates a generated total modal set GMS including the partial modal set IMS and the second type of modal 2M output by the modal generative model GM.
  • the modal output unit 213 may input the environment label EL to at least one of the encoder unit GME and the decoder unit GMD. That is, as shown in FIG. 5B, the modal output unit 213 may input the environment label EL to the decoder unit GMD. Also, as shown in FIG. 5C, the modal output unit 213 may input the environment label EL to both the encoder unit GME and the decoder unit GMD. Also, as shown in FIG. 5D, the modal output unit 213 may input the environment label EL to the encoder unit GME.
  • the environment label EL is preferably information that provides information that contributes to estimation accuracy.
  • Examples of the environment label EL include information that is known at the time of modal acquisition, such as information that is fixed to the device that acquires the modal, information about the subject, and the like. For example, information such as characteristics of the camera that captured the face image, lighting conditions, sex, age, skin color, and type of operation (face direction, etc.) at the time of modal acquisition can be given. (3-2) Technical effect of information processing device 3
  • the information processing apparatus 3 in the third embodiment since the information processing apparatus 3 in the third embodiment explicitly inputs environment information indicating the acquisition environment when the input modal is acquired along with the partial modal set IMS, the modal generation model GM is based on the environment information is not input, the second type of modal 2M can be estimated with high accuracy. Therefore, the information processing device 3 in the third embodiment can generate a more realistic generated total modal set GMS including the second type of modals 2M that are estimated with high accuracy.
  • the modal output unit 213 inputs environment information to at least one of the encoder unit GME and the decoder unit GMD, it is possible to control the estimation accuracy of the output second type modal 2M. Then, the information processing device 3 in the third embodiment can control the authenticity of the generated total modal set GMS.
  • the modal output unit 213 inputs environmental information to the encoder unit, there is a possibility that the influence of the environmental information that contributes to the estimation accuracy will be reduced due to compression processing by the encoder unit. Therefore, it can be expected that the modal output unit 213 inputs the environment information to the decoder unit so that the influence of the environment information that contributes to the estimation accuracy can be avoided from being reduced.
  • a more realistic generative full modal set GMS can be utilized for machine learning of a model that achieves highly accurate estimation, and can contribute to the realization of highly accurate modal estimation.
  • FIG. 6 is a block diagram showing the configuration of the information processing device 4 according to the fourth embodiment.
  • the same reference numerals are assigned to the components that have already been described, and detailed description thereof will be omitted.
  • the information processing device 4 according to the fourth embodiment has an arithmetic device compared with the information processing device 2 according to the second embodiment (or compared with the information processing device according to the third embodiment). 21 is provided with a second model generation unit 414 . Other features of the information processing device 4 may be the same as other features of the information processing device 2 (or the information processing device in the third embodiment).
  • the second model generation unit 414 performs machine learning using the generated all modal set GMS, and when one of the plurality of types of modals, the third type of modal 3M, is input as an input modal, It is possible to generate a modal estimation model EM that outputs a fourth type of modal 4M different from one type of multiple types of modals as an output modal.
  • the storage device 22 may store the generated modal estimation model EM.
  • the modal estimation model EM generated in the fourth embodiment may be, for example, a learning model that outputs heart rate and oxygen saturation when a face image is input. (4-2) Modal estimation model EM generation operation performed by information processing device 4
  • FIG. 7 is a flow chart showing the flow of the modal estimation model EM generation operation performed by the information processing device 4 in the fourth embodiment.
  • the acquisition unit 211 acquires the learning data group (step S41).
  • the learning data group is a full modal set including multiple types of modals, and may include a full modal set MMS and a generated full modal set GMS.
  • the second model generation unit 414 generates a modal estimation model EM by performing machine learning using the learning data group acquired in step S41 (step S42).
  • the first model generation unit 214 and the second model generation unit 414 are described as separate configurations, and the modal generation model GM and the modal estimation model EM are described as separate models.
  • the first model generation unit 214 and the second model generation unit 414 may have the same configuration, and the modal generation model GM and the modal estimation model EM may be the same model. That is, the control mechanism (the first model generation unit 214 and the second model generation unit 414) performs machine learning using the full modal set MMS to create learning models (the modal generation model GM and the modal estimation model EM). ) and perform machine learning using the generated full modal set GMS to re-learn the learning model to complete a learning model capable of highly accurate estimation.
  • modals that can be estimated include, for example, respiratory rate, stress level, blood pressure, cardiac output, total peripheral resistance, pulse, electrocardiogram, body temperature, body water status, and alcohol concentration. , lactate level, blood sugar level, muscle activity, gaze movement, brain activity, and level of consciousness.
  • modals other than heart rate and oxygen saturation can be estimated, such as respiratory rate, stress level, blood pressure, cardiac output, total peripheral resistance, pulse, electrocardiogram, body temperature, body water status, alcohol concentration, lactic acid values, blood sugar levels, muscle activity, gaze movement, brain activity, consciousness level, and the like.
  • the subjects for whom the modal set used for machine learning was collected had higher modal estimation accuracy than the subjects for whom the modal set used for machine learning was not collected (hereinafter referred to as "new subjects"). can be expected to rise. Therefore, when estimating the modal of a new subject, the modal set of the new subject may be collected in advance and the modal estimation model EM may be re-learned. Furthermore, the modal estimation model EM may be retrained after generating a modal set complete with modals using a modal set lacking some types of modals of the relevant new subject. As a result, it is possible to obtain a model capable of estimating the modal of the new subject with higher accuracy. (4-3) Technical effect of information processing device 4
  • the model generated by machine learning can be expected to be able to accurately estimate modals even when there are changes in the environment, such as the movement of the subject and changes in the shooting environment.
  • machine learning using a large amount of learning data can generate a model capable of realizing higher-precision estimation than machine learning using a small amount of learning data.
  • FIG. 8 is a block diagram showing the configuration of an online diagnosis support system 500 according to the fifth embodiment.
  • the online diagnosis support system 500 includes a diagnosis support device 50 and a plurality of terminal devices 60#1, 60#2, . ) and
  • the diagnosis support device 50 may be, for example, a device used by a doctor for diagnosis.
  • the terminal device 60 may be, for example, a device used by a patient in a remote location.
  • the terminal device 60 may be equipped with an image generation device 61 that generates a face image by capturing an image of the subject. (5-2) Configuration of diagnosis support device 50
  • the diagnosis support device 50 includes an arithmetic device 51 and a storage device 52. Furthermore, the diagnosis support device 50 may include a communication device 53 , an input device 54 and an output device 55 . However, the diagnosis support device 50 does not have to include at least one of the communication device 53 , the input device 54 and the output device 55 . Arithmetic device 51 , storage device 52 , communication device 53 , input device 54 and output device 55 may be connected via data bus 56 .
  • the computing device 51 includes, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field Programmable Gate Array). Arithmetic device 51 reads a computer program. For example, arithmetic device 51 may read a computer program stored in storage device 52 . For example, the computing device 51 reads a computer program stored in a computer-readable and non-temporary recording medium by a recording medium reading device (not shown) provided in the diagnosis support device 50 (for example, an input device 54 described later). can be read using The computing device 51 may acquire (that is, download) a computer program from a device (not shown) arranged outside the diagnosis support device 50 via the communication device 53 (or other communication device). may be read).
  • a recording medium reading device not shown
  • the computing device 51 may acquire (that is, download) a computer program from a device (not shown) arranged outside the diagnosis support device 50 via the communication device 53 (or other communication device). may be read).
  • Arithmetic device 51 executes the read computer program. As a result, logical functional blocks for executing the operations that should be performed by the diagnosis support device 50 are realized in the arithmetic device 51 .
  • the arithmetic device 51 can function as a controller for realizing logical functional blocks for executing the operations (in other words, processing) that the diagnosis support device 50 should perform.
  • FIG. 8 shows an example of logical functional blocks implemented within the arithmetic device 51 to execute the biometric information estimation operation.
  • the computing device 51 includes an image acquisition unit 515 as a specific example of the “image acquisition means” and a biological information estimation unit 516 as a specific example of the “biological information estimation means”.
  • image acquisition unit 515 as a specific example of the “image acquisition means”
  • biological information estimation unit 516 as a specific example of the “biological information estimation means”.
  • the biological information estimation unit 516 may include at least the input value generation unit 312 and the modal estimation model EM.
  • the input value generation unit 312 may generate the input value of the face image when the face image is input as the input modal.
  • the input value generation unit 312 inputs the face image input value to the modal estimation model EM, and the biological information estimation unit 516 can cause the modal estimation model EM to output the subject's biological information as an output modal.
  • the storage device 52 can store desired data.
  • the storage device 52 may temporarily store computer programs executed by the arithmetic device 51 .
  • the storage device 52 may temporarily store data temporarily used by the arithmetic device 51 while the arithmetic device 51 is executing a computer program.
  • the storage device 52 may store data that the diagnosis support device 50 saves over a long period of time.
  • the storage device 52 may include at least one of RAM (Random Access Memory), ROM (Read Only Memory), hard disk device, magneto-optical disk device, SSD (Solid State Drive), and disk array device. good. That is, the storage device 52 may include non-temporary recording media.
  • the storage device 52 may store the modal estimation model EM. However, the storage device 52 may not store the modal estimation model EM.
  • the communication device 53 can communicate with devices external to the diagnosis support device 50 via a communication network (not shown).
  • the diagnosis support device 50 may be connected to the terminal device 60 via the communication device 53 .
  • the input device 54 is a device that accepts input of information to the diagnosis support device 50 from the outside of the diagnosis support device 50 .
  • the input device 54 may include an operating device (for example, at least one of a keyboard, a mouse, and a touch panel) that can be operated by the operator of the diagnosis support device 50 .
  • the input device 54 may include a reading device capable of reading information recorded as data on a recording medium that can be externally attached to the diagnosis support device 50 .
  • the output device 55 is a device that outputs information to the outside of the diagnosis support device 50 .
  • the output device 55 may output information as an image.
  • the output device 55 may include a display device (so-called display) capable of displaying an image showing information to be output.
  • the output device 55 may output information as audio.
  • the output device 55 may include an audio device capable of outputting audio (so-called speaker).
  • the output device 55 may output information on paper. That is, the output device 55 may include a printing device (so-called printer) capable of printing desired information on paper. (5-2) Online diagnosis support operation performed by online diagnosis support system 500
  • FIG. 10 is a flow chart showing the flow of the online diagnosis support operation performed by the online diagnosis support system 500 according to the fifth embodiment.
  • the image generation device 61 acquires the face image of the patient as the subject (step S51), and the terminal device 60 transmits the face image to the diagnosis support device 50.
  • the image acquisition unit 515 acquires the face image of the subject from the terminal device 60 via the communication line (step S53).
  • the biological information estimation unit 516 inputs the face image to the modal estimation model EM as the third type of modal 3M, thereby causing the modal estimation model EM to estimate the subject's biological information as the third type of modal 4M (step S54).
  • the modal estimation model EM for example, a model generated by the information processing device 4 in the fourth embodiment may be used.
  • the biological information may include information on at least one of heart rate and oxygen saturation.
  • the output device 55 notifies the user of the diagnosis support device 50 of the estimated biological information (step S55).
  • the diagnosis support apparatus 50 in the fifth embodiment can estimate biological information from a face image, for example, a doctor can obtain a plurality of parameters such as heart rate and oxygen saturation simply by acquiring a face image transmitted by a patient. Biological information can be provided. Therefore, the diagnosis support device 50 according to the fifth embodiment can support a doctor to make an appropriate diagnosis even when the patient is in a remote location. Further, according to the online diagnosis system 500 including the diagnosis support device 50 to which the fifth embodiment is applied, even when the patient is in a remote location, it is possible to assist the doctor in making an appropriate diagnosis. It can meet the demand of online diagnosis.
  • the biological information estimation device can also be applied to mechanisms other than medical purposes such as online diagnostic systems.
  • a dedicated application for estimating biometric information may be installed in a terminal device such as a smartphone carried by a subject.
  • This dedicated app supports a series of operations: taking facial images, sending facial images to the cloud as a biometric information estimation device, receiving biometric information from the cloud such as heart rate and oxygen saturation, and presenting biometric information.
  • This dedicated application may be made available through the Internet.
  • the biological information estimation device may be installed in a mobile terminal such as a smart phone carried by the subject.
  • the mobile terminal may include at least a camera, a biological information estimation device, and a display.
  • the subject captures his/her own facial image with a camera, and then the biometric information estimation device obtains the facial image, estimates at least one of the subject's heart rate and oxygen saturation, and turns on the display. At least one of the subject's own heart rate and oxygen saturation may be presented to the subject via the device.
  • the biometric information estimation device acquires a face image has been described. There may be.
  • the biometric information estimating device can also use the subject's voice data, heart rate, blood pressure, cardiac output, total peripheral resistance, pulse, oxygen saturation, respiratory rate, electrocardiogram, body temperature, and body moisture status. , alcohol concentration, lactic acid level, blood sugar level, amount of muscle activity, gaze movement, brain activity, consciousness level, and stress level.
  • the terminal device can be equipped with a detection device such as an optical sensor or a biopotential sensor corresponding to the biometric information to be acquired.
  • the biological information estimating device can measure heart rate, blood pressure, cardiac output, total peripheral resistance, pulse, oxygen saturation, respiratory rate, electrocardiogram, body temperature, body water status, alcohol concentration, lactic acid level, blood sugar level, muscle It may be configured to be able to estimate biometric information such as the amount of activity of a person, the movement of the line of sight, the activity of the brain, the level of consciousness, and the level of stress. (6) Supplementary note
  • acquisition means for acquiring a first modal set that includes at least a first type of modal among a plurality of types of modals and does not include a second type of modal among the plurality of types of modals; a modal generation model that outputs at least one of the plurality of types of modals when at least one of the plurality of types of modals is input, and a second modal set including the plurality of types of modals; output means for outputting at least the second type of modal by inputting the first modal set to the modal generation model generated by machine learning; and modal generation means for generating a third modal set including the first modal set and the second type of modals output by the modal generation model.
  • the information processing apparatus according to appendix 1, further comprising first model generation means for generating the modal generation model by performing machine learning using the second modal set.
  • the output means outputs the second type modal to the modal generation model by inputting environment information indicating an acquisition environment when the first type modal is acquired to the modal generation model.
  • the information processing device according to appendix 1 or 2.
  • the modal generation model includes an encoder unit that compresses a feature quantity of at least one of the plurality of types of modals when at least one of the plurality of types of modals is input, and an encoder unit that compresses the compressed feature quantity.
  • the information processing apparatus according to any one of appendices 1 to 5, wherein the multiple types of modals are multiple types of biological information including information on at least one of a face image, heart rate, and oxygen saturation.
  • an image acquiring means for acquiring a face image of a subject;
  • a first modal set that includes at least a first type of modal among a plurality of types of modals and does not include a second type of modal among the plurality of types of modals, and the second modal set output by the modal generation model
  • biometric information estimation means for outputting the subject's biometric information as the output modal to a modal estimation model that outputs a modal of the fourth type, which is different from the third type, as the output modal;
  • the modal generation model outputs at least one of the plurality of the plurality of types of modals are multiple types of biological information including information on at least one of a face image, heart rate, and oxygen saturation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置１は、複数種類のモーダルのうちの第１の種類のモーダル１Ｍを少なくとも含み、複数種類のモーダルのうちの第２の種類のモーダル２Ｍを含まない部分モーダルセットＩＭＳを取得する取得部１１と、複数種類のモーダルのうちの少なくとも一つが入力された場合に複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルＧＭであって且つ複数種類のモーダルを含む全モーダルセットＭＭＳを用いた機械学習によって生成されたモーダル生成モデルＧＭに、部分モーダルセットＩＧＭを入力することで、少なくとも第２の種類のモーダル２Ｍを出力させるモーダル出力部１３と、部分モーダルセットＩＭＳとモーダル生成モデルＧＭが出力した第２の種類のモーダル２Ｍとを含む生成全モーダルセットＧＭＳを生成するモーダル生成部１２とを備える。

Description

情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体
　この開示は、情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体の技術分野に関する。
　顔画像から、心拍数、呼吸数を検出する装置の一例が特許文献１に記載されている。また、顔画像と平均血圧、心拍数、心拍出量、及び全抹消抵抗のうちの複数とに基づいて、被験者のストレス対処様式を判定するシステムの一例が特許文献２に記載されている。また、得られた新たな学習データに基づき、アルゴリズムを再学習させる機能の一例が特許文献３に記載されている。また、音声認識システムを自動的に再学習させる方法が特許文献４に記載されている。
特開２０１２－２３９６６１号公報 特開２０２１－０３７２８７号公報 国際公開第２０２１／０７５２８８号 特表２００３－５２４８０５号公報
　この開示は、先行技術文献に記載された技術の改良を目的とする情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体を提供することを課題とする。
　情報処理装置の一の態様は、複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得する取得手段と、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させる出力手段と、前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成するモーダル生成手段とを備える。
　生体情報推定装置の一の態様は、対象者の顔画像を取得する画像取得手段と、複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットとモーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを用いた機械学習を行うことで、前記複数種類のモーダルのうちの第３の種類のモーダルが入力モーダルとして入力された場合に前記複数種類のモーダルのうちの前記第３の種類とは異なる第４の種類のモーダルを出力モーダルとして出力するモーダル推定モデルに前記対象者の生体情報を前記出力モーダルとして出力させる生体情報推定手段とを備え、前記モーダル生成モデルは、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力し、且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成された。
　情報処理方法の一の態様は、複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得し、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させ、前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成する。
　記録媒体の一の態様は、コンピュータに、複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得し、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させ、前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成する情報処理方法を実行させるためのコンピュータプログラムが記録されている。
図１は、第１実施形態における情報処理装置の構成を示すブロック図である。 図２は、第２実施形態における情報処理装置の構成を示すブロック図である。 図３は、第２実施形態において用いられるデータ群のデータ構造の例を示す。 図４は、第２実施形態における情報処理装置が行うモーダルセット生成動作の流れを示すフローチャートである。 図５は、第３実施形態における情報処理装置が備えるモーダル生成部２１２の構成を示すブロック図である。 図６は、第４実施形態における情報処理装置の構成を示すブロック図である。 図７は、第４実施形態における情報処理装置が行うモーダル推定モデル生成動作の流れを示すフローチャートである。 図８は、第５実施形態における診断支援装置を含むオンライン診断支援システムの構成を示すブロック図である。 図９は、第５実施形態における診断支援装置が備える生体情報推定部の構成を示すブロック図である。 図１０は、第５実施形態における診断支援装置を含むオンライン診断支援システムが行うオンライン診断支援動作の流れを示す図である。
　以下、図面を参照しながら、情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体の実施形態について説明する。
　（１）第１実施形態
　はじめに、情報処理装置、情報処理方法、及び、記録媒体の第１実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第１実施形態が適用された情報処理装置１を用いて、情報処理装置、情報処理方法、及び記録媒体の第１実施形態について説明する。
　（１－１）情報処理装置１の構成
　図１は、第１実施形態における情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、取得部１１と、モーダル生成部１２とを備えている。
　まず、モーダルとは、生体情報を指していてもよい。また、モーダルセットとは、例えばある個体に関する１種類以上のモーダルを含んだデータを指していてもよい。例えば、ある個体に関するモーダルＡ、モーダルＢ、及びモーダルＣの３種類のモーダルが揃ったデータが必要であったとする。この場合、第１実施形態では、モーダルＡ、モーダルＢ、及びモーダルＣの３種類全てが揃ったデータを全モーダルセットと呼ぶ。他方で、モーダルＡ、モーダルＢ、及びモーダルＣの一部が揃ったデータを部分モーダルセットと呼ぶ。部分モーダルセットは、モーダルＡ及びモーダルＢを含むデータ、モーダルＡ及びモーダルＣを含むデータ、モーダルＢ及びモーダルＣを含むデータ、モーダルＡを含むデータ、モーダルＢを含むデータ、モーダルＣを含むデータの何れかであってよい。
　取得部１１は、第１のモーダルセットとしての部分モーダルセットＩＭＳを取得する。部分モーダルセットＩＭＳは、複数種類のモーダルのうちの第１の種類のモーダル１Ｍを少なくとも含む一方で複数種類のモーダルのうちの第２の種類のモーダル２Ｍを含まない。
　モーダル出力部１３は、モーダル生成モデルに、部分モーダルセットＩＭＳを入力することで、少なくとも第２の種類のモーダルを出力させる。
　モーダル生成部１２は、部分モーダルセットＩＭＳとモーダル生成モデルが出力した第２の種類のモーダルとを含む第３のモーダルセットとしての生成全モーダルセットＧＭＳを生成する。生成全モーダルセットＧＭＳは、全ての種類のモーダルが揃った全モーダルセットである。
　モーダル生成モデルは、複数種類のモーダルのうちの少なくとも一つが入力された場合に複数種類のモーダルのうちの少なくとも一つを出力する。また、モーダル生成モデルは、全種類のモーダルが揃った第２のモーダルセットとしての全モダールセットＭＭＳを用いた機械学習によって生成されたモデルである。
　（１－２）情報処理装置１の技術的効果
　第１実施形態における情報処理装置１は、モーダル生成モデルが少なくとも第２の種類のモーダル、すなわち、部分モーダルセットＩＭＳが含まないモーダルを出力する。これにより、モーダル生成部１２は、複数種類のモーダルが揃った全モーダルセットを生成することができる。つまり、比較的収集が容易な、一部の種類のモーダルを含まない部分モーダルセットを活用して、比較的収集が困難な、複数種類のモーダルが揃った全モーダルセットを生成することができる。したがって、第１実施形態における情報処理装置１は、大量の複数種類のモーダルが揃った全モーダルセットを比較的容易に取得することができる。その大量の複数種類のモーダルが揃った全モーダルセットは、高精度の推定を実現するモデルの機械学習に活用されることができるので、高精度なモーダルの推定の実現に寄与することができる。
　（２）第２実施形態
　続いて、情報処理装置、情報処理方法、及び記録媒体の第２実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第２実施形態が適用された情報処理装置２を用いて、情報処理装置、情報処理方法、及び記録媒体の第２実施形態について説明する。
　（２－１）情報処理装置２の構成
　初めに、図２を参照しながら、第２実施形態における情報処理装置２の構成について説明する。図２は、第２実施形態における情報処理装置２の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。
　図２に示すように、情報処理装置２は、演算装置２１と、記憶装置２２とを備えている。更に、情報処理装置２は、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置２は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも一つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。
　演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも一つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、情報処理装置２が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置２４）を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、情報処理装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、情報処理装置２が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、情報処理装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
　図２には、モーダル生成動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、「取得手段」の一具体例である取得部２１１と、「モーダル生成手段」の一具体例であるモーダル生成部２１２と、「出力手段」の一具体例であるモーダル出力部２１３と、「第１モデル生成手段」の一具体例である第１モデル生成部２１４とが実現される。第１モデル生成部２１４は、第２のモーダルセットとしての全モーダルセットＭＭＳを用いた機械学習を行うことでモーダル生成モデルＧＭを生成する。
　尚、取得部２１１、モーダル生成部２１２、モーダル出力部２１３、及び第１モデル生成部２１４の夫々の動作の詳細については、図４を参照しながら後に詳述する。但し、演算装置２１は、第１モデル生成部２１４を備えていなくてもよい。
　記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している場合に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、情報処理装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。
　記憶装置２２は、全モーダルセットＭＭＳ、部分モーダルセットＩＭＳ、生成全モーダルセットＧＭＳ、及びモーダル生成モデルＧＭを記憶していてもよい。尚、全モーダルセットＭＭＳ及び部分モーダルセットＩＭＳの詳細については、図３を参照しながら後に詳述する。但し、記憶装置２２が、全モーダルセットＭＭＳ、部分モーダルセットＩＭＳ、生成全モーダルセットＧＭＳ、及びモーダル生成モデルＧＭを記憶していなくてもよい。ここで、全モーダルセットＭＭＳとは、全種類のモーダルが揃ったモーダルセットである。
　通信装置２３は、不図示の通信ネットワークを介して、情報処理装置２の外部の装置と通信可能である。
　入力装置２４は、情報処理装置２の外部からの情報処理装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、情報処理装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２４は情報処理装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
　出力装置２５は、情報処理装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　機械学習によって生成されたモデルにより、モーダルを高精度に推定することの需要は大きい。高精度の推定を実現するモデルを機械学習によって生成するには、大量の学習データを含む学習データ群が必要である。学習データとしては、必要とされる複数種類のモーダル（例えば、顔画像、心拍数、酸素飽和度の３種類）が揃った全モーダルセットが用いられることが好ましい。しかしながら、必要とされる複数種類のモーダル（例えば、顔画像、心拍数、酸素飽和度の３種類）が揃った全モーダルセットを大量に含む学習データ群を収集することは一般に困難である。また、推定の対象となるモーダルの種類が増えるにつれ、揃えるモーダルの種類も増えるので、学習データの収集のコストは増大する。一方で、一部の種類のモーダルが欠けた部分モーダルセットの収集は、全ての種類のモーダルを含む全モーダルセットの収集と比較して容易である。尚、例えば、ある個体に関する顔画像、心拍数、酸素飽和度の３種類のモーダルが揃った全モーダルセットを１件のサンプルと数えることができ、大量の全モーダルセットとは、例えば数千件から１万件以上のサンプル数を含む全モーダルセット群を指してもよい。
　第２実施形態において、複数種類のモーダルは、例えば、顔画像、心拍数、及び酸素飽和度を含んでいてもよい。図３の各々は、第２実施形態において用いられるデータ群のデータ構造の例を示す。
　図３（Ａ）は、第１モデル生成部２１４がモーダル生成モデルＧＭの機械学習に用いる学習データ群のデータ構造を示す。学習データ群は、全モーダルセットＭＭＳを例えば２千件含んでいてよい。第２実施形態において、全モーダルセットＭＭＳは、顔画像、心拍数、及び酸素飽和度を含んでいてよい。尚、第２実施形態において、全モーダルセットＭＭＳに含まれる各モーダルは、実測により得られたデータであってよい。
　図３（Ｂ）は、モーダル出力部２１３がモーダル生成モデルＧＭに入力する第１の入力データ群のデータ構造を示す。第１の入力データ群は、第１の部分モーダルセットＩＭＳ＃１を例えば４千件含んでいてよい。部分モーダルセットＩＭＳは、複数種類のモーダルのうちの第１の種類のモーダル１Ｍを少なくとも含む一方で複数種類のモーダルのうちの第２の種類のモーダル２Ｍを含まない。第２実施形態において、第１の部分モーダルセットＩＭＳ＃１における第１の種類のモーダル１Ｍは、顔画像、及び心拍数であってよく、第１の部分モーダルセットＩＭＳ＃１は顔画像、及び心拍数を含んでいてよい。また、第２の種類のモーダル２Ｍは、酸素飽和度であってよい。顔画像、及び心拍数は、同時に取得される場合が多いので、顔画像、及び心拍数の組み合わせの大量の部分モーダルセットを取得することは比較的容易である。
　図３（Ｃ）は、モーダル出力部２１３がモーダル生成モデルＧＭに入力する第２の入力データ群のデータ構造を示す。第２の入力データ群は、第２の部分モーダルセットＩＭＳ＃２を例えば４千件含んでいてよい。第２実施形態において、第２の部分モーダルセットＩＭＳ＃２における第１の種類のモーダル１Ｍは、心拍数、酸素飽和度であってよく、第２の部分モーダルセットＩＭＳ＃２は心拍数、酸素飽和度を含んでいてよい。また、第２の種類のモーダル２Ｍは、顔画像であってよい。顔画像と比較して、心拍数、及び酸素飽和度のデータはデータ容量が小さい。また、顔画像はプライバシーの観点から収集が困難であるのに対し、心拍数、及び酸素飽和度の収集は比較的容易である。したがって、心拍数、及び酸素飽和度の組み合わせの大量の部分モーダルセットを取得することは比較的容易である。
　尚、第２実施形態において、部分モーダルセットＩＭＳに含まれる各モーダルは、実測により得られたデータであってよい。
　モーダル生成部２１２は、第１の入力データ群及び第２の入力データ群をモーダル生成モデルＧＭに入力し、８千件の生成全モーダルセットＧＭＳを含むデータ群を生成することができる。生成全モーダルセットＧＭＳは、部分モーダルセットＩＭＳとモーダル生成モデルＧＭが出力した第２の種類のモーダル２Ｍとを含む、複数種類のモーダルが揃ったモーダルセットである。したがって、生成全モーダルセットＧＭＳのデータ構造は、図３（Ａ）が示すデータ構造と同様である。すなわち、上述の例の場合、２千件の全モーダルセットＭＭＳと、８千件の生成全モーダルセットＧＭＳとを合わせて、１万件の複数種類のモーダルが揃った全モーダルセットを含む学習データ群を収集することができる。
　（２－２）情報処理装置２が行うモーダルセット生成動作
　続いて、図４を参照しながら、第２実施形態における情報処理装置２が行うモーダルセット生成動作について説明する。図４は、第２実施形態における情報処理装置２が行うモーダルセット生成動作の流れを示すフローチャートである。
　図４に示すように、取得部２１１は、全モーダルセットＭＭＳを取得する（ステップＳ２１）。第２実施形態において、全モーダルセットＭＭＳは、顔画像、心拍数、及び酸素飽和度を含んでいてもよく、例えば２千件であってよい。第１モデル生成部２１４は、ステップＳ２１において取得された全モーダルセットＭＭＳを用いて機械学習を行うことでモーダル生成モデルＧＭを生成する（ステップＳ２２）。
　モーダル生成モデルＧＭは、複数種類のモーダルのうちの少なくとも一つが入力された場合に複数種類のモーダルのうちの少なくとも一つを出力することが可能なモデルである。上述したようにモーダル生成モデルＧＭを生成するために用いられる全モーダルセットＭＭＳが顔画像、心拍数、及び酸素飽和度を含んでいる場合には、第１モデル生成部２１４は、機械学習によって、顔画像、心拍数、及び酸素飽和度の少なくとも一つが入力された場合に顔画像、心拍数、及び酸素飽和度のうちの少なくとも一つを出力可能なモーダル生成モデルＧＭを生成してもよい。具体的には、第１モデル生成部２１４は、モーダル生成モデルＧＭが出力する顔画像と全モーダルセットＭＭＳに含まれる顔画像との誤差、モーダル生成モデルＧＭが出力する心拍数と全モーダルセットＭＭＳに含まれる心拍数との誤差、及び、モーダル生成モデルＧＭが出力する酸素飽和度と全モーダルセットＭＭＳに含まれる酸素飽和度との誤差のうちの少なくとも一つに基づいて設定される損失関数が小さくなる（好ましくは、最小になる）ように、モーダル生成モデルＧＭのパラメータを調整することで、モーダル生成モデルＧＭを生成してもよい。
　次に、取得部２１１は、部分モーダルセットＩＭＳを取得する（ステップＳ２３）。第２実施形態において、部分モーダルセットＩＭＳは、顔画像、及び心拍数を含む第１の部分モーダルセットＩＭＳ＃１を例えば４千件と、心拍数、及び酸素飽和度を含む第２の部分モーダルセットＩＭＳ＃２を例えば４千件とを含んでいてもよい。モーダル出力部２１３は、モーダル生成モデルＧＭに、部分モーダルセットＩＭＳを入力する（ステップＳ２４）。モーダル出力部２１３は、モーダル生成モデルＧＭに少なくとも第２の種類のモーダル２Ｍを出力させる（ステップＳ２５）。モーダル生成モデルＧＭは、部分モーダルセットＩＭＳ＃１の入力に対しては、酸素飽和度を出力してよく、部分モーダルセットＩＭＳ＃２の入力に対しては顔画像を示す情報を出力してもよい。モーダル生成部２１２は、部分モーダルセットＩＭＳとモーダル生成モデルＧＭが出力した第２の種類のモーダル２Ｍとを含む生成全モーダルセットＧＭＳを、例えば８千件生成する（ステップＳ２６）。
　なお、モーダル生成モデルＧＭは、部分モーダルセットＩＭＳとして、顔画像と心拍数が入力された場合に、第２の種類のモーダル２Ｍとしての酸素飽和度だけでなく、顔画像、心拍数の少なくとも１つを出力してもよい。この場合、顔画像、心拍数の少なくとも１つは、モーダル生成モデルＧＭに入力されたモーダルとモーダル生成モデルＧＭから出力されたモーダルの２種類が存在する。第２実施形態では、モーダル生成部２１２は、部分モーダルセットＩＭＳと第２の種類のモーダル２Ｍを含む生成全モーダルセットＧＭＳを生成する場合を説明したが、モーダル生成部２１２は、モーダル生成モデルＧＭから出力されたモーダルと、部分モーダルセットＩＭＳに含まれておりモーダル生成モデルＧＭが出力しなかった種類のモーダルとを含む生成全モーダルセットＧＭＳを生成してもよい。例えば、第１の種類のモーダル１Ｍが顔画像及び心拍数であり、第２の種類のモーダル２Ｍが酸素飽和度であり、モーダル生成モデルＧＭが顔画像と酸素飽和度を出力した場合、モーダル生成部２１２は、モーダル生成モデルＧＭが出力した顔画像と酸素飽和度と、部分モーダルセットＩＭＳに含まれていた心拍数（部分モーダルセットＩＭＳに含まれており、モーダル生成モデルＧＭが出力しなかった種類のモーダルである心拍数）とを含む生成全モーダルセットＧＭＳを生成してもよい。また、モーダル生成部２１２は、部分モーダルセットＩＭＳに含まれていた顔画像とモーダル生成モデルＧＭが出力した顔画像を合成した合成顔画像を求め、当該合成顔画像と部分モーダルセットＩＭＳに含まれている心拍数と、モーダル生成モデルＧＭから出力された酸素飽和度とを含む生成全モーダルセットＧＭＳを生成してもよい。その結果、モーダル生成モデルＧＭを用いて生成可能な生成全モーダルセットＧＭＳの数が増加する。
　部分モーダルセットＩＭＳに含まれているモーダルは実測により得られた確かなデータであってもよく、モーダル生成部２１２は、部分モーダルセットＩＭＳに含まれているモーダルを用いて生成全モーダルセットＧＭＳを生成することが好ましいと考えることができる。一方で、モーダル生成モデルＧＭから出力されたモーダルはノイズが除かれている可能性等があり、モーダル生成部２１２は、モーダル生成モデルＧＭから出力された第２の種類のモーダル２Ｍを用いて生成全モーダルセットＧＭＳを生成することが好ましいと考えることができる。
　または、第２実施形態では、大量のモーダルセットを収集することを目的としているので、部分モーダルセットＩＭＳに含まれているモーダルを用いた第１の生成全モーダルセットＧＭＳ、モーダル生成モデルＧＭから出力されたモーダルを用いた第２の生成全モーダルセットＧＭＳ、両者を合成した合成モーダルを用いた第３の生成全モーダルセットＧＭＳの３種類の生成全モーダルセットＧＭＳを生成してもよい。
　具体的に、例えば、部分モーダルセットＩＭＳとして、顔画像ＩＡと心拍数ＩＢが入力された場合に、モーダル生成モデルＧＭが、第２の種類のモーダル２Ｍとしての酸素飽和度ＯＣ、並びに、顔画像ＯＡ、及び心拍数ＯＢを出力した場合を考える。ここで、顔画像ＩＡと顔画像ＯＡを合成したモーダルを顔画像ＣＡ、心拍数ＩＢと心拍数ＯＢを合成したモーダルを心拍数ＣＢと呼ぶ。この場合、モーダル生成部２１２は、顔画像ＩＡ、心拍数ＩＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ１、顔画像ＩＡ、心拍数ＯＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ２、顔画像ＯＡ、心拍数ＩＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ３、顔画像ＯＡ、心拍数ＯＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ４、顔画像ＣＡ、心拍数ＣＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ５、顔画像ＣＡ、心拍数ＩＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ６、顔画像ＣＡ、心拍数ＯＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ７、顔画像ＩＡ、心拍数ＣＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ８、顔画像ＯＡ、心拍数ＣＢ、及び酸素飽和度ＯＣとを含む生成全モーダルセットＧＭＳ９の９種類の生成全モーダルセットＧＭＳを生成することができる。
　なお、第２実施形態では、モーダル生成モデルＧＭに顔画像、及び心拍数が入力され、少なくとも酸素飽和度が出力される例、並びに、モーダル生成モデルＧＭに心拍数、及び酸素飽和度が入力され、少なくとも顔画像が出力される例を説明したが、モーダル生成モデルＧＭへのモーダルの入出力はこの２種類に限られない。例えば、モーダル生成モデルＧＭに顔画像、及び酸素飽和度が入力され、少なくとも心拍数が出力されてもよいし、モーダル生成モデルＧＭに顔画像が入力され、少なくとも心拍数、及び酸素飽和度が出力されてもよいし、モーダル生成モデルＧＭに心拍数が入力され、少なくとも顔画像、及び酸素飽和度が出力されてもよいし、モーダル生成モデルＧＭに酸素飽和度が入力され、少なくとも顔画像、及び心拍数が出力されてもよい。
　（２－３）情報処理装置２の技術的効果
　第２実施形態における情報処理装置２は、比較的少量の全モーダルセットＭＭＳを用いた機械学習を行うことで、入力されたモーダル以外のモーダルを、ある程度の精度で推定し、出力するモーダル生成モデルを生成することができる。そして、第２実施形態における情報処理装置２は、モーダル生成モデルにより、部分モーダルセットＩＭＳに含まれない種類のモーダルを取得することができる。つまり、大量の全モーダルセットＭＭＳの収集が困難な場合であっても、大量の部分モーダルセットＩＭＳの収集が可能な場合、第２実施形態における情報処理装置２は、この取得したモーダルを用いて、複数種類のモーダルが揃った生成全モーダルセットＧＭＳを大量に生成することができる。
　例えば、顔画像、心拍数、及び酸素飽和度の３種類のモーダルが揃った全モーダルセットが必要であったとする。大量の全モーダルセットの収取が困難な場合であっても、心拍数及び酸素飽和度を含む部分モーダルセット、顔画像及び心拍数を含む部分モーダルセット等、部分モーダルセットを大量に収集することは可能な場合はある。このような場合、第２実施形態における情報処理装置２は、モーダル生成モデルにより、部分モーダルセットに含まれない種類のモーダルを取得し、顔画像、心拍数、及び酸素飽和度の３種類のモーダルが揃った全モーダルセットを大量に生成することができる。
　この大量の複数種類のモーダルが揃った全モーダルセットは、高精度の推定を実現するモデルの機械学習に活用されることができるので、高精度なモーダルの推定の実現に寄与することができる。
　また、推定したいモーダルの種類が増えると、学習データの収集はより困難になる場合が多い。例えば、３種類のモーダル（Ａ，Ｂ，Ｃ）が揃った全モーダルセットの収集より、４種類のモーダル（Ａ，Ｂ，Ｃ，Ｄ）が揃った全モーダルセットの収集の方が困難になる場合が多い。第２実施形態における情報処理装置２は、生成したモーダル生成モデルＧＭを用いることで、増えた種類のモーダルＤを生成し、取得することができるので、４種類のモーダル（Ａ，Ｂ，Ｃ，Ｄ）が揃った全モーダルセットを比較的容易に収集することができる。したがって、第２実施形態における情報処理装置２は、モーダルの種類が増えた場合にも、大量の全モーダルセットを比較的容易に収集することができる。そして、その大量の全モーダルセットは、高精度の推定を実現するモデルの機械学習に活用されることができるので、様々な種類のモーダルの高精度なモーダルの推定の実現に寄与することができる。
　（３）第３実施形態
　続いて、情報処理装置、情報処理方法、及び、記録媒体の第３実施形態について説明する。以下では、情報処理装置、情報処理方法、及び、記録媒体の第３実施形態が適用された情報処理装置を用いて、情報処理装置、情報処理方法、及び、記録媒体の第３実施形態について説明する。
　第３実施形態における情報処理装置は、上述した第２実施形態の情報処理装置２と同一の構成を有していてもよい。第３実施形態における情報処理装置は、第２実施形態における情報処理装置２と比較して、モーダル出力部２１３が、モーダル生成モデルＧＭに入力する情報が異なる。情報処理装置のその他の特徴は、情報処理装置２のその他の特徴と同一であってもよい。
　（３－１）モーダル生成部２１２の構成
　図５（Ａ）は、モーダル生成部２１２の構成を示すブロック図である。モーダル生成部２１２は、入力値生成部３１２と、モーダル生成モデルＧＭとを少なくとも含んでいてもよい。入力値生成部３１２は、複数種類のモーダルのうちの少なくとも一つが入力された場合に、複数種類のモーダルのうちの少なくとも一つの入力値を生成してよい。モーダル生成モデルＧＭへの複数種類のモーダルのうちの少なくとも一つの入力とは、複数種類のモーダルのうちの少なくとも一つの入力値の入力であってよい。入力値は、例えば、モーダルの特徴量であってよい。この場合、入力値生成部３１２は、ニューラルネットワークを活用した機構等、モーダルの特徴量を抽出できる任意の機構であってよい。
　モーダル生成モデルＧＭは、エンコーダ部ＧＭＥとデコーダ部ＧＭＤとを少なくとも含んでいてよい。エンコーダ部ＧＭＥは、複数種類のモーダルのうちの少なくとも一つが入力された場合に、複数種類のモーダルのうちの少なくとも一つの入力値を圧縮してもよい。デコーダ部ＧＭＤは、圧縮された入力値を展開して複数種類のモーダルのうちの少なくとも一つを生成してもよい。
　第３実施形態におけるモーダル出力部２１３は、モーダル生成モデルＧＭに、部分モーダルセットＩＭＳとともに、部分モーダルセットＩＭＳに含まれる第１の種類のモーダル１Ｍが取得された場合の取得環境を示す環境ラベルＥＬを入力することで、モーダル生成モデルＧＭに第２の種類のモーダル２Ｍを出力させてもよい。モーダル出力部２１３が環境ラベルＥＬを入力することで、第１の種類のモーダル１Ｍの取得環境が、モーダル生成モデルＧＭによる第２の種類のモーダル２Ｍの推定に及ぼす悪影響を防ぐことができる。モーダル生成部２１２は、部分モーダルセットＩＭＳとモーダル生成モデルＧＭが出力した第２の種類のモーダル２Ｍとを含む生成全モーダルセットＧＭＳを生成する。
　モーダル出力部２１３は、エンコーダ部ＧＭＥ及びデコーダ部ＧＭＤの少なくとも一方に、環境ラベルＥＬを入力してもよい。すなわち、図５（Ｂ）に示すように、モーダル出力部２１３は、デコーダ部ＧＭＤに、環境ラベルＥＬを入力してもよい。また、図５（Ｃ）に示すように、モーダル出力部２１３は、エンコーダ部ＧＭＥ及びデコーダ部ＧＭＤの両方に、環境ラベルＥＬを入力してもよい。また、図５（Ｄ）に示すように、モーダル出力部２１３は、エンコーダ部ＧＭＥに、環境ラベルＥＬを入力してもよい。
　環境ラベルＥＬは、推定精度に寄与する情報を与える情報であることが好ましい。環境ラベルＥＬとしては、モーダルを取得する機器に固定的な情報、対象者の情報等、モーダル取得時にわかっている情報をあげることができる。例えば、顔画像を撮像したカメラの特性、照明条件、対象者の性別、年齢、肌の色、モーダル取得時の動作（顔の向き等）の種類等の情報をあげることができる。
　（３－２）情報処理装置３の技術的効果
　第３実施形態における情報処理装置３は、部分モーダルセットＩＭＳとともに、明示的に、入力されたモーダルが取得された場合の取得環境を示す環境情報を入力するので、モーダル生成モデルＧＭは、環境情報が入力されなかった場合と比較して、精度よく第２の種類のモーダル２Ｍを推定することができる。したがって、第３実施形態における情報処理装置３は、精度よく推定された第２の種類のモーダル２Ｍを含む、より本物らしい生成全モーダルセットＧＭＳを生成することができる。また、モーダル出力部２１３は、エンコーダ部ＧＭＥ及びデコーダ部ＧＭＤの少なくとも一方に、環境情報を入力するので、出力される第２の種類のモーダル２Ｍの推定精度を制御することができる。そして、第３実施形態における情報処理装置３は、生成される生成全モーダルセットＧＭＳの本物らしさを制御することができる。モーダル出力部２１３がエンコーダ部に環境情報を入力すると、エンコーダ部による圧縮処理のために、推定精度に寄与する環境情報の影響が小さくなる可能性がある。そこで、モーダル出力部２１３がデコーダ部に環境情報を入力することで、推定精度に寄与する環境情報の影響が小さくなることを避けることができることが期待できる。より本物らしい生成全モーダルセットＧＭＳは、高精度の推定を実現するモデルの機械学習に活用されることができ、高精度なモーダルの推定の実現に寄与することができる。
　（４）第４実施形態
　続いて、情報処理装置、情報処理方法、及び、記録媒体の第４実施形態について説明する。以下では、情報処理装置、情報処理方法、及び、記録媒体の第４実施形態が適用された情報処理装置４を用いて、情報処理装置、情報処理方法、及び、記録媒体の第４実施形態について説明する。
　（４－１）情報処理装置４の構成
　以下、図６を参照しながら、第４実施形態における情報処理装置４の構成について説明する。図６は、第４実施形態における情報処理装置４の構成を示すブロック図である。尚、以下の説明では、既に説明済みの構成要素については、同一の参照符号を付することで、その詳細な説明を省略する。
　図６に示すように、第４実施形態における情報処理装置４は、第２実施形態における情報処理装置２と比較して（或いは、第３実施形態における情報処理装置と比較して）、演算装置２１が第２モデル生成部４１４を備える点で異なる。情報処理装置４のその他の特徴は、情報処理装置２（或いは、第３実施形態における情報処理装置）のその他の特徴と同一であってもよい。
　第２モデル生成部４１４は、生成全モーダルセットＧＭＳを用いた機械学習を行うことで、複数種類のモーダルのうちの一の種類の第３の種類のモーダル３Ｍが入力モーダルとして入力された場合に複数種類のモーダルのうちの一の種類とは異なる第４の種類のモーダル４Ｍを出力モーダルとして出力するモーダル推定モデルＥＭを生成することができる。記憶装置２２は、生成されたモーダル推定モデルＥＭを記憶してもよい。第４実施形態において生成されたモーダル推定モデルＥＭは、例えば、顔画像が入力された場合に心拍・酸素飽和度を出力する学習モデルであってよい。
　（４－２）情報処理装置４が行うモーダル推定モデルＥＭ生成動作
　続いて、図７を参照しながら、第４実施形態における情報処理装置４が行うモーダル推定モデルＥＭ生成動作について説明する。図７は、第４実施形態における情報処理装置４が行うモーダル推定モデルＥＭ生成動作の流れを示すフローチャートである。
　図７に示すように、取得部２１１は、学習データ群を取得する（ステップＳ４１）。学習データ群は、複数種類のモーダルが揃った全モーダルセットであり、全モーダルセットＭＭＳ及び生成全モーダルセットＧＭＳを含んでいてよい。第２モデル生成部４１４は、ステップＳ４１において取得された学習データ群を用いた機械学習を行うことでモーダル推定モデルＥＭを生成する（ステップＳ４２）。
　尚、第４実施形態では、第１モデル生成部２１４と第２モデル生成部４１４とを別々の構成として説明し、モーダル生成モデルＧＭとモーダル推定モデルＥＭとを別々のモデルとして説明したが、第１モデル生成部２１４と第２モデル生成部４１４とは同一の構成であってよく、モーダル生成モデルＧＭとモーダル推定モデルＥＭとは同一のモデルであってもよい。すなわち、制御機構（第１モデル生成部２１４、第２モデル生成部４１４である）が、全モーダルセットＭＭＳを用いた機械学習を行うことで学習モデル（モーダル生成モデルＧＭ、モーダル推定モデルＥＭである）を生成し、生成全モーダルセットＧＭＳを用いた機械学習を行うことで学習モデルを再学習させ、高精度の推定ができる学習モデルを完成してもよい。
　また、推定できるモーダルは、心拍数、酸素飽和度に加えて、例えば、呼吸数、ストレスレベル、血圧値、心拍出量、全抹消抵抗、脈拍、心電図、体温、身体の水分状態、アルコール濃度、乳酸値、血糖値、筋肉の活動量、視線の動き、脳の活動、及び意識レベル等を含んでいてもよい。さらに、推定できるモーダルは、心拍数、酸素飽和度以外の例えば、呼吸数、ストレスレベル、血圧値、心拍出量、全抹消抵抗、脈拍、心電図、体温、身体の水分状態、アルコール濃度、乳酸値、血糖値、筋肉の活動量、視線の動き、脳の活動、及び意識レベル等であってもよい。
　また、機械学習に用いたモーダルセットが収集された対象者の方が、機械学習に用いたモーダルセットが収集されていない対象者（以下「新規対象者」とよぶ）よりも、モーダルの推定精度が高くなることが期待できる。そこで、新規対象者のモーダルを推定する場合は、事前に該当新規対象者のモーダルセットを収集し、モーダル推定モデルＥＭを再学習してもよい。さらに、該当新規対象者の、一部の種類のモーダルが欠けたモーダルセットを用いて、モーダルが揃ったモーダルセットを生成した後に、モーダル推定モデルＥＭを再学習してもよい。これにより、より高精度に新規対象者のモーダルを推定することができるモデルを得ることができる。
　（４－３）情報処理装置４の技術的効果
　機械学習を行うことで生成されたモデルは、対象者の動きや撮影環境の変化等、特に環境の変化があった場合にも、精度よくモーダルを推定できることが期待できる。また、大量の学習データを用いた機械学習の方が、少量の学習データを用いた機械学習よりも、より高精度の推定が実現可能なモデルを生成できることが期待できる。
　第４実施形態における情報処理装置４は、大量の学習データを用いてモーダル生成モデルを生成するので、より高精度な推定ができるなモーダル推定モデルＥＭを得ることができ、高精度なモーダルの推定を実現できる。
　（５）第５実施形態
　続いて、生体情報推定装置の第５実施形態について説明する。以下では、生体情報推定装置の第５実施形態が適用された診断支援装置５０を含むオンライン診断支援システム５００を用いて、生体情報推定装置の第５実施形態について説明する。
　（５―１）オンライン診断支援システム５００の構成
　初めに、図８を参照しながら、第５実施形態におけるオンライン診断支援システム５００の構成について説明する。図８は、第５実施形態におけるオンライン診断支援システム５００の構成を示すブロック図である。図８に示すように、オンライン診断支援システム５００は、診断支援装置５０と、複数の端末装置６０＃１，６０＃２，・・・，６０＃Ｎ（各々を区別しない場合は、単に「６０」と呼ぶ）とを含んでいる。
　診断支援装置５０は、例えば、医師が診断に際し用いる装置であってよい。また、端末装置６０は、例えば、遠隔地に居る患者が用いる装置であってよい。端末装置６０は、対象者を撮像することで顔画像を生成する画像生成装置６１を搭載していてもよい。
　（５－２）診断支援装置５０の構成
　図８に示すように、診断支援装置５０は、演算装置５１と、記憶装置５２とを備えている。更に、診断支援装置５０は、通信装置５３と、入力装置５４と、出力装置５５とを備えていてもよい。但し、診断支援装置５０は、通信装置５３、入力装置５４及び出力装置５５のうちの少なくとも一つを備えていなくてもよい。演算装置５１と、記憶装置５２と、通信装置５３と、入力装置５４と、出力装置５５とは、データバス５６を介して接続されていてもよい。
　演算装置５１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも一つを含む。演算装置５１は、コンピュータプログラムを読み込む。例えば、演算装置５１は、記憶装置５２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置５１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、診断支援装置５０が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置５４）を用いて読み込んでもよい。演算装置５１は、通信装置５３（或いは、その他の通信装置）を介して、診断支援装置５０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置５１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置５１内には、診断支援装置５０が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置５１は、診断支援装置５０が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
　図８には、生体情報推定動作を実行するために演算装置５１内に実現される論理的な機能ブロックの一例が示されている。図８に示すように、演算装置５１内には、「画像取得手段」の一具体例である画像取得部５１５と、「生体情報推定手段」の一具体例である生体情報推定部５１６とが実現される。
　（５－３）モーダル推定モデルＥＭを用いた推定動作
　図９に示すように、生体情報推定部５１６は、入力値生成部３１２とモーダル推定モデルＥＭとを少なくとも含んでいてもよい。入力値生成部３１２は、入力モーダルとして顔画像が入力された場合に、顔画像の入力値を生成してよい。入力値生成部３１２は、モーダル推定モデルＥＭに顔画像の入力値を入力し、生体情報推定部５１６は、モーダル推定モデルＥＭに対象者の生体情報を出力モーダルとして出力させることができる。
　尚、画像取得部５１５、及び生体情報推定部５１６の夫々の動作の詳細については、図１０を参照しながら後に詳述する。
　記憶装置５２は、所望のデータを記憶可能である。例えば、記憶装置５２は、演算装置５１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置５２は、演算装置５１がコンピュータプログラムを実行している場合に演算装置５１が一時的に使用するデータを一時的に記憶してもよい。記憶装置５２は、診断支援装置５０が長期的に保存するデータを記憶してもよい。尚、記憶装置５２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置５２は、一時的でない記録媒体を含んでいてもよい。
　記憶装置５２は、モーダル推定モデルＥＭを記憶していてもよい。但し、記憶装置５２が、モーダル推定モデルＥＭを記憶していなくてもよい。
　通信装置５３は、不図示の通信ネットワークを介して、診断支援装置５０の外部の装置と通信可能である。診断支援装置５０は、端末装置６０と、通信装置５３を介して接続していてもよい。
　入力装置５４は、診断支援装置５０の外部からの診断支援装置５０に対する情報の入力を受け付ける装置である。例えば、入力装置５４は、診断支援装置５０のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置５４は診断支援装置５０に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
　出力装置５５は、診断支援装置５０の外部に対して情報を出力する装置である。例えば、出力装置５５は、情報を画像として出力してもよい。つまり、出力装置５５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置５５は、情報を音声として出力してもよい。つまり、出力装置５５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置５５は、紙面に情報を出力してもよい。つまり、出力装置５５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　（５－２）オンライン診断支援システム５００が行うオンライン診断支援動作
　続いて、図１０を参照しながら、第５実施形態におけるオンライン診断支援システム５００が行うオンライン診断支援動作について説明する。図１０は、第５実施形態におけるオンライン診断支援システム５００が行うオンライン診断支援動作の流れを示すフローチャートである。
　図１０に示すように、画像生成装置６１は、対象者としての患者の顔画像を取得し（ステップＳ５１）、端末装置６０は、診断支援装置５０に顔画像を送信する。
　続いて、画像取得部５１５は、通信回線を介して、端末装置６０から、対象者の顔画像を取得する（ステップＳ５３）。生体情報推定部５１６は、モーダル推定モデルＥＭに顔画像を第３の種類のモーダル３Ｍとして入力することで、モーダル推定モデルＥＭに対象者の生体情報を第３の種類のモーダル４Ｍとして推定させる（ステップＳ５４）。モーダル推定モデルＥＭとして、例えば第４実施形態における情報処理装置４が生成したモデルを用いてもよい。また、生体情報は、心拍数及び酸素飽和度のうちの少なくとも一つに関する情報を含んでいてよい。
　続いて、例えば出力装置５５は、診断支援装置５０のユーザに、推定された生体情報を通知する（ステップＳ５５）。
　（５－４）診断支援装置５０の技術的効果
　例えば、感染症に罹患した患者は、医師からの適切な診断を受けるべきであるのに対し、患者が、医療施設に居る患者、医療従事者等と接触することは好ましくない、という事情がある。この事情から、医師からの適切な診断を受けるべき患者が医師を含む医療施設に居る者と直接会うことなく、自宅で診断を受けることができるオンライン診断の需要は高い。
　第５実施形態における診断支援装置５０は、顔画像から生体情報を推定することができるので、例えば患者が送信した顔画像を取得するだけで、例えば医師は心拍数、酸素飽和度等の複数の生体情報の提供を受けることができる。したがって、第５実施形態における診断支援装置５０は、患者が遠隔地に居る場合においても、医師が適切な診断ができように支援することができる。また、第５実施形態が適用された診断支援装置５０を含むオンライン診断システム５００によれば、患者が遠隔地に居る場合においても、医師が適切な診断ができように支援することができるので、オンライン診断の需要に応えることができる。
　なお、上記では、オンライン診断システムに、生体情報推定装置の第５実施形態を適用する例を説明したが、生体情報推定装置は、オンライン診断システム等の医療目的の機構以外にも適用することができる。例えば、病気に罹患しているか否かに関わらず、対象者が自身の身体状態を知りたいという要望がある。このような要望に応えるべく、例えば、対象者が携帯するスマートフォン等の端末装置に、生体情報を推定するための専用のアプリをインストールしてもよい。この専用のアプリは、顔画像の撮像、生体情報推定装置としてのクラウドへの顔画像の送信、クラウドから心拍数、酸素飽和度等の生体情報の受信、生体情報の提示の一連の動作をサポートすることができてよい。この専用のアプリは、インターネットを通じて取得できるようにしてもよい。また、例えば、生体情報推定装置は、対象者が携帯するスマートフォン等の携帯端末に搭載されていてもよい。この場合、携帯端末は、少なくとも、カメラ、生体情報推定装置、ディスプレイを備えていてよい。例えば、まず対象者は、カメラで自身の顔画像を撮像し、続いて生体情報推定装置は、顔画像を取得して、対象者の心拍数、酸素飽和度の少なくとも一方を推定し、ディスプレイを介して対象者に自身の心拍数、酸素飽和度の少なくとも一方を提示してもよい。
　また、第５実施形態では、生体情報推定装置が顔画像を取得する例を説明したが、取得する画像は、顔画像以外の身体の任意の箇所の皮膚画像であってよく、例えば指紋画像であってもよい。さらに生体情報推定装置は、皮膚画像以外の、対象者の音声データ、心拍数、血圧値、心拍出量、全抹消抵抗、脈拍、酸素飽和度、呼吸数、心電図、体温、身体の水分状態、アルコール濃度、乳酸値、血糖値、筋肉の活動量、視線の動き、脳の活動、意識レベル、及びストレスレベル等の生体情報を取得してもよい。この場合、端末装置は、取得する生体情報に応じた光学センサ、生体電位センサ等の検出装置を搭載することができる。また生体情報推定装置は、心拍数、血圧値、心拍出量、全抹消抵抗、脈拍、酸素飽和度、呼吸数、心電図、体温、身体の水分状態、アルコール濃度、乳酸値、血糖値、筋肉の活動量、視線の動き、脳の活動、意識レベル、及びストレスレベル等の生体情報を推定できるように構成されていてもよい。
　（６）付記
　以上説明した実施形態に関して、更に以下の付記を開示する。
　［付記１］
　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得する取得手段と、
　前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させる出力手段と、
　前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成するモーダル生成手段と
　を備える情報処理装置。
　［付記２］
　前記第２のモーダルセットを用いた機械学習を行うことで前記モーダル生成モデルを生成する第１モデル生成手段を更に備える
　付記１に記載の情報処理装置。
　［付記３］
　前記出力手段は、前記モーダル生成モデルに、前記第１の種類のモーダルが取得された場合の取得環境を示す環境情報を入力することで、前記モーダル生成モデルに前記第２の種類のモーダルを出力させる
　付記１または２に記載の情報処理装置。
　［付記４］
　前記モーダル生成モデルは、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に、前記複数種類のモーダルのうちの少なくとも一つの特徴量を圧縮するエンコーダ部と、圧縮された前記特徴量を展開して前記複数種類のモーダルのうちの少なくとも一つを生成するデコーダ部とを含み、
　前記出力手段は、前記エンコーダ部及び前記デコーダ部の少なくとも一方に、前記環境情報を入力する
　付記３に記載の情報処理装置。
　［付記５］
　前記第３のモーダルセットを用いた機械学習を行うことで、前記複数種類のモーダルのうちの第３の種類のモーダルが入力モーダルとして入力された場合に前記複数種類のモーダルのうちの前記第３の種類とは異なる第４の種類のモーダルを出力モーダルとして出力するモーダル推定モデルを生成する第２モデル生成手段を更に備える
　付記１から４のいずれか一項に記載の情報処理装置。
　［付記６］
　前記複数種類のモーダルは、顔画像、心拍数及び酸素飽和度のうちの少なくとも一つに関する情報を含む複数種類の生体情報である
　付記１から５のいずれか一項に記載の情報処理装置。
　［付記７］
　対象者の顔画像を取得する画像取得手段と、
　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットとモーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを用いた機械学習を行うことで、前記複数種類のモーダルのうちの第３の種類のモーダルが入力モーダルとして入力された場合に前記複数種類のモーダルのうちの前記第３の種類とは異なる第４の種類のモーダルを出力モーダルとして出力するモーダル推定モデルに前記対象者の生体情報を前記出力モーダルとして出力させる生体情報推定手段と
　を備え、
　前記モーダル生成モデルは、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力し、且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成された
　生体情報推定装置。
　［付記８］
　前記画像取得手段は、通信回線を介して、前記顔画像を生成する前記対象者を撮像することで前記顔画像を生成する画像生成装置から、前記顔画像を取得する
　付記７に記載の生体情報推定装置。
　［付記９］
　前記生体情報は、心拍数及び酸素飽和度のうちの少なくとも一つに関する情報を含む
　付記７又は８に記載の生体情報推定装置。
　［付記１０］
　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得し、
　前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させ、
　前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成する
　情報処理方法。
　［付記１１］
　コンピュータに、
　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得し、
　前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させ、
　前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成する
　情報処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。
　上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。
　この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体もまた、この開示の技術的思想に含まれる。
１、２、４　情報処理装置
１１、２１１　取得部
１２、２１２　モーダル生成部
１３、２１３　モーダル出力部
ＩＭＳ　部分モーダルセット
ＧＭＳ　生成全モーダルセット
１Ｍ　第１の種類のモーダル
２Ｍ　第２の種類のモーダル
２１、５１　演算装置
２１４　第１モデル生成部
２２、５２　記憶装置
ＭＭＳ　全モーダルセット
ＧＭ　モーダル生成モデル
ＧＭＥ　エンコーダ部
ＧＭＤ　デコーダ部
ＥＬ　環境ラベル
３１２　入力値生成部
４１４　第２モデル生成部
ＥＭ　モーダル推定モデル
３Ｍ　第３の種類のモーダル
４Ｍ　第４の種類のモーダル
５００　オンライン診断システム
５０　診断支援装置
５１５　画像取得部
５１６　生体情報推定部
５３　通信装置
６１　画像生成装置

Claims (11)

  1. 　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得する取得手段と、
    　前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させる出力手段と、
    　前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成するモーダル生成手段と
    　を備える情報処理装置。
  2. 　前記第２のモーダルセットを用いた機械学習を行うことで前記モーダル生成モデルを生成する第１モデル生成手段を更に備える
    　請求項１に記載の情報処理装置。
  3. 　前記出力手段は、前記モーダル生成モデルに、前記第１の種類のモーダルが取得された場合の取得環境を示す環境情報を入力することで、前記モーダル生成モデルに前記第２の種類のモーダルを出力させる
    　請求項１または２に記載の情報処理装置。
  4. 　前記モーダル生成モデルは、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に、前記複数種類のモーダルのうちの少なくとも一つの特徴量を圧縮するエンコーダ部と、圧縮された前記特徴量を展開して前記複数種類のモーダルのうちの少なくとも一つを生成するデコーダ部とを含み、
    　前記出力手段は、前記エンコーダ部及び前記デコーダ部の少なくとも一方に、前記環境情報を入力する
    　請求項３に記載の情報処理装置。
  5. 　前記第３のモーダルセットを用いた機械学習を行うことで、前記複数種類のモーダルのうちの第３の種類のモーダルが入力モーダルとして入力された場合に前記複数種類のモーダルのうちの前記第３の種類とは異なる第４の種類のモーダルを出力モーダルとして出力するモーダル推定モデルを生成する第２モデル生成手段を更に備える
    　請求項１から４のいずれか一項に記載の情報処理装置。
  6. 　前記複数種類のモーダルは、顔画像、心拍数及び酸素飽和度のうちの少なくとも一つに関する情報を含む複数種類の生体情報である
    　請求項１から５のいずれか一項に記載の情報処理装置。
  7. 　対象者の顔画像を取得する画像取得手段と、
    　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットとモーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを用いた機械学習を行うことで、前記複数種類のモーダルのうちの第３の種類のモーダルが入力モーダルとして入力された場合に前記複数種類のモーダルのうちの前記第３の種類とは異なる第４の種類のモーダルを出力モーダルとして出力するモーダル推定モデルに前記対象者の生体情報を前記出力モーダルとして出力させる生体情報推定手段と
    　を備え、
    　前記モーダル生成モデルは、前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力し、且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成された
    　生体情報推定装置。
  8. 　前記画像取得手段は、通信回線を介して、前記顔画像を生成する前記対象者を撮像することで前記顔画像を生成する画像生成装置から、前記顔画像を取得する
    　請求項７に記載の生体情報推定装置。
  9. 　前記生体情報は、心拍数及び酸素飽和度のうちの少なくとも一つに関する情報を含む
    　請求項７又は８に記載の生体情報推定装置。
  10. 　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得し、
    　前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させ、
    　前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成する
    　情報処理方法。
  11. 　コンピュータに、
    　複数種類のモーダルのうちの第１の種類のモーダルを少なくとも含み、前記複数種類のモーダルのうちの第２の種類のモーダルを含まない第１のモーダルセットを取得し、
    　前記複数種類のモーダルのうちの少なくとも一つが入力された場合に前記複数種類のモーダルのうちの少なくとも一つを出力するモーダル生成モデルであって且つ前記複数種類のモーダルを含む第２のモーダルセットを用いた機械学習によって生成されたモーダル生成モデルに、前記第１のモーダルセットを入力することで、少なくとも前記第２の種類のモーダルを出力させ、
    　前記第１のモーダルセットと前記モーダル生成モデルが出力した前記第２の種類のモーダルとを含む第３のモーダルセットを生成する
    　情報処理方法を実行させるためのコンピュータプログラムが記録された記録媒体。
PCT/JP2021/036092 2021-09-30 2021-09-30 情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体 WO2023053324A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036092 WO2023053324A1 (ja) 2021-09-30 2021-09-30 情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/036092 WO2023053324A1 (ja) 2021-09-30 2021-09-30 情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2023053324A1 true WO2023053324A1 (ja) 2023-04-06

Family

ID=85781584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036092 WO2023053324A1 (ja) 2021-09-30 2021-09-30 情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023053324A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152004A (ja) * 2017-03-15 2018-09-27 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019056957A (ja) * 2017-09-19 2019-04-11 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152004A (ja) * 2017-03-15 2018-09-27 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2019056957A (ja) * 2017-09-19 2019-04-11 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体

Similar Documents

Publication Publication Date Title
US11562222B2 (en) Systems and methods of identity analysis of electrocardiograms
CN108478209B (zh) 心电信息动态监护方法和动态监护系统
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
Dhar et al. Interference aware scheduling of sensors in IoT enabled health-care monitoring system
JP2023182756A (ja) 脳症／せん妄のスクリーニングおよびモニタリングのための装置、システムおよび方法
RU2657384C2 (ru) Способ и система неинвазивной скрининговой оценки физиологических параметров и патологий
EP4272645A1 (en) Method and apparatus for converting electrical biosignal data into numerical vectors, and method and apparatus for analyzing disease by using same
US20230105909A1 (en) Method and System For Generating An ECG Signal
CN111222464B (zh) 情感分析方法以及系统
CN115778403B (zh) 心电图分析方法、装置、电子设备和存储介质
WO2023053324A1 (ja) 情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体
JP6739841B2 (ja) 脳情報解析装置及び脳情報模倣演算装置
Islam et al. A motion detection algorithm for video-polysomnography to diagnose sleep disorder
Al Younis et al. Non-invasive technologies for heart failure, systolic and diastolic dysfunction modeling: A scoping review
JP7058383B2 (ja) 情動判定装置、情動判定方法、及びプログラム
Arif et al. IoT Cloud Platform Based on Asynchronous Processing for Reliable Multi-user Health Monitoring
WO2022215322A1 (ja) 情報処理システム
Naveen Kumar et al. A Real Time Human Emotion Recognition System Using Respiration Parameters and ECG
US12004859B2 (en) Contactless automated and remote polygraph test
JP7435965B2 (ja) 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム
WO2023229016A1 (ja) 医療連携システム、医療連携方法、及びプログラム
WO2022208581A1 (ja) 学習装置、判定装置、学習済みモデル生成方法及び記録媒体
WO2022065073A1 (ja) 生体情報解析システム、情報処理方法、及びプログラム
US20240032832A1 (en) Contactless automated and remote polygraph test
ROMAISSA Automated Heartbeat Classification and Cardiovascular Disease Detection Using Deep Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959366

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550891

Country of ref document: JP