WO2021132284A1 - 健康管理システム、健康管理装置、健康管理プログラムおよび健康管理方法 - Google Patents

健康管理システム、健康管理装置、健康管理プログラムおよび健康管理方法 Download PDF

Info

Publication number
WO2021132284A1
WO2021132284A1 PCT/JP2020/048049 JP2020048049W WO2021132284A1 WO 2021132284 A1 WO2021132284 A1 WO 2021132284A1 JP 2020048049 W JP2020048049 W JP 2020048049W WO 2021132284 A1 WO2021132284 A1 WO 2021132284A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
disease
voice
user
server
Prior art date
Application number
PCT/JP2020/048049
Other languages
English (en)
French (fr)
Inventor
鉄之助 原勢
頼夫 熊本
康宏 大宮
Original Assignee
株式会社生命科学インスティテュート
Ｐｓｔ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社生命科学インスティテュート, Ｐｓｔ株式会社 filed Critical 株式会社生命科学インスティテュート
Priority to JP2021567503A priority Critical patent/JPWO2021132284A1/ja
Publication of WO2021132284A1 publication Critical patent/WO2021132284A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a health management system, a health management device, a health management program, and a health management method.
  • Maintaining the health of the people is the basis of individual happiness, and at the same time, it can prevent the decrease in productivity due to the aggravation of illness and the increase in the period of medical expenses and long-term care benefit costs.
  • the increase in social security burden will also be suppressed.
  • the consultation rate is 77% for semi-compulsory company health checkups, while self-employed, family employees, and housework specialists. , Contract employees, etc. are about 50%.
  • a medical examination such as lack of time, cost, and not knowing that there is a medical examination, but in the end, the awareness of health (health literacy) is low, and illness is prevented or detected early. It can be said that it underestimates the significance of doing.
  • Patent Documents 1 and 2 a technique for estimating emotions and mental states (see Patent Documents 1 and 2) has been disclosed by analyzing voices produced by utterances, and it is possible to analyze voices to measure and quantify a person's state. Is becoming.
  • Patent Document 3 a technology for granting the right to access a device by performing personal authentication using a voiceprint (see Patent Document 3) and a voice recognition technology for operating a machine by voice of a smart home compatible home appliance (see Patent Document 4) are disclosed.
  • voiceprint a technology for granting the right to access a device by performing personal authentication using a voiceprint
  • Patent Document 4 a voice recognition technology for operating a machine by voice of a smart home compatible home appliance
  • each person carries a calling device, so it is possible to speak at any time if necessary.
  • the voice is recorded and saved as electronic data, it will not deteriorate like blood or urine, so it has the advantage that it can be analyzed retroactively as needed at any time.
  • an object of the present invention is a health management system that enables anyone, anywhere, in a short time, non-invasively, to measure their own health condition extremely easily without being known to others. , To provide health care equipment, health care programs and health care methods.
  • the present inventors can continuously manage health from a healthy state to a disease, recovery, and a healthy state again.
  • the heading has reached the present invention.
  • the health management system stores a first server that continuously stores voice data acquired from a user, a second server that stores user identification data, and output data for the user.
  • a health management system including a third server for estimating a predetermined disease by inputting an acoustic feature amount extracted based on voice data, and the estimation device is based on voice data. Output data of the third server based on the extraction unit that extracts the acoustic feature amount, the estimation unit that estimates a predetermined disease by inputting the acoustic feature amount, and the estimation result of the estimation unit and the user identification data.
  • the selection unit comprises a selection unit, which provides a first output for the pre-affected user of the third server if the presumed unit presumes that the user is not suffering from any disease.
  • a second for users suspected of having a third server if the data is configured to be selected and the presumer presumes that the user is suspected of having one of the diseases.
  • the identification data of the second server is updated and the third server is used after the illness. It is characterized in that a third output data for a person is selected, and the third output data is continuously selected even after remission.
  • a health management system and health that can measure and grasp one's own health condition extremely easily by anyone, anywhere, in a short time, non-invasively, without being known by others.
  • Management devices, health management programs and health management methods can be provided.
  • FIG. 1 is a hardware configuration diagram showing an example of a computer that realizes the functions of the health management system 200 of the present application.
  • FIG. 2 is a configuration diagram of the health management system 200 according to the embodiment of the present application.
  • FIG. 3A is a diagram showing the formula F (a) of the feature amount for calculating one or more acoustic feature amounts.
  • FIG. 3B is an image diagram showing that the intensity of one acoustic feature is different for each disease.
  • FIG. 3C is a distribution image of predicted disease values obtained by a combination of three acoustic parameters.
  • FIG. 4A is a graph showing a graph of an ROC curve showing a healthy subject or a specific disease and other separation performance.
  • FIG. 4B is a graph showing a graph of an ROC curve showing a healthy subject or a specific disease and other separation performance.
  • FIG. 5 is a diagram showing an example sentence read aloud by each patient and a healthy person for use in learning data.
  • FIG. 6 is a diagram showing the results of estimating whether the user is in the healthy, dementia group, or mood disorder group.
  • FIG. 7 is a diagram showing the estimation result of the estimation program for each phrase in the classification of major depression and healthy condition.
  • FIG. 8A is a diagram showing the results of summarizing for each person what was determined to be either major depression or healthy for each phrase based on the estimation program.
  • FIG. 8B is a diagram showing the results of summarizing for each person what was determined to be either major depression or healthy for each phrase based on the estimation program.
  • FIG. 9 shows the results when the health judgment rate for each person was obtained, a person with a health judgment rate of 60% or more was estimated as a healthy person, and a person with a health judgment rate of less than 60% was estimated as a major depression patient. It is a figure which shows.
  • FIG. 10 is a diagram showing the estimation result of the estimation program for each phrase in the classification of Lewy body dementias and healthy.
  • FIG. 11A is a diagram showing an estimation result of Lewy body dementias.
  • FIG. 11B is a diagram showing the estimation results of Lewy body dementias.
  • FIG. 12 shows a case where the health judgment rate for each person is obtained, a person with a health judgment rate of 60% or more is estimated to be a healthy person, and a person with a health judgment rate of less than 60% is judged to be Lewy body dementias. It is a figure which shows the result.
  • FIG. 13 is a sequence diagram showing the operation of the health management system 200.
  • FIG. 14 is a sequence diagram showing the operation of the health management system 200.
  • FIG. 15 is a schematic view showing an overall picture of the health management system 200.
  • FIG. 16 is a diagram showing an example of registering a user using a voice platform device or another system (transmission / reception, output of original determination result) or an embedded system.
  • FIG. 17 is a diagram illustrating a flow regarding user registration.
  • FIG. 16 is a diagram showing an example of registering a user using a voice platform device or another system (transmission / reception, output of original determination result) or an embedded system.
  • FIG. 17 is a diagram
  • FIG. 18 is a diagram illustrating a flow regarding storage of voice data.
  • FIG. 19 is a diagram illustrating an example of voice analysis of a user whose identification information has been registered.
  • FIG. 20 is a diagram illustrating an example relating to discrimination.
  • FIG. 21 is a diagram illustrating an example of behavioral support.
  • FIG. 22A is a diagram illustrating a flow regarding the system.
  • FIG. 22B is a diagram illustrating a flow regarding the system.
  • FIG. 23 is a diagram illustrating data transmission / reception, a voice platform, a voice analysis device, and an embedded system.
  • FIG. 24 is a diagram illustrating a voice platform device.
  • FIG. 25 is a diagram illustrating a voice analysis device.
  • FIG. 26 is a diagram illustrating another system.
  • FIG. 27A is a diagram illustrating another system.
  • FIG. 27B is a diagram illustrating another system.
  • FIG. 1 is a hardware configuration diagram showing an example of a computer that realizes the functions of the health management system 200.
  • the computer 100 has a CPU 101, a RAM 102, a ROM 103, an HDD 104, a communication interface (I / F) 105, an input / output interface (I / F) 106, and a media interface (I / F) 107.
  • the CPU 101 operates based on the program stored in the ROM 103 or the HDD 104, and controls each part.
  • the ROM 103 stores a boot program executed by the CPU 101 when the computer 100 is started, a program that depends on the hardware of the computer 100, and the like.
  • the HDD 104 stores a program executed by the CPU 101, data used by the program, and the like.
  • the communication interface 105 receives data from another device via the network N and sends it to the CPU 101, and transmits the data generated by the CPU 101 to the other device.
  • the CPU 101 controls an output device such as a display or a printer, an audio input device such as a microphone, and an input device such as a keyboard or a mouse via the input / output interface 106.
  • the CPU 101 acquires data from the input device via the input / output interface 106. Further, the CPU 101 outputs the generated data to the output device via the input / output interface 106.
  • the media interface 107 reads the program or data stored in the recording medium 108 and provides the program or data to the CPU 101 via the RAM 102.
  • the CPU 101 loads the program from the recording medium 108 onto the RAM 102 via the media interface 107, and executes the loaded program.
  • the recording medium 108 is, for example, an optical recording medium such as a DVD (Digital Paris Disc) or PD (Phase change rewritable Disc), a magneto-optical recording medium such as an MO (Magnet-Optical disc), a tape medium, a magnetic recording medium, or a semiconductor memory. And so on.
  • the CPU 101 of the computer 100 realizes the function of the control unit by executing the program loaded on the RAM 102. Further, the data in the storage unit is stored in the HDD 104. The CPU 101 of the computer 100 reads these programs from the recording medium 108 and executes them, but as another example, these programs may be acquired from another device. [2. Health management system configuration]
  • the health management system 200 is wirelessly or wiredly connected to the user terminal 201 and the web server 202 via the network N.
  • the health management system 200 may also be connected to a plurality of user terminals 201 and a plurality of web servers 202.
  • the web server 202 includes a part of the functions of the health management system 200, a medical examination facility, and a server of the medical facility.
  • the health management system 200 includes a communication unit 203, a first server 204, a second server 205, a third server 206, and a fourth server 210.
  • Each of the first to fourth servers has a function as a storage unit. Further, a part of the fourth server functions as a control unit.
  • the communication unit 203 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 203 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the user terminal 201.
  • the storage unit is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory)
  • flash memory Flash Memory
  • storage device such as a hard disk or an optical disk.
  • control unit is realized by executing various programs stored in the storage device of the health management system 200 using the RAM as a work area by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). Will be done. Further, the control unit is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the functions of the storage unit and the control unit are realized in cooperation with the first server to the fourth server in FIG.
  • the first to fourth servers will be described.
  • the first server 204 has a function of continuously storing voice data acquired from the user.
  • the second server 205 has a function of storing user identification data, and the user log is continuously updated by communication with the user terminal 201 and the web server 202.
  • the third server 206 includes the first to third distribution data (207 to 209).
  • the third server 206 has a function of storing distribution data for users.
  • the function of the third server may be replaced by an external web server 202 via the communication unit 203.
  • the fourth server 210 includes a calculation unit 211, an estimation unit 212, a selection unit 213, and a storage unit 214.
  • the fourth server performs estimation processing for estimating a predetermined disease by inputting acoustic features calculated based on the voice data of the first server, and selects distribution data stored in the third server. By performing the distribution process, it functions as an estimation device.
  • the first to fourth servers are allocated for convenience to explain the functions of the health management system 200, and even if a part or a plurality of servers of the same server have these functions. Good.
  • the estimation program and the distribution program stored in the fourth server 210 operate as the calculation unit 211, the estimation unit 212, and the distribution unit 213 by executing the RAM 102 of FIG. 1 as a work area.
  • the calculation unit 211, the estimation unit 212, and the distribution unit 213 function as control units in the fourth server.
  • the storage unit 214 stores the estimation program, the distribution program, and the data of the second acoustic parameter described later.
  • the calculation unit 211 calculates the acoustic feature amount based on the voice data.
  • the estimation unit 212 estimates a predetermined disease by inputting the acoustic feature amount calculated by the calculation unit 211.
  • the selection unit 213 selects the distribution data stored in the third server based on the estimation result of the estimation unit 212 with reference to the identification data of the second server.
  • the health management system 200 has an estimation process for estimating the disease information of the user based on the estimation program and the distribution program stored in the fourth server 210, and a third based on the estimated information.
  • the distribution data can be applied with characters, figures, symbols, sounds, videos, games, and any other content as long as it interests the user and widely informs the information contained in the distribution data.
  • the distribution data stored in the third server 206 is distribution related to user's health management including data including distribution content that prompts the user's voice input and a message that prompts the user to visit a medical institution or have a medical examination. Contains data. Delivered data on user health management is the cognitive and social skills that determine an individual's willingness and ability to access, understand, and use information on how to improve and maintain better health. It is distribution data about information for enhancing health literacy, for example, includes information for enhancing health literacy. Further, the distribution data may be a numerical result of the estimation process of the fourth server.
  • the first distribution data 207, the second distribution data 208, and the third distribution data 209 are classified and stored for convenience.
  • the first delivery data 207 includes health information for pre-morbid users.
  • the second distribution data 208 is used by the estimation unit 212 of the fourth server 210 to visit a medical institution or perform a medical examination for a user who is presumed to be suffering from any of the diseases. Contains health information, including prompting messages.
  • the third distribution data 209 includes health information for users after illness.
  • the first to third distribution data (207 to 209) will be described more specifically.
  • the user to whom the first distribution data 207 is distributed is assumed to be a person who has relatively good health care, disease prevention, and health promotion in daily life. Therefore, the first distribution data 207 includes information related to health promotion such as information for encouraging regular medical examinations and recreation information according to the situation / place where the user terminal 201 is used.
  • the frequency with which the first distribution data 207 is distributed is lower than the frequency with which the second and third distribution data are distributed.
  • the first distribution data 207 may be distributed at the timing when the user inputs the voice via the user terminal 201.
  • the user to whom the second distribution data 208 is distributed is assumed to be a person suspected of suffering from some kind of mental / nervous system disease. Therefore, the second distribution data 208 includes information prompting a visit to a specific medical institution. However, users may not admit that they are suspected of having a mental or nervous system disorder. In addition, even if you become aware of your illness, you may not receive medical care due to the prejudice of mental illness and the resistance to seeing a psychiatric / psychosomatic medicine department.
  • the delivery data for patiently persuading the patient may be configured to be delivered more frequently than the first delivery data.
  • Alzheimer's dementia and frontotemporal dementia Alzheimer's dementia and Lewy body dementias
  • Lewy body dementia and Parkinson's disease and bipolar disorder and major depression.
  • depressive symptoms such as depressed mood and restraint of thinking reduce attention, concentration, judgment, and memory, and there is pseudo-dementia that looks like dementia, which is appropriate.
  • pseudo-dementia that looks like dementia, which is appropriate.
  • the present invention is advantageous in that distribution data can be provided by distinguishing recommended medical institutions according to the specified disease based on the disease estimated via the estimation unit 212 as in the present invention.
  • the user to whom the third distribution data 209 is distributed is assumed to be a person who has a history of suffering from some mental / nervous system disease or a person who is being treated for some mental / nervous system disease.
  • the estimation unit 212 presumes that the disease has recurred, or suffers from other psychiatric / nervous system diseases. If it is suspected that the data is being used, the second distribution data 208 is distributed.
  • the selection unit 213 of the fourth server 210 selects and distributes the first to third distribution data according to the estimation result of the estimation unit 212 and the health condition of the user.
  • the server of the medical institution to which the doctor belongs via the web server 202, or the user himself / herself via the user terminal 201. Therefore, it is configured to update the identification data of the second server 205. After the update of the identification data is completed, the selection unit 213 is configured to select the second or third distribution data (208, 209) with respect to the user.
  • the health management system 200 is an information processing device such as a web server that performs data communication via the user terminal 201 while collecting the user's voice data using the user terminal 201 used by the user as a voice input means. ..
  • the target distribution data is based on the estimation result of the disease based on the voice data of the user who uses the user terminal 201. Is selected, and the selected distribution data is transmitted to the user terminal 201.
  • the user identification data is stored in the second server 205, the log is continuously updated via the user terminal 201, and the medical examination result and the medical examination result and the medical examination result from the medical institution or the medical institution via the web server 202. Diagnosis results are continuously updated.
  • the user identification data includes health information having personal information including whether or not the user has suffered from a predetermined disease, the user's gender, age, address, hobbies, interests, behavior history, etc. There is various information showing the user's profile and identity, such as the browsing history of web pages.
  • the health information having personal information includes personal information including the result of a medical examination of a user or the result of a diagnosis of a disease by a doctor.
  • the user terminal 201 is a communication terminal such as a smartphone or tablet having a means for inputting voice and a means for outputting distribution data, and is arbitrary via a wireless communication network such as 3G (Generation) or LTE (Long Term Evolution). Can communicate with the server device of.
  • the user terminal 201 is an information processing device such as a desktop PC (Personal Computer), a notebook PC, a netbook, or a server device, as long as it has a means for inputting voice and a means for outputting distribution data. It may be.
  • the user terminal 201 can also incorporate a part of its function into an electronic device having a means for inputting voice or a means for outputting distribution data.
  • a mobile device such as an automobile, a hardware device for operating a computer game such as a home video game machine, or a play facility such as a karaoke box or a treadmill has a function of inputting voice or a function of outputting distribution data.
  • a mobile device such as an automobile, a hardware device for operating a computer game such as a home video game machine, or a play facility such as a karaoke box or a treadmill has a function of inputting voice or a function of outputting distribution data.
  • a play facility such as a karaoke box or a treadmill has a function of inputting voice or a function of outputting distribution data.
  • the health management system 200 can show web contents to encourage the user to input voice via the user terminal 201.
  • the web content for prompting the user to input voice is the distribution content stored in the third server 206, and includes text, image, video, animation, or voice reproduction.
  • the user terminal 201 transmits a web content distribution request to the web server that distributes the web content automatically via the application or by the user's operation.
  • the transmission of the delivery request may be automatically transmitted to the web server when the user starts the application of the user terminal 201.
  • the health management system 200 delivers web content to the user terminal 201 to encourage the user to input voice. Then, the user terminal 201 displays the web content received from the health management system 200.
  • the character in the game is configured to deliver a message prompting the user to input voice via the application. May be good.
  • the health management system 200 stores the voice data in the first server 204 of the distribution server 10. Then, when the distribution request requesting the distribution of the data stored in the third server 206 is received, the disease is estimated based on the voice data of the user who uses the user terminal 201, and the distribution data is further processed. The selection process is performed, and the selected distribution data is transmitted to the terminal device 100. [3. Processing executed by the health management system 200]
  • the health management system 200 distributes the data stored in the third server 206, the estimation result of the estimation unit 212 of the fourth server 210 and the user identification data stored in the second server 205 are used. Based on this, the distribution data to be distributed is selected from the first to third distribution data (207 to 209) stored in the third server.
  • the distribution data related to health management to be distributed is based only on the user identification data stored in the second server 205.
  • the user to be distributed is a man
  • health information similar to the health information provided by many men has been distributed.
  • the attribute information of the user may be unknown, such as when the cookie or the like is deleted and the ID (Identifier) for identifying the user becomes unknown. In such a case, in the prior art, it is not possible to select appropriate distribution data to be distributed.
  • the distribution data that the health management system 200 should select is not preferable for users who do not receive regular medical examinations or who do not visit medical institutions even if they develop some kind of mental or nervous system disease. , There is a risk that the information provided to enhance health literacy will adversely affect users.
  • the health management system 200 calculates the acoustic feature amount of the user by using the calculation unit 211 of the fourth server 210 that calculates the acoustic feature amount from the voice data stored in the first server 204. Then, the distribution server 10 executes an estimation process for estimating the user's disease in the estimation unit 212 of the fourth server based on the calculated feature amount.
  • the health management system 200 calculates the acoustic feature amount of the voice data by using the calculation unit 211 of the fourth server 210 when the user whose attribute information of the user is unknown inputs the voice data. To do.
  • the health management system 200 executes an estimation process for estimating a user's disease in the estimation unit 212 of the fourth server based on the calculated feature amount. Then, the health management system 200 uses the estimated disease information to select the distribution data to be distributed by the selection unit 213 and execute the distribution process for distribution. [4. Calculation part and estimation part]
  • acoustic parameters are extracted from the subject's audio data. Acoustic parameters are parameters of the characteristics of sound transmission. For example, acoustic parameters include zero point intersection rate, Hurst index, and the like. The zero point crossing rate is calculated by calculating the number of times per unit time that the sound pressure waveform of the voice crosses the reference pressure as the degree of severity of the change in the waveform in the voice. The Hurst index indicates the correlation of changes in the waveform of speech.
  • Acoustic parameters are classified into a first acoustic parameter and a second acoustic parameter.
  • the first acoustic parameter is an acoustic parameter extracted from the voice of a user who should estimate a specific disease.
  • the first acoustic parameter is extracted based on the voice data stored in the first server 204.
  • the second acoustic parameter is an acoustic parameter recorded in advance in the database.
  • the data of the second acoustic parameter is stored in the storage unit 214 of the fourth server 210 or another server that substitutes the function of the database.
  • the second acoustic parameter is extracted from the audio data of patients with Alzheimer's disease, Lewy body dementias, Parkinson's disease, major depression, atypical depression, or bipolar disorder, and each acoustic parameter is extracted. And each disease are linked in advance.
  • acoustic parameters used in the present invention include the following items. 1) Volume envelope (attack time, decay time, sustain level, release time) 2) Waveform fluctuation information (Shimmer, Jitter) 3) Zero crossing rate 4) Hurst index 5) VOT (Voice Onset Time) 6) Statistical values of intra-speech distribution for a certain coefficient of Mel frequency Keptram (1st quartile, median, 3rd quartile, 95% point, arithmetic mean, geometric mean, 3rd quartile) Median difference, etc.) 7) Statistical values of intra-speech distribution at the rate of change of the frequency spectrum (1st quartile, median, 3rd quartile, 95% point, arithmetic mean, geometric mean, 3rd quartile) And the difference between the median and the median) 8) Statistical values of intra-speech distribution for time variation of certain coefficients of Mel frequency Keptram (1st quartile, median, 3rd quartile, 95% point, a
  • acoustic parameter extraction software for example, openSMILE, etc.
  • 7440 acoustic parameters were extracted, first, the acoustic parameters depending on the recording environment were removed, and one or a plurality of acoustic parameters suitable for expressing the health condition were selected from the remaining ones.
  • the estimation program stored in the fourth server 210 has a learning function by artificial intelligence and performs estimation processing by the learning function.
  • Neural network type deep learning may be used, reinforcement learning that partially strengthens the learning field, etc. may be used, and other genetic algorithms, cluster analysis, self-organizing maps, ensemble learning, etc. Etc. may be used.
  • other technologies related to artificial intelligence may be used.
  • ensemble learning a classification algorithm may be created by a method that uses both boosting and a decision tree.
  • the algorithm creator examines by the stepwise method so as to make a better combination of arbitrary acoustic parameters used as the variable f (n) from the items of the second acoustic parameter described above. And select one or more. Next, a coefficient is added to any selected acoustic parameter to create one or more acoustic features. Further, these acoustic features are combined to create an acoustic feature F (a).
  • variable increase method variable decrease method
  • variable increase / decrease method variable increase / decrease method
  • Regression analysis used in the stepwise method includes linear classification processing such as linear discriminants and logistic regression analysis.
  • the variables f (n) and their coefficients, that is, the coefficients xn of the equation F (a) shown in the equation of FIG. 3A, are called regression coefficients and are weights given to the function f (n).
  • the quality of the regression coefficient may be improved by machine learning to improve the estimation accuracy from the disease information accumulated in the database after being selected by the creator of the learning algorithm.
  • FIG. 3A is a feature equation F (a) for calculating one or more acoustic features.
  • the predicted value of the subject's disease can be calculated based on the formula F (a).
  • f (n) is an arbitrarily selected second acoustic parameter from any one or more of the above acoustic parameter items (1) to (11).
  • xn is a disease-specific regression coefficient.
  • f (n) and xn may be stored in advance in the storage unit 214 of the fourth server 210 as a part of the estimation program.
  • the regression coefficient of the feature F (a) may be improved in the process of machine learning of the estimation program.
  • the calculation unit 211 of FIG. 2 calculates a feature amount for distinguishing a healthy person from a subject having a disease or distinguishing between diseases based on the combination of the second acoustic parameters. From this feature amount, the predicted value of the subject's disease is calculated by performing scoring for calculating the reference range and how far the subject's value is from the reference range.
  • FIG. 3B is an image diagram showing that the intensity of one acoustic feature differs for each disease. Subjects show the highest score for disease A. Therefore, the predicted value for the disease A of the subject is calculated higher than that of other disease groups. Further, for example, by setting the intensity 50 as a threshold value, it can be classified into a group of disease A, disease D, and disease E, and a group of disease B and disease C.
  • the predicted value of the disease is calculated based on the intensity of one acoustic feature amount, but in reality, it is difficult to classify the disease only by one acoustic feature amount. Therefore, the feature amount F (a) obtained by combining some acoustic feature amounts may be calculated to classify the disease.
  • the predicted value of the disease is calculated for the voice of the labeled subject, and the distribution of the predicted value for each disease is obtained. Thereby, each disease can be classified.
  • FIG. 3C is a distribution image of predicted values of diseases (described as “mental values” in FIG. 3C) obtained by a combination of three acoustic parameters.
  • the distribution of predicted values in the group of patients with Lewy body dementias can be separated from the distribution of predicted values in the group of patients with other diseases and the group of healthy subjects.
  • a combination of acoustic parameters is set for each disease so as to be distinguishable from other diseases, a feature amount F (a) is calculated, and a feature amount F (a) which is a combination of acoustic feature amounts is input. , It is possible to determine which disease the voice of each subject applies to.
  • the feature amount F (a) which is a combination of the acoustic feature amounts for each disease, is extracted from the voice of each patient, and which disease feature amount has more is obtained to predict the disease. By comparing the values with each other, it can be estimated that the patient is suffering from the disease.
  • the predicted value of the disease can be regarded as the degree of suffering from the disease.
  • each disease The feature amount F (a), which is a combination of the acoustic feature amounts related to, is extracted, and the predicted value of each disease is calculated.
  • an estimation program may be created from the voices of patients including 10 diseases including 4 diseases of vascular dementia, frontotemporal dementia, cyclothymia, and dysthymia. ..
  • the feature amount (a) of each disease may be extracted and the predicted value of the disease may be calculated.
  • the feature amount F (a) related to the disease group as an input to the estimation unit, and inputting / estimating in multiple stages, the disease or health is finally estimated. You may. [4-2. Estimated accuracy]
  • FIGS. 4A and 4B are graphs of ROC curves showing the separation performance of healthy subjects or specific diseases and others.
  • the horizontal axis shows 1-specificity, and the vertical axis shows sensitivity. In other words, the horizontal axis shows the false positive rate and the vertical axis shows the true positive rate.
  • the ROC curves of FIGS. 4A and 4B both showed a high true positive rate when the false positives were low.
  • AUC Absolute under an ROC curve
  • Diseases for which separation performance has been verified are Lewy body dementias, Alzheimer's disease, Parkinson's disease, major depression, bipolar disorder, and non-specific depression.
  • the AUC in each ROC curve is 0.794 for Lewy body dementias, 0.799 for Alzheimer's disease, 0.771 for Parkinson's disease, 0.869 for major depression, and 0.86 for bipolar disorder.
  • Non-specific depression was 0.86.
  • the diseases that can be estimated using the present invention are not limited to the above. From the AUC results, it can be confirmed that the disease estimation accuracy is high.
  • the estimation program of the present invention can classify Lewy body dementias as healthy or other diseases.
  • the estimation program of the present invention can classify Alzheimer's disease as healthy or other diseases.
  • the estimation program of the present invention can classify Parkinson's disease as healthy or other diseases.
  • the estimation program of the present invention can classify major depression as healthy or other illness.
  • the estimation program of the present invention can classify bipolar disorder as healthy or other diseases.
  • the estimation program of the present invention can classify non-specific depression as healthy or other illness.
  • the estimation program of the present invention can classify a healthy state as the above-mentioned disease.
  • the estimation program created as described above can be used without any particular restrictions by those who are suspected of having a mental or neurological disorder or those who are presumed to be healthy. It can be easily used as a tool for medical examination by a doctor, or as an inspection item for a medical examination or a human dock, if the voice of the subject is acquired.
  • the voice data analysis device of the present invention can be equipped with several different voice analysis programs.
  • MIMOSYS registered trademark of PST Inc.
  • MIMOSYS is a product equipped with a voice analysis program that calculates the type and magnitude of emotions emitted by the user and the degree of energy by voice analysis.
  • an analysis program for measuring the possibility of mental / nervous system disease is provided. It is preferable to use it.
  • Examples of such a voice analysis program include a program for estimating whether the patient is healthy, may have a disease in the dementia group, or may have a disease in the mood disorder group.
  • the dementia group includes Lewy body dementias, Alzheimer's disease, and Parkinson's disease.
  • vascular dementia can be included.
  • the mood disorder group includes major depression, bipolar disorder, and atypical depression.
  • cyclothymia and dysthymia can be included.
  • a psychiatric / nervous system disease is preferable, but since there is a possibility that a disease affecting speech can be estimated, for example, a heart disease, a respiratory system disease, etc. can be mentioned.
  • this item 5-1 the diseases were classified into a dementia group including Levy body dementia, Alzheimer's dementia, and Parkinson's disease, and a mood disorder group including major depression, bipolar disorder, and atypical depression.
  • a dementia group including Levy body dementia, Alzheimer's dementia, and Parkinson's disease
  • a mood disorder group including major depression, bipolar disorder, and atypical depression.
  • an estimation program for estimating whether a user is in a healthy, dementia group, or mood disorder group will be described. First, the procedure for creating the estimation program will be described.
  • each patient and a healthy person utter 17 sentences (2 times each for Nos. 1 to 13 and 1 time each for Nos. 14 to 17) introduced in FIG. I got 30 utterances for each person.
  • the acoustic parameter group of was obtained.
  • FIG. 6 shows the determination results of 34 persons performed in the same manner.
  • the correct answer rate by the estimation program was 85.3%.
  • a dementia group including Levy body dementia, Alzheimer's disease, and Parkinson's disease
  • a mood disorder group including major depression, bipolar disorder, and atypical depression
  • the program will be classified. It has been well demonstrated that it is possible to estimate whether a user is in a healthy, dementia group, or mood disorder group.
  • an estimation program for classifying major depression as a healthy or other disease and an estimation program for classifying Lewy body dementias as a healthy or other disease are created. The procedure will be described. It should be noted that the same procedure can be used to create a program for classifying Alzheimer's disease, Parkinson's disease, bipolar disorder, or atypical depression as a disease other than healthy or selected diseases. Since it is not necessary to explain from the result of 4, it is omitted. [5-2-1. Example of creating a major depression estimation program]
  • acoustic features were extracted using openSMILE, which is software for extracting acoustic features, for each utterance phrase (about 30 utterances for each person) by 20 healthy subjects and 20 major depression patients. Feature quantities that differed significantly depending on the facility from which the voice was acquired were excluded, and 1547 feature quantities were selected. Then, by a method using both boosting and a decision tree, predicted values of diseases for distinguishing between healthy subjects and major depression were generated from the features, and a classification algorithm was created. The estimation result for each phrase is shown in FIG. 7A.
  • the judgment of major depression and major depression in the estimation program for classifying healthy patients was sensitivity 81.4%, specificity 85.5%, and correct answer rate 83.5%.
  • the health judgment rate for each person was calculated, and those with a health judgment rate of 60% or more were estimated to be healthy people, and those with a health judgment rate of less than 60% were estimated to be patients with major depression.
  • the result is shown in FIG. All 20 healthy individuals were estimated to be healthy, and all 20 patients with major depression were estimated to be patients with major depression. That is, the specificity, sensitivity, and correct answer rate were all 100%.
  • the putative program 5-2-1B is a psychiatric / nervous system that includes at least Alzheimer's disease, Lewy body dementias, Parkinson's disease, major depression, atypical depression, and bipolar disorder, which have similar symptoms to each other. Among the diseases, major depression is extracted and estimated.
  • the types of utterances used in the analysis are the 17 types of utterances (phrases) shown in FIG.
  • openSMILE is software that extracts acoustic features. Data that are significantly different depending on the facility that acquired the voice are excluded, and a classification algorithm is created by a method that uses both boosting and decision trees using the features of 1547 data to discriminate between major depression and other diseases. Generated predictive values of the disease to do.
  • the data was divided into 10 parts, and cross-validation of the classification algorithm of the estimation program 5-2-1B was performed 10 times.
  • the estimation result based on the estimation program 5-2-1B is shown in FIG. 7B.
  • the recall rate from major depression is 91.1%, from other psychiatric / nervous system disorders.
  • the recall rate seen was 93.8%, and the correct answer rate was 92.7%.
  • the AUC was 0.977. [5-2-2. Example of creating an estimation program for Lewy body dementias]
  • the procedure for creating the estimation program 5-2-2A is the same as that of the estimation program of item 5-2-1 above, except that the speech phrases of 20 healthy subjects and 20 patients with Lewy body dementias are used as voices. The procedure was used. The estimation result for each phrase is shown in FIG. 10A.
  • the judgment of Lewy body dementias in the estimation program 5-2-2A was sensitivity 81.5%, specificity 83.1%, and correct answer rate 82.2%.
  • the health judgment rate of each person was calculated, and those with a health judgment rate of 60% or more were estimated to be healthy persons, and those with a health judgment rate of less than 60% were estimated to be patients with Lewy body dementias.
  • the result is shown in FIG. All 20 healthy individuals were estimated to be healthy, and 19 of the 20 patients with Lewy body dementias were estimated to have Lewy body dementias, and 1 was estimated to be healthy. That is, the specificity was 100%, the sensitivity was 95%, and the correct answer rate was 97.5%.
  • Estimated program 5-2-2B is a psycho-neurological disorder that includes at least Alzheimer's disease, Lewy body dementias, Parkinson's disease, major depression, atypical depression, and bipolar disorder, which have similar symptoms to each other. Of these, Lewy body dementias is extracted and estimated.
  • the types of utterances used in the analysis are 17 types of utterances (phrases) as in the estimation program 1.
  • openSMILE is software that extracts acoustic features.
  • openSMILE is software that extracts acoustic features.
  • the data was divided into 10 parts, and cross-validation of the classification algorithm of the estimation program 5-2-2B was performed 10 times.
  • the estimation result based on the estimation program 5-2-2B is shown in FIG. 10B.
  • the recall rate from the viewpoint of Lewy body dementias is 88.6%, and other psychiatric disorders.
  • the recall rate from the viewpoint of nervous system disease was 89.8%, and the correct answer rate was 89.2%.
  • the AUC was 0.959.
  • Alzheimer's disease Lewy by combining an estimation program that classifies a specific disease into the other five diseases and an estimation program that classifies the specific disease into a healthy person in the same manner as described above. It is possible to estimate patients with body dementias, Parkinson's disease, major depression, atypical depression, bipolar disorder, and healthy subjects with high judgment probability. [6. Operation of health management system 200]
  • FIG. 13 and 14 are sequence diagrams showing the operation of the health management system 200. It will be described in order below.
  • FIG. 13 is a sequence diagram showing the operation of the health management system 200 before the user goes to the medical institution or when the user goes to the medical institution and then relieves.
  • step S1001 the user identification information or distribution request input from the user terminal 201 is transmitted to the second server 205 via the network N and the communication unit 203.
  • a user who has relieved a psychiatric / nervous system disease may include that fact in the identification information.
  • step S1002 the second server sends a message to the third server 206 notifying that the distribution request has been made from the user terminal 201.
  • step S1003 when the third server 206 receives the distribution request, it transmits the distribution data to the user terminal 201.
  • This distribution data includes a message prompting voice input.
  • the distribution data is transmitted to the user terminal 201 via the communication unit 203 and the network N, and is output by means for outputting the distribution data.
  • step S1004 the voice data input by the user via the voice input means of the user terminal 201 is transmitted to the first server 204.
  • step S1005 the first server stores a copy of the received voice data and transmits the voice data to the fourth server.
  • step S1006 the fourth server preprocesses the received voice data to calculate the first acoustic feature amount, and estimates the second acoustic feature amount stored in the storage unit 214 in advance.
  • the calculation unit 211 calculates the feature amount F (a).
  • the estimation unit 212 performs estimation processing for psychiatric / nervous system diseases based on the feature amount F (a) calculated by the calculation unit 211.
  • the estimation unit 212 estimates that the user does not suffer from any psychiatric / nervous system disease
  • the first distribution data 207 of the third server 206 is distributed via the selection unit 213. Will be done.
  • the estimation unit 212 estimates that the user is suspected of suffering from any of the mental and nervous system diseases
  • the third distribution data 209 of the third server 206 is distributed via the selection unit 213.
  • step S1007 the third server 206 transmits the predetermined distribution data to the user terminal 201.
  • the user terminal 201 outputs the received distribution data from the output means, and ends the process.
  • the user identification information registered in the second server 205 and the voice data of the user are estimated by the estimation unit 212 of the fourth server 210.
  • the distribution data distributed from the server 206 of 3 is configured to be changed. Therefore, it is useful in that health information suitable for each user's health condition can be distributed as distribution data. Further, by repeatedly executing a part or the whole of the steps shown in FIG. 13, it is possible to confirm the change in the state in time series.
  • FIG. 14 is a sequence diagram after the user has been diagnosed by a doctor, and includes mutual communication between the health management system 200 and a server of a medical institution in addition to the functions of the health management system 200 of FIG. In FIG. 14, the steps will be described on the assumption that the user has been diagnosed as having some kind of psychiatric / nervous system disease.
  • step S2001 the medical institution server 202M, which is a kind of the web server 202, accesses the second server 205 via the network N and the communication unit 203, and updates the user's identification information.
  • step S2002 the second server 205 transmits a message to the effect that the user's identification information has been updated to the third server 206.
  • step S2003 when the medical institution server 202M requests the user to input voice, or when the user terminal accesses the health management system 200, the third server 206 is used. A delivery message prompting the user to input voice is transmitted to the user terminal 201.
  • step S2004 the user's voice data input via the voice input means is transmitted to the first server 204.
  • step S2005 the first server 204 copies and stores the voice data, and transmits the voice data to the fourth server 210.
  • step S2006 the fourth server 210 preprocesses the received voice data to calculate the first acoustic feature amount, and the second acoustic feature amount previously stored in the storage unit 214 and the second acoustic feature amount.
  • the calculation unit 211 calculates the feature amount F (a).
  • the estimation unit 212 performs estimation processing for psychiatric / nervous system diseases based on the feature amount F (a) calculated by the calculation unit 211.
  • steps S2001 to S2006 may be repeated.
  • the user has already been diagnosed as having some kind of psychiatric / nervous system disease, but even after the diagnosis, the prognosis progress is periodically input as voice data and estimated by the fourth server. You can continue processing.
  • the voice data of the first server and the result of the estimation processing of the fourth server are saved each time. The stored data can be used as a basis for determining the prognosis in the diagnosis at the next visit.
  • step S2007 the third server 206 selects the distribution data via the selection unit based on the result of the estimation processing of the fourth server 210, and transmits the distribution data to the prognostic user.
  • the distribution data the second or third distribution data is selected.
  • the second or third distribution data may include question data to the user, including the questionnaire provided by the doctor. In that case, the process proceeds to step S2007.
  • the operations after step S2007 may be repeatedly executed independently of the operations of steps S2001 to S2006.
  • step S2007 the questionnaire is transmitted to the user terminal 201.
  • the input data is transmitted to the second server 205 and saved in step S2008.
  • step S2009 the input data is transmitted to the medical institution server 202M.
  • the operation of step S2009 may be combined with the operation of step S2008 performed by the second server 205.
  • the medical institution server 202M outputs the input data from the output means and ends the process.
  • the user can use the health management system 200 as an individual health management tool when he / she is not ill.
  • the health management system 200 can be used as a diagnostic support tool for doctors.
  • the health management system 200 can be used as an individual health management tool and as a monitoring means by a doctor as needed.
  • the medical institution server 202M is taken up as an example of the combined use of the web server 202 and the health management system 200, but instead of the medical institution using this system, the market institution conducts a consumer trend survey.
  • a health management system 200 including a medical institution server 202M may be used.
  • the health management system 200 can display an output each time an utterance is acquired and grasp the health condition each time, but as shown in FIGS. 13 and 14, the voice is continuously acquired and it is obtained. Can be analyzed collectively and changes can be seen in chronological order. For example, every month, every three months, etc., you can see the history up to that point on a regular basis or when you feel unwell.
  • dementia diseases such as Alzheimer's disease
  • the insight of the person is reduced, and there is a tendency that the person is not recognized as having the disease. If this happens, it will be difficult to receive treatment, the severity of the disease will increase, and the mental burden on the family and other surroundings will increase. Since dementia is more likely to develop with age, everyone is aware of the risk of developing dementia while it is mild, and actively trains to prevent the progression of dementia. You can receive it and prepare for the future. Also, the family can be prepared for the future and can easily deal with it. [8. Audio acquisition scene]
  • the user terminal 201 includes a communication terminal such as a smartphone or a tablet having a means for inputting voice and a means for outputting distribution data.
  • a communication terminal such as a smartphone or a tablet having a means for inputting voice and a means for outputting distribution data.
  • other examples of means for inputting voice will be introduced.
  • the health management system 200 is used in the non-medical field as a voice analysis engine during health, it is mainly used to determine the risk of illness and the physical and mental condition rather than the engine for determining illness. Conceivable. Specifically, for example, a voice determination engine that classifies into three categories, "health”, “presents depressive symptoms”, and “exhibits cognitive decline", is used.
  • the analysis results by the analysis device (engine) are, for example, H value 0, M value 0.75, C value 0.25, and so on.
  • the H value is 0.5
  • the M value is 0.25
  • the C value is 0.25, and the like.
  • the numerical value obtained by the analysis device may be output as it is, but it can be converted into some words and displayed for the user to understand easily.
  • both the M value and the C value are 0.3 or less, the user judges that he / she is healthy and outputs "the mind and body are in a healthy state". If the M or C value exceeds 0.3 to 0.5 or less, we propose to try a program to maintain, strengthen, or improve physical and mental health.
  • the M value or C value exceeds 0.5, it can be further subjected to an analysis device for determining the presence or absence of a disease, and another feedback can be added according to the numerical value.
  • the certainty of indicating that the disease is a specific disease by an analyzer for determining the disease is 0.7 or more, depressive symptoms such as major depression, bipolar disorder, and atypical depression are the main symptoms. If it is a symptom, "I recommend going to a mental clinic or psychotherapy internal medicine department.” If the certainty is 0.7 or more, the disease is Alzheimer's dementia, Levy body dementia, Parkinson's disease, etc. , If cognitive decline or motor function decline due to brain dysfunction is the main symptom, feedback such as "It is recommended to go to neurology" can be added. [9-4. When used by a doctor]
  • an engine for determining illness When used by doctors, an engine for determining illness is used as a normal diagnostic device. It should be noted that the follow-up of treatment can be performed by also using an engine for determining the severity of the mental and physical condition or the severity of the disease. In addition, by making it possible to acquire data over time by voice input of the patient, it is possible to reduce the labor of doctors and nurses to visit the patient's home directly, and it is possible to reduce medical costs. [10. Explanation of the overall system]
  • FIG. 15 is a schematic view showing an overall picture of the health management system 200. The flow of the main system will be described with reference to steps S3001 to S3012.
  • step S3001 voice input from the user is performed in various usage scenes.
  • These various usage scenes include the scenes mentioned in the item of "8. Voice acquisition scenes" in addition to the voice input from the user terminal 201.
  • the input voice data is mainly stored in the first server 204 in the health management system 200 including the first to fourth servers.
  • the identification information input by the user via the user terminal 201 is stored in the second server 205 of the health management system 200.
  • the fourth server 210 performs voice analysis, measurement, and estimation processing based on the input voice data, and in step S3002, the estimation result is transmitted to the user terminal 201.
  • the estimation result may be transmitted to the non-medical service institution 202A via the web server 202 (S3003).
  • the non-medical service institution 202A transmits the estimation result to the third server 206.
  • a part of the functions of the third server 206 is described separately from the health management system 200.
  • step S3005 a message recommending consultation with a medical institution is transmitted from the third server 206 to the user terminal 201.
  • step S3006 and step S3007 management information regarding the user's identification information is transmitted and received between the user terminal 201 and the health management system 200.
  • the health management system 200 can transmit the voice data stored in the first server 204 and the estimation result data stored in the fourth server 210 to the facility.
  • the facility can use the data during interviews, examinations, and diagnoses.
  • the facility provides information on the diagnosis result to the health management system 200 after the examination and diagnosis (step S3009).
  • the health management system 200 transmits and receives voice data stored in the first server 204 and estimation result data stored in the fourth server 210 during treatment and during the prognosis period (step S3010, step S3011), and treats the patient. Can be useful for. Even after the patient is in remission, follow-up can be performed by periodically acquiring the voice data of the user.
  • step S3012 the voice data and the time series data of the estimation result can be fed back to various usage scenes and used. [11. Other explanations]
  • FIG. 16 is an example of registering a user using a voice platform device or another system (transmission / reception, output of original judgment result) or an embedded system.
  • the flow of using this device is (1) Input the registered user's voice and other data and save it in the user data storage device. (2) Select the saved voice and other accompanying data, (3) Select the service to use and (4) Analyze with the voice data analysis device used in the service and save the result in the user data storage device. (5) Based on the analysis result, search the discrimination result from the discrimination master prepared in advance based on other data, and search for the discrimination result. (6) Send the discrimination result and data such as the analysis result requested by the service in advance, (7) The service provider or system receives and provides the user with an output or service that is useful for action support.
  • FIG. 17 illustrates the flow of user registration.
  • the user confirms the explanation about the use of the data from the consent screen for starting the use, and presses the start button if he / she agrees with the contents.
  • the initial registration screen is displayed. Enter the necessary information (age, gender, medical history, etc.) displayed on the initial registration screen and press the input completion button.
  • the input completion button is pressed, if a code that identifies the device used for input can be obtained, it is input as a terminal identification number mainly used.
  • the input completion button if the user himself / herself is displayed on the screen or has free utterance, select free utterance and input the voice according to one or both input guides.
  • a screen indicating the completion of voice input is displayed, and the input data is transmitted as confirmation information to the voice platform device by pressing the confirmation button.
  • a user wants to use a voice platform device or a system with built-in voice platform device functions when formulating a training plan including mental aspects
  • user registration is performed.
  • the voice is acquired as user information.
  • FIG. 18 describes a flow related to storage of voice data.
  • the user inputs the voice data for the first time registration or at any time to the voice platform device directly or the voice acquired by another system via the voice platform device.
  • the voice data for which confirmation at the time of input is completed is transmitted to the data storage device from the state temporarily saved by the voice platform device.
  • the transmitted voice and accompanying data are received by the data storage device that constitutes the voice platform device, and are stored in the database of the data storage device together with the voice acquisition date and time, the terminal used, and the data associated with the use.
  • the saved voice and other data cannot be searched, viewed, output, or deleted except by the operation of the user or the service or service provider approved by the user.
  • Data sets for which it is difficult to uniquely identify the individual stated in the consent at the time of registration can be viewed and messaged to the business operator who has obtained permission to use the voice platform device from the business operator that provides the service using the voice platform device. Can be allowed to send and receive. When the user requests the voice platform operator to stop or terminate the use according to a predetermined procedure, and after the processing is completed, based on the consent, or when the voice platform operator determines that the user has violated the terms of use. Can erase (logically or physically) personally identifiable data. Data that cannot uniquely identify an individual can be continuously used by the voice platform business operator as statistical information.
  • the data stored on this platform contains sensitive personal information, and the data storage environment takes measures to protect personal information such as encryption and data distribution.
  • voice data is input as part of the activity record when applying for use, formulating a plan, executing the plan, and completing the plan.
  • voice platform device is used in a mobile terminal device such as a smartphone, it is possible to save and utilize the voice acquired by the own device in addition to the microphone of the sports gym.
  • the user wishes to save or utilize data such as voice, using the function of the voice platform device, or using other applications or systems that use the function of the voice platform device, or they are connected.
  • the business owner, etc. obtains the consent of the user himself / herself and is in the line of business in advance (call center reception record, communication radio for transportation industry, singer recording or live, or actor, voice actor, etc. acting. Or, obtain it through medical, nursing, health promotion services, etc. for interviews, nursing, calling, counseling, sales of insurance products, customer service at retail stores, etc.), and convert it to a form that can be handled by a voice platform device. Input using the function of the device.
  • Services via the Internet online shopping, telemedicine, counseling, education, mediation of products such as finance, employment and job change support services, matching apps that mediate encounters with the opposite sex, etc.).
  • FIG. 19 illustrates an example of voice analysis of a user whose identification information has been registered.
  • the user requests the function of the voice platform device using the voice data and accompanying data that the voice analysis is saved in advance or registered or captured when using the service, or other service use of the service provider, and the service provider receives it.
  • the data required for the user's service use is transmitted to the analyzer used in the service as a data set for analysis by voice and other data required for the service.
  • the analysis device preprocesses using the received data set, analyzes it, and outputs the analysis result.
  • the output analysis result data set is transmitted to the voice platform device.
  • the voice input in each scene is saved as the voice of the person in the data storage device of the voice platform device.
  • the saved voice is saved together with a numerical value indicating the identity of the voiceprint by a voiceprint confirmation device that can be executed at the time of data confirmation at the time of voice acquisition or at the time of voice storage.
  • the data set required for analysis is extracted from the data storage device by the service selected by the user, an analysis data set is created, and the data is transmitted from the voice platform device to the analysis device.
  • the analysis device preprocesses the received analysis data set, analyzes it, and sends the analysis result.
  • the mental state mental value
  • cognitive function state cognitive function state
  • FIG. 20 illustrates an example of discrimination.
  • the user requests the function of the voice platform device or other service use of the service provider using the analysis result of the voice data and the accompanying data that the judgment of the voice analysis result is saved in advance or registered or captured when using the service, and the service is provided.
  • the data required for discrimination is sent to the discrimination device used in the service based on the discrimination conditions set based on the user's service usage request.
  • the voice analysis result and other data required for the service are discriminated data set. Extract and send as.
  • the discrimination device searches for the corresponding discrimination result from the discrimination result data storage device corresponding to the data such as the voice analysis result registered in advance, and as the data discrimination result, the output destination and the voice platform data storage device predetermined by the service. Output to.
  • indicators and information are discriminated in order to better understand the mental state and the state of cognitive function.
  • users can consider solutions or services that should be dealt with in the future based on objective information.
  • FIG. 21 illustrates an example of behavioral support.
  • the user requests the function of the voice platform device or other service use of the service provider using the discrimination result of the voice data and the accompanying data saved in the voice platform device or registered or captured when using the service, and the service provider receives it.
  • the information utilization method to be used in the service based on the information utilization conditions set or selected by the user or set in advance by the service provider as data that constitutes a part of the service.
  • the necessary data and discrimination results are extracted and transmitted as an information utilization data set.
  • the information utilization method selection device searches for the corresponding information utilization method from the data storage device corresponding to the data set received from the pre-registered information utilization method, and is predetermined in the service as the information utilization method selection result. Output to the output destination and audio platform data storage device.
  • the received information utilization result is transmitted to the voice platform data storage device.
  • the voice data platform data storage device stores the received information utilization result as the result of the selected information utilization method.
  • information search results such as recommended training menus, counseling effective for disease prevention, feedback of meals (not limited to information held by platform operators and service providers, etc.) are displayed. This will give you the opportunity to progress the plan, provide new support, or take action to prevent illness.
  • Service providers such as medical facilities register facility information, worker information, etc. when the built-in system is introduced or when the registered information changes.
  • data sharing and mutual input / output can be shared by combining the conditions of services such as inspections used in the embedded system from predetermined settings, setting by the administrator, etc., or connecting from the system already owned by the service provider. It is also possible to do it.
  • the user is registered as a user of the service or facility that uses the present invention in advance (in the case of medical treatment, the information is registered in the medical facility as a patient and a medical examination ticket, etc. is issued, or the society is covered by social insurance. For those who have an insurance number (such as an insurance number issued).
  • identity verification and data exchange can be realized by using technologies such as smartphones and other devices, IC cards, and non-contact communication. It is also possible.
  • the user can check the terms of use and decide whether or not to accept it. After accepting the terms of use, register the user information using the user himself / herself or relatives, or the medical facility staff or system requested by the user or relatives. If the user information is stored in the hospital system or the like in advance, it is possible to register the user information after the fact after obtaining the consent in advance.
  • a device such as a user's own smartphone
  • it is possible to confirm the identity by incorporating a function for confirming the identity by a voiceprint.
  • the usage consent and the registration result of the user information are saved in the data storage device of the embedded system, and the storage result is output to the user and the service provider in electronic data, paper or other format.
  • the service provider who receives instructions from the user or relatives using the user or a written or embedded system selects the service (analysis and discrimination, information utilization conditions, etc.) and the device concerned.
  • Input voice data by importing voice data stored in the voice input device such as a microphone or a voice platform device in advance.
  • the voice data After confirming that the voice data was input normally, the voice data is output to a predetermined analysis device according to the service conditions. After confirming the normal reception of the voice data, the analysis device performs the preprocessing necessary for the analysis, executes the analysis of the voice data, and outputs the analysis result to the data storage device.
  • the discrimination device extracts the data necessary for discrimination including the saved analysis result from the data storage device, and selects the corresponding data discrimination result from the discrimination result data storage device set in advance.
  • the data discrimination result is output to the information utilization method selection device and the data storage device set in the service.
  • the information utilization method selection device selects the information utilization method based on the contents set in advance by the service based on the input data discrimination result, and outputs the selection result to the output destination and the data storage device defined in the information utilization method. ..
  • the result of information utilization is received by the information utilization device and output to the data storage destination.
  • the data saved in the data storage device of the embedded system can be acquired by using a smartphone terminal registered in advance, an IC card having a magnetic storage device, non-contact communication, etc. at the request of the user himself / herself. ..
  • the result of using a specific service from the embedded system based on the consent of the user can also be obtained via the function of the embedded system.
  • the health management system of the present invention can be used in the following situations, for example. Recently, it was pointed out by the people around me that I was not feeling well, and a user who was not motivated to do anything and made more simple mistakes was taken by his family to see a general internal medicine in the neighborhood. General internal medicine is not a specialist in mental illness or dementia, and it may be difficult to decide on a treatment policy, or it may take a long time to reach a treatment policy that improves the treatment effect.
  • the user who consulted this general internal medicine department which has an embedded system, was instructed to perform a voice test along with a simple measurement of cognitive function at the time of the preliminary interview. Since he is declining, he confirmed the terms of use with his family and agreed to conduct a voice test. Since the family responded except for the voice input of the person, the burden on the person was light and the doctor confirmed the result of the voice test before entering the examination room.
  • FIG. 23 describes data transmission / reception, a voice platform, a voice analysis device, and an embedded system.
  • the voice data that identifies the user is acquired and transmitted to the voice platform device.
  • Voice data can be acquired by smartphones, smart speakers, karaoke, business radio, and the like. The results can be confirmed on the voice platform device.
  • the "200. Voice analysis device” has a function of preprocessing and analyzing the voice data received from the voice platform device and transmitting the analysis result to the voice platform device in a predetermined format. In the analysis, whether or not the analysis process can be performed is determined based on the service information received together with the voice data. After performing the analysis, the results such as the possibility of a specific disease, the mental value, and the cognitive value are transmitted, and the execution history in the process up to the completion of reception by the voice platform device is saved. After the analysis, the audio data is automatically deleted.
  • the data output in each step to the data storage destination of the voice platform device and the embedded system is saved as a record in which the extraction / selection results and the results are linked for each user.
  • the saved result can be reused within the scope of the consent of the person.
  • the stored data will be searched, viewed, or extracted as statistical information only when a third party obtains the permission of the operator of the voice platform device, except for the information that identifies an individual within the scope of consent to use. It becomes possible. To users who meet certain conditions set by a third party without identifying an individual, if the user so desires, disclose or provide some or all of the data together with the purpose of using personal information. Alternatively, it is possible to respond to a disclosure request from a business operator or the like, or to recruit clinical trial volunteers, for example, via a voice data platform.
  • FIG. 24 describes the voice platform device.
  • This device is a voice acquisition unit, acquisition voice confirmation unit, acquisition voice transmission unit, data storage unit, analysis data set extraction unit, analysis data set transmission unit, analysis result data reception unit, analysis result discrimination device (discrimination target data extraction and discrimination). From the information utilization method selection device (including selection target data extraction and information utilization method search and search result output, etc.) and the user and administrator usage screens of each device (including result search and discrimination result output, etc.) It is composed.
  • the data stored in the data storage unit includes, for example, user data, service selection data, voice data, service usage history, analysis data, discrimination data, information utilization method selection result, information utilization implementation data, and the like. Person data.
  • Various master data consisting of service providers, information utilization methods, service price lists, etc.
  • Analysis engine usage data consisting of analysis engine type, connection method, connection settings, connection history, etc.
  • Secondary usage data consisting of a minimum data set for publication, browsing history, data usage application history, data usage approval history, data lending period, lending data deletion history, etc.
  • Various data such as transaction data, master data, various settings and usage execution history can be mentioned.
  • this voice platform device is a new device that realizes unprecedented utilization of data with high security centered on voice by the person or a person or a business operator authorized by the person.
  • FIG. 25 describes the voice analysis device.
  • Voice analysis engine execution / management environment voice input device for analysis, voice preprocessing device for analysis, voice analysis device, analysis result output device, output destination reception result confirmation device, analysis data set, analysis result deletion device, and analysis engine usage record It consists of an acquisition device, a usage history acquisition complement device, a device that calculates and outputs costs from usage records by engine for each user, and a connection method setting device for each connection destination.
  • Multiple analysis engines can be selected and executed according to the request, personal information is analyzed according to the request of the person, and after analysis, the individual is not identified by having only a part of the user data held by the requesting system or service. It provides an environment that enables multifaceted data analysis.
  • a system that has some functions of the voice platform device (voice data acquisition, voice data confirmation, discrimination, information utilization method search, etc.).
  • the acquired and confirmed voice is transmitted to the voice platform, and the analysis and discrimination and information utilization method search results are received in the data format predetermined by the voice platform device.
  • voice When voice is acquired with its own specifications, it is possible to input voice data to the voice platform device by outputting the acquired voice with predetermined specifications. After inputting voice data, use the function of the voice platform device.
  • Data input from the voice platform device and data output to the voice platform device can be realized via wireless technology such as smartphones (Bluetooth (registered trademark), NFC, AirDrop, etc.) or IC cards with memory, etc., without going through the Internet. It is possible.
  • Health management system 204 1st server 205 2nd server 206 3rd server 210 4th server 211 Calculation unit 212 Estimating unit 213 Selection unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Developmental Disabilities (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

誰でも、何処にいても、短時間で、非侵襲的に、他人に知られることなく、極めて簡便に測定し自身の健康状態を把握することができる健康管理システム、健康管理装置、健康管理プログラム及び健康管理方法を提供する。

Description

健康管理システム、健康管理装置、健康管理プログラムおよび健康管理方法
　本発明は、健康管理システム、健康管理装置、健康管理プログラムおよび健康管理方法に関する。
　２０００年に世界保健機関（ＷＨＯ）が健康寿命を提唱して以来、単に寿命を延ばすのではなく、心身ともに自立し、健康的に生活できる期間を如何に延ばすかに関心が高まっている。
　日本において、平均寿命と健康寿命（健康上の問題で日常生活が制限されることがない期間）の差は、２０１６年には男性８．８４年、女性１２．３４年であった（非特許文献１参照）。
　国民が健康を維持することは、個人の幸せのベースであると同時に、疾病重症化による生産性の低下を防ぎ、また、医療費や介護給付費用が発生する期間の増大を防ぐことができ、社会保障負担の増大も抑制される。
　一方で、アスリート等の特殊な場合を除いては、個人としては病気になって初めて健康の大切さに気付くことが多く、即ち普段は健康に対する意識が高くないことから、早期発見が困難な場合がある。
　例えば、健診として（健康診断、健康診査、人間ドックを含む）、半ば強制的に行われる会社の健康診断では受診率が７７％であるのに対し、自営業主、家族従業員、家事専業者、契約社員などは、５０％程度である。受診しなかった理由は、時間が取れなかった、費用がかかる、健診があることを知らなかったなどさまざまであるが、結局は健康に対する意識（ヘルスリテラシー）が低く、病気を予防又は早期発見することに対する意義を過小評価しているものと言える。
　一方、精神・神経疾患については、たとえ健診を受けたとしても、検査項目にほとんど入っていないという問題点がある。理由は、精度の高いバイオマーカーが無いこと、また検査を行うにも高価な装置が必要であることなどによる。更に、うつ病に対する質問票はＢＤＩ、ＰＨＱ－９など世界的にも共通で用いられているものがあるが、被験者の意識的な評価懸念や無意識の防衛、検査者の主観が入りうるため客観性に限界がある。
　また精神・神経系疾患は、その病気の可能性があることを他人に知られたくない、精神科へ通院することに抵抗感があるなどの理由から、自分自身で健康管理ができる状況が必要と考えられる。
　近年、発話による音声を解析することにより、感情や心的状態を推定する技術（特許文献１、２参照）が開示されており、音声を解析して人の状態を測り数値化することが可能になってきている。
　また、声紋による個人認証を行いデバイスにアクセスする権利を付与する技術（特許文献３参照）や、スマートホーム対応家電等の声によって機械を操作するための音声認識技術（特許文献４参照）が開示されている等、声を対人コミュニケーション以外に積極的に利用する場面も生じてきている。
　加えてスマートフォンの普及により、一人ひとりが通話デバイスを携帯していることから、必要であればいつでも発話が可能な状況となっている。
　更に、声は録音され電子データとして保存しておけば、血液や尿のように劣化することがないので、何時でも必要に応じ、過去にさかのぼって解析することができるという利点を有する。
特開２００７－２９６１６９号公報 国際公開第２００６／１３２１５９号 米国公開第２０１６／０１１９３３８号 特開２０１４－２０６６４２号公報
厚生労働科学研究費補助金　平成３０年度分担研究報告書　２６－３９頁　"健康寿命の全国推移の算定・評価に関する研究"
　病気の予防や早期発見に繋がる検診率を高めるには、簡単に、自分で行え、費用も安く、日常生活の中でわざわざそのための機会を作る必要のない検査が求められている。そこで、本発明の目的は、誰でも、何処にいても、短時間で、非侵襲的に、他人に知られることなく、極めて簡便に測定し自身の健康状態を把握することができる健康管理システム、健康管理装置、健康管理プログラム及び健康管理方法を提供することにある。
　本発明者らは、声を心身の状態を示すバイオマーカーとして利用することにより、健康な状態から、病気に罹患し、回復し、再び健康な状態に至るまで継続的に健康管理を行えることを見出し、本発明に到達した。
　本願に係る健康管理システムは、利用者から取得された音声データを継続的に格納する第１のサーバと、利用者の識別データを格納する第２のサーバと、利用者向けの出力データを格納する第３のサーバと、および音声データを基に抽出された音響特徴量を入力として所定の疾患の推定を行う推定装置、を備える健康管理システムであって、推定装置は、音声データを基に音響特徴量を抽出する抽出部と、音響特徴量を入力として所定の疾患の推定を行う推定部と、および推定部の推定結果および利用者の識別データを基に、第３のサーバの出力データを選択する選択部、を備え、選択部は、利用者がいずれの疾患も罹患していないと推定部に推定された場合は、第３のサーバの罹患前の利用者向けの第１の出力データを選択するように構成され、利用者がいずれかの疾患を罹患している疑いがあると推定部に推定された場合は、第３のサーバの罹患の疑いがある利用者向けの第２の出力データを選択するように構成され、かつ利用者が医師の診断によりいずれかの疾患を診断された後は、第２のサーバの識別データが更新され、第３のサーバの罹患後の利用者向けの第３の出力データを選択し、かつ寛解後も継続的に第３の出力データを選択するように構成されることを特徴とする。
　本願発明によれば、誰でも、何処にいても、短時間で、非侵襲的に、他人に知られることなく、極めて簡便に測定し自身の健康状態を把握することができる健康管理システム、健康管理装置、健康管理プログラム及び健康管理方法を提供することができる。
[規則91に基づく訂正 07.01.2021]　
図１は、本願の健康管理システム２００の機能を実現するコンピュータの一例を示すハードウェア構成図である。 図２は、本願の実施形態に係る健康管理システム２００の構成図である。 図３Ａは、１つ以上の音響特徴量を算出するための特徴量の式Ｆ（ａ）を示す図である。 図３Ｂは、ある一つの音響特徴量の強度が、疾患毎に異なっていることを示すイメージ図である。 図３Ｃは、ある３つの音響パラメータの組み合わせによって得られた疾患の予測値の分布画像である。 図４Ａは、健常者または特定疾患と、それ以外の分離性能を示すＲＯＣ曲線のグラフを示す図である。 図４Ｂは、健常者または特定疾患と、それ以外の分離性能を示すＲＯＣ曲線のグラフを示す図である。 図５は、学習用データに用いるために各患者及び健常者が読み上げる例文を示す図である。 図６は、利用者が健常、認知症群、または気分障害群であるかを推定した結果を示す図である。 図７は、大うつ病と健常の分類において、フレーズ単位での推定プログラムの推定結果を示す図である。 図８Ａは、推定プログラムに基づき、各フレーズに対して大うつ病または健常のいずれかと判定したものを、各人ごとに纏めた結果を示す図である。 図８Ｂは、推定プログラムに基づき、各フレーズに対して大うつ病または健常のいずれかと判定したものを、各人ごとに纏めた結果を示す図である。 図９は、各人ごとの健常判定率を求め、健常判定率が６０％以上の者を健常者と推定し、健常判定率が６０％未満の者を大うつ病患者と推定した場合の結果を示す図である。 図１０は、レビー小体型認知症と健常の分類において、フレーズ単位での推定プログラムの推定結果を示す図である。 図１１Ａは、レビー小体型認知症の推定結果を示す図である。 図１１Ｂは、レビー小体型認知症の推定結果を示す図である。 図１２は、各人ごとの健常判定率を求め、健常判定率が６０％以上の者を健常者と推定し、健常判定率が６０％未満の者をレビー小体型認知症と判定した場合の結果を示す図である。 図１３は、健康管理システム２００の動作を示すシーケンス図である。 図１４は、健康管理システム２００の動作を示すシーケンス図である。 図１５は、本健康管理システム２００の全体像を示す概略図である。 図１６は、音声プラットフォーム装置または他システム（送受信、独自判定結果出力）または組込済みシステムを用いて利用者の登録を行う一例を示す図である。 図１７は、利用者の登録に関する流れを説明する図である。 図１８は、音声データの格納に関する流れを説明する図である。 図１９は、識別情報を登録済の利用者の音声解析の例を説明する図である。 図２０は、判別に関する例を説明する図である。 図２１は、行動支援に関する例を説明する図である。 図２２Ａは、システムに関する流れを説明する図である。 図２２Ｂは、システムに関する流れを説明する図である。 図２３は、データの送受信、音声プラットフォーム、音声解析装置、組込済みシステムの説明を行う図である。 図２４は、音声プラットフォーム装置の説明を行う図である。 図２５は、音声解析装置の説明を行う図である。 図２６は、他システムの説明を行う図である。 図２７Ａは、他システムの説明を行う図である。 図２７Ｂは、他システムの説明を行う図である。
　以下に、本願に係る疾患推定システムおよび疾患推定方法を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る疾患推定システムおよび疾患推定方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔１．プログラム〕
　実施形態に係る健康管理システム２００は、例えば図１に示すような構成のコンピュータ１００によって実現される。以下、例に挙げて説明する。図１は、健康管理システム２００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信インターフェイス（Ｉ／Ｆ）１０５、入出力インターフェイス（Ｉ／Ｆ）１０６、およびメディアインターフェイス（Ｉ／Ｆ）１０７を有する。
　ＣＰＵ１０１は、ＲＯＭ１０３またはＨＤＤ１０４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１０３は、コンピュータ１００の起動時にＣＰＵ１０１によって実行されるブートプログラムや、コンピュータ１００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１０４は、ＣＰＵ１０１によって実行されるプログラム、および、係るプログラムによって使用されるデータ等を格納する。通信インターフェイス１０５は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１０１へ送り、ＣＰＵ１０１が生成したデータを他の機器へ送信する。
　ＣＰＵ１０１は、入出力インターフェイス１０６を介して、ディスプレイやプリンタ等の出力装置、および、マイク等の音声の入力装置、キーボードやマウス等の入力装置を制御する。ＣＰＵ１０１は、入出力インターフェイス１０６を介して、入力装置からデータを取得する。また、ＣＰＵ１０１は、生成したデータを入出力インターフェイス１０６を介して出力装置へ出力する。
　メディアインターフェイス１０７は、記録媒体１０８に格納されたプログラムまたはデータを読み取り、ＲＡＭ１０２を介してＣＰＵ１０１に提供する。ＣＰＵ１０１は、係るプログラムを、メディアインターフェイス１０７を介して記録媒体１０８からＲＡＭ１０２上にロードし、ロードしたプログラムを実行する。記録媒体１０８は、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１００が実施形態に係る健康管理システム２００として機能する場合、コンピュータ１００のＣＰＵ１０１は、ＲＡＭ１０２上にロードされたプログラムを実行することにより、制御部の機能を実現する。また、ＨＤＤ１０４には、記憶部内のデータが格納される。コンピュータ１００のＣＰＵ１０１は、これらのプログラムを記録媒体１０８から読み取って実行するが、他の例として、他の装置からこれらのプログラムを取得してもよい。
〔２．健康管理システムの構成〕
　次に、実施形態に係る健康管理システム２００の構成について図２を用いて説明する。図２に示すように、健康管理システム２００は、ネットワークＮを介して、利用者端末２０１およびウェブサーバ２０２と有線または無線により通信可能に接続される。なお、健康管理システム２００は、他にも複数台の利用者端末２０１や複数台のウェブサーバ２０２と接続されてもよい。ウェブサーバ２０２には、健康管理システム２００の機能の一部、健診施設および医療施設のサーバが含まれる。
　健康管理システム２００は、図２に示すように、通信部２０３、第１のサーバ２０４、第２のサーバ２０５、第３のサーバ２０６、および第４のサーバ２１０を備える。第１ないし第４のサーバはそれぞれ記憶部としての機能を有する。また、第４のサーバの一部は制御部として機能する。通信部２０３は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）等によって実現される。通信部２０３は、ネットワークＮと有線または無線で接続され、利用者端末２０１との間で情報の送受信を行う。
　記憶部は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
　また、制御部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって、健康管理システム２００の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路により実現される。
　上述したように、記憶部および制御部の機能は、図２の第１のサーバないし第４のサーバが協働して実現される。ここで、第１ないし第４のサーバついて説明する。
　第１のサーバ２０４は、利用者から取得された音声データを継続的に格納する機能を有する。第２のサーバ２０５は、利用者の識別データを格納する機能を有し、利用者端末２０１およびウェブサーバ２０２との通信により継続的に利用者のログが更新される。
　第３のサーバ２０６は、第１ないし第３の配信データ（２０７ないし２０９）を備える。第３のサーバ２０６は、利用者向けの配信データを格納する機能を有する。第３のサーバの機能は、通信部２０３を介して外部のウェブサーバ２０２がその機能を代替してもよい。
　第４のサーバ２１０は、算出部２１１、推定部２１２、選択部２１３および記憶部２１４を備える。第４のサーバは、第１のサーバの音声データを基に算出された音響特徴量を入力として所定の疾患を推定する推定処理を行い、かつ第３のサーバに格納された配信データの選択・配信処理を行うことで、推定装置として機能する。
　なお、当該第１ないし第４のサーバは健康管理システム２００の機能を説明するために便宜的に振り分けたものであり、同一のサーバの一部または複数のサーバがこれらの機能を担っていてもよい。
　第４のサーバ２１０に記憶されている推定プログラムおよび配信プログラムは、図１のＲＡＭ１０２を作業領域として実行されることにより、算出部２１１、推定部２１２、配信部２１３として動作する。算出部２１１、推定部２１２、および配信部２１３は、第４のサーバ内で制御部として機能する。一方、記憶部２１４には、推定プログラム、配信プログラム、そして後述する第２の音響パラメータのデータが格納される。
　ここで、算出部２１１は、音声データを基に音響特徴量を算出する。推定部２１２は、算出部２１１で算出した音響特徴量を入力として所定の疾患の推定を行う。選択部２１３は、推定部２１２の推定結果を基に、第２のサーバの識別データを参考にして、第３のサーバに格納される配信データを選択する。
　ここで、健康管理システム２００は、第４のサーバ２１０に記憶されている推定プログラムおよび配信プログラムに基づき、利用者の疾患情報等を推定する推定処理と、推定された情報に基づいて、第３のサーバ２０６に格納される音声データ、動画像データまたはテキストデータ（以下、音声データ、動画像データまたはテキストデータを、単に「配信データ」と称する）を選択して配信する配信処理を実行する。配信データは、利用者に興味を抱かせ、かかる配信データに含まれる情報を広く知らせるものであれば、文字、図形、記号、音声、動画、ゲーム、その他任意のコンテンツを適用可能である。
　第３のサーバ２０６に格納される配信データは、利用者の音声入力を促す配信コンテンツを含むデータや、利用者に医療機関への受診または健康診断を促すメッセージを含む利用者の健康管理に関する配信データが含まれる。利用者の健康管理に関する配信データとは、より良い健康への改善や、維持する方法に関しての情報にアクセスし、理解し、利用するための個人の意欲や能力を決定する認知的・社会的スキルを高めるための情報に関する配信データであり、例えば、ヘルスリテラシーを高める情報が含まれる。また、配信データは、第４のサーバの推定処理の数値結果であってもよい。
　図２の第３のサーバ２０６では、第１の配信データ２０７、第２の配信データ２０８、および第３の配信データ２０９が便宜的に分類して格納されている。第１の配信データ２０７は、罹患前の利用者向けの健康情報を含む。第２の配信データ２０８は、第４のサーバ２１０の推定部２１２により、いずれかの疾患を罹患している疑いがあると推定された利用者に向けて、医療機関への受診または健康診断を促すメッセージを含む健康情報が含まれる。第３の配信データ２０９は、罹患後の利用者向けの健康情報を含む。
　第１ないし第３の配信データ（２０７ないし２０９）についてより具体的に説明する。第１の配信データ２０７が配信される利用者は、日常生活におけるヘルスケア、疾病予防、ヘルスプロモーションが比較的良好になされている人物が想定される。そのため、第１の配信データ２０７には、定期的な健康診断の受診を促す情報、利用者端末２０１が利用される状況・場所に合わせたレクリエーション情報等の健康増進に関する情報が含まれる。第１の配信データ２０７が配信される頻度は、第２、第３の配信データが配信される頻度よりも少ない。例えば、利用者端末２０１を介して利用者が音声を入力するタイミングで、第１の配信データ２０７が配信されてもよい。
　第２の配信データ２０８が配信される利用者は、何等かの精神・神経系疾患を罹患していると疑われる人物が想定される。そのため、第２の配信データ２０８には、特定の医療機関への受診を促す情報が含まれる。ただし、利用者は精神・神経系疾患を患っている疑いがあることを自ら認めない恐れがある。また、不調を自覚しても、精神疾患の偏見や、精神科・心療内科を受診すること対する抵抗感から、患者が医療ケアを受けない恐れがあるため、医療機関等のソーシャルサービスにかかることを根気よく説得するための配信データを、第１の配信データよりも高頻度で配信するように構成されてもよい。
　また、精神・神経系疾患は症状が共通しているため、個人では疾患を特定し難い場合がある。例えば、アルツハイマー型認知症と前頭側頭型認知症、アルツハイマー型認知症とレビー小体型認知症、レビー小体型認知症とパーキンソン病、双極性障害と大うつ病は、それぞれの疾患の区別が困難である。また、高齢者のうつ病では、抑うつ気分や思考の制止などのうつ病症状により、注意、集中力、判断力、記憶力が低下し、一見認知症のように見える仮性認知症があり、適切な治療を受けるためには、うつ病の類なのか認知症の類なのかを区別する必要がある。本願発明のように推定部２１２を介して推定した疾患を基に、特定した疾患に応じて推奨する診療機関を区別して配信データを提供できる点で本発明は有利である。
　第３の配信データ２０９が配信される利用者は、何等かの精神・神経系疾患を罹患した病歴のある人物、または何等かの精神・神経系疾患を治療中の人物が想定される。一般に、精神・神経系疾患を完治させることは難しい。そのため、完治とまでは言えないが、病状が治まって穏やかな寛解の状態となった後は、症状が消失後も再発予防のため薬の内服や医師による経過観察を継続するのが一般的である。そのため、第３の配信データ２０９には、継続的な音声入力により疾患の症状の確認を促すメッセージ等が含まれる。
　なお、利用者に第３の配信データ２０９の配信がなされた後であっても、その後、推定部２１２が疾患の再発の疑いがあると推定した場合や、他の精神・神経系疾患を罹患していると疑われた場合には、第２の配信データ２０８が配信される。
　以上のようにして、第４のサーバ２１０の選択部２１３は、推定部２１２の推定結果や、利用者の健康状態に応じて第１ないし第３の配信データを選択して配信する。
　また、利用者がいずれかの疾患を罹患していると医師に診断された後は、医師の所属する医療機関のサーバからウェブサーバ２０２を介して、または利用者自らが利用者端末２０１を介して、第２のサーバ２０５の識別データを更新するように構成される。識別データの更新が完了した後は、選択部２１３は、その利用者に関し、第２または第３の配信データ（２０８、２０９）を選択するように構成される。
　健康管理システム２００の説明に戻る。健康管理システム２００は、利用者が使用する利用者端末２０１を音声入力手段として利用者の音声データを収集しつつ、利用者端末２０１を介してデータ通信を行うウェブサーバ等の情報処理装置である。例えば健康管理システム２００は、利用者端末２０１からデータの配信を要求する配信要求を受信すると、利用者端末２０１を使用する利用者の音声データによる疾患の推定結果に基づいて、対象となる配信データを選択し、選択した配信データを利用者端末２０１へ送信する。
　利用者の識別データは、第２のサーバ２０５に格納され、利用者端末２０１を介してログが継続的に更新され、かつ健診実施機関または医療機関らウェブサーバ２０２を介して健診結果や診断結果が継続的に更新される。利用者の識別データには、利用者が所定の疾患に罹患した経験があるか否かを含む個人情報を有する健康情報、利用者の性別、年齢、住所、趣味、興味の対象、行動履歴、ウェブページの閲覧履歴等、利用者のプロファイルや素性を示す種々の情報がある。個人情報を有する健康情報には、利用者の健診結果または医師による疾患の診断結果を含む個人情報が含まれる。
　利用者端末２０１は、音声を入力する手段および配信データを出力する手段を有するスマートフォンやタブレット等の通信端末であり、３Ｇ（Ｇｅｎｅｒａｔｉｏｎ）やＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）等の無線通信網を介して任意のサーバ装置と通信を行うことができる。利用者端末２０１は、音声を入力する手段および配信データを出力する手段を有してさえいれば、デスクトップ型のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やノート型のＰＣ、ネットブック、サーバ装置などの情報処理装置であってもよい。
　利用者端末２０１は、音声を入力する手段または配信データを出力する手段を有する電子機器に、その機能の一部を組込むこともできる。例えば、自動車等の移動装置、家庭用ゲーム機等のコンピュータゲームを動作させるためのハードウェア機器、またはカラオケボックス、ランニングマシン等の遊戯施設が、音声を入力する機能または配信データを出力する機能を有することができる。
　健康管理システム２００は、利用者端末２０１を介して利用者に音声入力を促す旨のウェブコンテンツを示すことができる。利用者に音声入力を促す旨のウェブコンテンツは、第３のサーバ２０６に格納される配信コンテンツであり、テキスト、画像、ビデオ、アニメーション、または音声による再生が含まれる。かかる場合、利用者端末２０１はアプリケーションを介して自動的に、または利用者の操作により、ウェブコンテンツの配信を行うウェブサーバに対してウェブコンテンツの配信要求を送信する。配信要求の送信は、利用者が利用者端末２０１のアプリケーションを起動した際に自動的にウェブサーバに送信されてもよい。
　健康管理システム２００は、利用者に音声入力を促す旨のウェブコンテンツを利用者端末２０１に配信する。そして、利用者端末２０１は、健康管理システム２００から受け付けたウェブコンテンツを表示する。
　例えば、利用者が利用者端末２０１を介してゲームを実行している場合には、アプリケーションを介して、ゲーム中のキャラクタが利用者に音声入力を促す旨のメッセージを配信するように構成されてもよい。
　健康管理システム２００は、利用者端末２０１を介して利用者からの音声入力がされると、音声データを配信サーバ１０の第１のサーバ２０４に格納する。そして、第３のサーバ２０６に格納されるデータの配信を要求する配信要求を受信すると、利用者端末２０１を使用する利用者の音声データを基に、疾患の推定処理をし、さらに配信データの選択処理を行い、選択された配信データを端末装置１００へ送信する。
〔３．健康管理システム２００が実行する処理〕
　健康管理システム２００は、第３のサーバ２０６に格納されるデータを配信する場合、第４のサーバ２１０の推定部２１２の推定結果と、第２のサーバ２０５に格納される利用者の識別データに基づいて、配信対象となる配信データを第３のサーバに格納される上記第１ないし第３の配信データ（２０７ないし２０９）の中から選択する。
　他の従来技術では、配信対象となる健康管理に関する配信データは、第２のサーバ２０５に格納される利用者の識別データにのみ基づいていた。より具体的な例を挙げると、従来技術では、配信対象となる利用者が男性である場合は、多くの男性が提供されてきた健康情報に類似する健康情報が配信されてきた。
　しかしながら、新規に登録された利用者の属性情報は、ログが存在しない場合がある。また、クッキー等が消去され、利用者を識別するためのＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）が不明になった場合等、利用者の属性情報が不明となる場合がある。かかる場合、従来技術では、配信対象となる適切な配信データを選択することができない。
　また、定期的に健診を受信しない利用者や、何等かの精神・神経系疾患を発症しても医療機関を受診しない利用者には、健康管理システム２００が選択すべき配信データが好ましくなく、ヘルスリテラシーを高めるべく提供される情報が、かえって利用者に悪影響を及ぼす危険性がある。
　このように、従来技術では、第２のサーバ２０５に格納される利用者のログが存在しない場合や、利用者の属性情報が不明となる場合、適切な配信データを選択することができない。また、何等かの精神・神経系疾患を発症し、利用者端末２０１を介して得た利用者の行動履歴等からその異常を検知できたとしても、予測される疾患がある程度特定できていなければ、誤った健康情報を選択・提供し、利用者に悪影響を及ぼす危険性がある。
　そこで、健康管理システム２００は、第１のサーバ２０４に格納された音声データから音響特徴量を算出する第４のサーバ２１０の算出部２１１を用いて、利用者の音響特徴量を算出する。そして、配信サーバ１０は、算出した特徴量に基づいて、第４のサーバの推定部２１２において利用者の疾患を推定する推定処理を実行する。
　また、健康管理システム２００は、利用者の属性情報が不明である利用者が音声データを入力した場合は、する第４のサーバ２１０の算出部２１１を用いて係る音声データの音響特徴量を算出する。また、健康管理システム２００は、算出した特徴量に基づいて、第４のサーバの推定部２１２において利用者の疾患を推定する推定処理を実行する。そして、健康管理システム２００は、推定した疾患情報を用いて、選択部２１３が配信対象となる配信データを選択し、配信を行う配信処理を実行する。
〔４．算出部および推定部〕
　ここで、健康管理システム２００が疾患を推定する際に用いる算出部２１１と推定部２１２について説明する。
〔４－１．推定モデルの構築〕
　健康管理システムの第４のサーバの推定モデルがどのような構築をしているか説明する。まず、被験者の音声データから、複数の音響パラメータを抽出する段階を経る。音響パラメータは、被験者の音声データから抽出される。音響パラメータは、音が伝わる際の特徴をパラメータ化したものである。例えば、音響パラメータにはゼロ点交差率やハースト指数等がある。ゼロ点交差率は、音声の音圧の波形が基準圧力を横切る単位時間あたりの回数を、音声における波形の変化の激しさの度合いとして算出したものである。ハースト指数は、音声の波形における変化の相関性を示す。
　音響パラメータは、第１の音響パラメータと第２の音響パラメータに分類される。ここで、第１の音響パラメータは、特定の疾患を推定すべき利用者の音声から抽出した音響パラメータである。第１の音響パラメータは、第１のサーバ２０４に格納される音声データを基に抽出される。
　第２の音響パラメータは、予めデータベースに記録されている音響パラメータである。第２の音響パラメータのデータは、第４のサーバ２１０の記憶部２１４または当該データベースの機能を代替えする他のサーバに格納される。第２の音響パラメータは、アルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、または双極性障害の疾患を有する患者の音声データから抽出を行い、各音響パラメータと各疾患が予め紐付けされている。
　本願発明で使用する音響パラメータの具体例を示すと、以下のような項目がある。
１）       音量のエンベロープ（アタックタイム、ディケイタイム、サステインレベル、リリースタイム）
２）       波形の変動情報（Ｓｈｉｍｍｅｒ，　Ｊｉｔｔｅｒ）
３）       ゼロ点交差率
４）       ハースト指数
５）       ＶＯＴ（Ｖｏｉｃｅ　Ｏｎｓｅｔ　Ｔｉｍｅ）
６）       メル周波数ケプストラムのある係数に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
７）       周波数スペクトラムの変化の速さにおける発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
８）       メル周波数ケプストラムのある係数の時間変化に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
９）       メル周波数ケプストラムのある係数の時間変化の時間変化に関する発話内分布の統計値（第１四分位点、中央値、第３四分位点、９５パーセント点、算術平均、幾何平均、第３四分位点と中央値の差など）
１０）    周波数スペクトラム９０％ロールオフの発話内時間変化における２次回帰近似に対する二乗誤差
１１）    周波数スペクトラム重心の発話内時間変化における２次回帰近似に対する算術誤差
その他、ピッチレート、有声音である確率、任意範囲の周波数のパワー、音階、話速（一定時間におけるモーラ数）、ポーズ・間、音量などが挙げられる。
　なお、このような音響パラメータは、発話フレーズ毎に音響パラメータの抽出ソフト（例えば、ｏｐｅｎＳＭＩＬＥ　等が挙げられる）により抽出される。本発明においては、７４４０個の音響パラメータを抽出し、まず録音環境に依存する音響パラメータを除き、残ったものから健康状態を表すのに適切な音響パラメータを１つまたは複数選択した。
　第４のサーバ２１０に格納されている推定プログラムは、人工知能による学習機能を有しその学習機能によって推定処理を行う。ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、アンサンブル学習、等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。アンサンブル学習においては、ブースティングと決定木を併用した手法により分類アルゴリズムを作成してもよい。
　推定プログラムの作成段階において、アルゴリズム作成者は、上記第２の音響パラメータの項目の中から、変数ｆ（ｎ）として使用する任意の音響パラメータをより良い組合せとなるようにステップワイズ法により検討を行い、１つまたは複数選択する。次に、選択された任意の音響パラメータに対し係数を付し、１つまたは複数の音響特徴量を作成する。さらに、これらの音響特徴量を組合せて、音響特徴量Ｆ（ａ）を作成する。
　ステップワイズ法には変数増加法、変数減少法、変数増減法の３種類があるがいずれを用いてもよい。ステップワイズ法で用いられる回帰分析には、線形判別式やロジスティック回帰分析等の線形分類の処理が含まれる。変数ｆ（ｎ）およびそれらの係数、すなわち図３Ａの式で示される式Ｆ（ａ）の係数ｘｎは回帰係数と呼ばれ、関数ｆ（ｎ）に付与される重みである。
　回帰係数は、学習アルゴリズムの作成者が選択した後に、データベースに蓄積される疾患情報などから、推定精度を高めるための機械学習により品質の改善を行ってもよい。
　図３Ａは、１つ以上の音響特徴量を算出するための特徴量の式Ｆ（ａ）である。式Ｆ（ａ）を基にして被験者の疾患の予測値を算出することができる。ここで、ｆ（ｎ）は、上記の音響パラメータの項目（１）ないし（１１）の中からいずれか１つ以上の第２の音響パラメータを任意に選択したものである。ｘｎは疾患に固有の回帰係数である。ｆ（ｎ）、ｘｎは、推定プログラムの一部として、予め第４のサーバ２１０の記憶部２１４内に格納されていてもよい。推定プログラムの機械学習の過程で特徴量Ｆ（ａ）の回帰係数を改善してもよい。
　図２の算出部２１１は、第２の音響パラメータの組合せに基づいて、健常者と疾患を有する被験者を区別する、あるいは疾患どうしを区別するための特徴量を算出する。この特徴量から、基準範囲と、基準範囲から被験者の値がどの程度離れているのかを算出するためのスコアリングを行うことにより、被験者の疾患の予測値を算出する。
　図３Ｂは、ある一つの音響特徴量の強度が、疾患毎に異なっていることを示すイメージ図である。被験者は疾患Ａのスコアが最も高いことを示している。従って、被験者の疾患Ａに対する予測値は、他の疾患群と比較して高く算出される。また、例えば、強度５０を閾値と設定することにより、疾患Ａ、疾患Ｄ、疾患Ｅの群と、疾患Ｂ、疾患Ｃの群とに分類できる。
　図３Ｂは、一つの音響特徴量の強度を基に疾患の予測値を算出しているが、実際は一つの音響特徴量のみで疾患を分類できることは困難である。そのため、いくつかの音響特徴量の組み合わせにより求められる特徴量Ｆ（ａ）を算出して、疾患を分類しても良い。
　この音響特徴量の組合せである特徴量Ｆ（ａ）を基に、ラベル付けされた被験者の音声について疾患の予測値を計算し、疾患ごとの予測値の分布を求める。これにより、各疾患を分類することができる。
　図３Ｃは、ある３つの音響パラメータの組み合わせによって得られた疾患の予測値（図３Ｃ中では、「メンタル値」と記載している）の分布画像である。
　図３Ｃから、レビー小体型認知症の患者群の予測値の分布が、他の疾患の患者群及び健常者群の予測値の分布から分離できることがわかる。本願発明は、疾患ごとに、他の疾患と区別できるように音響パラメータの組み合わせを設定し、特徴量Ｆ（ａ）を計算し、音響特徴量の組合せである特徴量Ｆ（ａ）を入力として、各対象者の音声がどの疾患に当てはまるかを判定することができる。
　別の手法としては、各患者の音声から、疾患毎の音響特徴量の組合せである特徴量Ｆ（ａ）を抽出し、どの疾患の特徴量をより多く有しているかを求め、疾患の予測値を互いに比較することにより、患者が罹患している疾患と推定することができる。
　この場合、疾患の予測値は、その疾患に罹患している程度ととらえることができる。各疾患の予測値を比較、再計算することにより、どの疾患に罹患しているかを確率で表現することができる。
　このようにして、アルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、双極性障害の６疾患を含む患者の音声、および健常者の音声から、それぞれの疾患に関連する音響特徴量の組合せである特徴量Ｆ（ａ）を抽出し、それぞれの疾患の予測値を算出する。
　また、対象とする疾患に関して、更に血管性認知症、前頭側頭型認知症、気分循環症、気分変調症の４疾患を加えた１０疾患を含む患者の音声から推定プログラムを作成してもよい。
　最終的には、判別対象者が発話した音声を解析することにより、上述の６疾患乃至１０疾患のいずれかであるか、または健常であるかを推定する。
　推定プログラムの推定フローに関して、上述したように、個別の疾患に対し、それぞれの疾患の特徴量（ａ）を抽出して疾患の予測値を算出してもよいが、まず、疾患群に関する音響特徴量の組合せを作成し、疾患群に関する特徴量Ｆ（ａ）を推定部への入力として用い、複数の段階に分けて入力・推定を行うことで、最終的に各疾患または健常の推定をしてもよい。
〔４－２．推定精度〕
　図４Ａ及び図４Ｂは、健常者または特定疾患と、それ以外の分離性能を示すＲＯＣ曲線のグラフである。横軸が１－特異度を示し、縦軸が感度を示す。言い換えると、横軸が偽陽性率を示し、縦軸が真陽性率を示す。図４Ａ及び図４ＢのＲＯＣ曲線は、いずれも偽陽性立が低い時点で真陽性率が高い値を示した。
　また、ＡＵＣ（Ａｒｅａ　ｕｎｄｅｒ　ａｎ　ＲＯＣ　ｃｕｒｖｅ）はいずれも０．５より高く、ランダムに識別した場合と有意な差が確認できた。分離性能の検証が行われた疾患は、レビー小体型認知症、アルツハイマー型認知症、パーキンソン病、大うつ病、双極性障害、非特定うつ病である。それぞれのＲＯＣ曲線におけるＡＵＣは、レビー小体型認知症が０．７９４、アルツハイマー型認知症が０．７９９、パーキンソン病が０．７７１、大うつ病が０．８６９、双極性障害が０．８６、非特定うつ病が０．８６であった。なお、本願発明を用いて推定可能な疾患は上記のものに限定されない。ＡＵＣの結果から、疾患の推定精度が高いことが確認できる。
　本願発明の推定プログラムは、レビー小体型認知症を、健常または他の疾患と分類することができる。
　本願発明の推定プログラムは、アルツハイマー型認知症を、健常または他の疾患と分類することができる。
　本願発明の推定プログラムは、パーキンソン病を、健常または他の疾患と分類することができる。
　本願発明の推定プログラムは、大うつ病を、健常または他の疾患と分類することができる。
　本願発明の推定プログラムは、双極性障害を、健常または他の疾患と分類することができる。
　本願発明の推定プログラムは、非特定うつ病を、健常または他の疾患と分類することができる。
　本願発明の推定プログラムは、健常な状態を、上記の疾患と分類することができる。
　前述のように作成された推定プログラムは、精神・神経疾患に罹患していると疑われる者であっても、健常と推定される者であっても特に制限なく利用できる。使用場面も、医師による診察のツールとして、あるいは健康診断や人間ドックの検査項目として、対象者の音声を取得すれば簡便に利用可能である。
　本発明の音声データ解析装置には、いくつかの異なった音声解析プログラムを搭載することができる。
　例えば、健康な人が日ごろから健康状態を把握する目的であれば、ＭＩＭＯＳＹＳ（ＰＳＴ株式会社の登録商標）により、“元気圧”と“活量値”から元気の度合いを知ることができる。ＭＩＭＯＳＹＳは音声解析により利用者が発する感情の種類と大きさ及び元気の度合いを算出する音声解析プログラムを搭載した製品である。
　また、利用者自身が元気が落ちてきたと自覚症状がある場合や、ＭＩＭＯＳＹＳの測定によって元気の度合いが低くなる傾向にあった場合には、精神・神経系疾患の可能性を測定する解析プログラムを用いることが好ましい。
　このような音声解析プログラムとしては、例えば、健常であるか、認知症群の疾患である可能性があるか、気分障害群の疾患である可能性があるかを推定するプログラムが挙げられる。
　更に、利用者が何らかの精神・神経系疾患の可能性が高いと思われる場合は、精神・神経系疾患のいずれかを推定するプログラムを用いることが好ましい。
　ここで、精神・神経系疾患としては、具体的には例えば、認知症群として、レビー小体型認知症、アルツハイマー型認知症、パーキンソン病が挙げられる。この他にも血管性認知症を含めることができる。また気分障害群として、大うつ病、双極性障害、非定型うつ病が挙げられる。この他にも気分循環症、気分変調症を含めることができる。
　また、推定する対象の疾患としては、精神・神経系疾患が好ましいが、発話に影響する疾患であれば推定できる可能性があるので、例えば、心疾患、呼吸器系疾患等が挙げられる。
〔５．推定プログラムの作成例〕
　上記項目４では、第４のサーバ２１０の推定部２１２で実行される推定プログラムの分類器としての性能を十分に証明した。本項目５では、推定プログラムの作成例を紹介する。
〔５－１．推定プログラムの作成例１〕
　本項目５－１では、疾患を、レビー小体型認知症、アルツハイマー型認知症、パーキンソン病を含む認知症群と、大うつ病、双極性障害、非定型うつ病を含む気分障害群に分類した場合に、利用者が健常、認知症群、または気分障害群であるかを推定するための推定プログラムについて説明する。まず当該推定プログラムの作成手順について記す。
　アルツハイマー型認知症の患者１５名、双極性障害の患者１２名、非定型うつ病の患者１４名、レビー小体型認知症の患者１５名、大うつ病の患者１５名、パーキンソン病の患者１５名、健常者１５名の各音声を学習用データとして用いた。
　アルツハイマー型認知症の患者５名、双極性障害の患者４名、非定型うつ病の患者５名、レビー小体型認知症の患者５名、大うつ病の患者５名、パーキンソン病の患者５名、健常者５名の各音声をテストデータとして用いた。なお、学習用データとテスト用データとへの振り分けはランダムに行った。
　学習用データに用いる音声は各患者及び健常者が、図５に紹介される１７の文章（１番～１３番までは各２回、１４番～１７番までは各１回）を発話し各人ごとに３０個の発話を得た。
　これら各発話について特徴的な音響パラメータを抽出し、その頻度、強度等、音響パラメータの特徴と当該被験者の疾患とを関連付けることにより、上記の６疾患と健常者の７種とそれに関連づけられた各種の音響パラメータ群が得られた。
　各疾患に対して特徴的な音響パラメータを選択し、さらに選択された音響パラメータの組合せを行うことにより、各人の発話文章毎に、６疾患のいずれか、または健常者であるかを推定し、続いて認知症群、気分障害群のいずれの疾患であるか、または健常であるかを推定するための特徴量に基づく推定プログラム１０を作成した。
　テストデータとしては、図５の１７個の文章のうち、２「あいうえおかきくけこ」、３「本日は晴天なり」、６「とても元気です」、８「食欲があります」、９「心が穏やかです」、１０「おこりっぽいです」、１２「上を向いて歩こう」、１３「がんばるぞー」の８つのフレーズ（各２回で計１６個）を用いた。各発話について、いずれの疾患であるかまたは健常であるかを推定した。推定された疾患のうち、アルツハイマー型認知症、レビー小体型認知症、パーキンソン病の３つの疾患に推定されたものは、認知症群の疾患であると判定した。また、大うつ病、双極性障害、非定型うつ病の３つの疾患に推定されたものは、気分障害群の疾患であると判定した。
　ここで、各人ごとの１６個の発話が、認知症群の疾患、気分障害群の疾患、健常のうちいずれに判定されたかを集計し、もっとも多くの数の判定を得たものを、最終的な判定結果とした。
（結果１）アルツハイマー型認知症の患者（患者コードＡＤ０３）：
　認知症群の疾患と判定されたもの１３個、気分障害群の疾患と判定されたもの１個、健常と判定されたもの２個であった。従って、最終的に認知症群の疾患と推定された。これは、実際の疾患であるアルツハイマー型認知症が属する認知症群と一致していた。
　同様に行った３４名の判定結果を図６に示す。当該推定プログラムによる正答率は８５．３％であった。これにより、レビー小体型認知症、アルツハイマー型認知症、パーキンソン病を含む認知症群と、大うつ病、双極性障害、非定型うつ病を含む気分障害群に分類した場合に、当該プログラムは、利用者が健常、認知症群、または気分障害群であるかを推定可能であることが十分に証明された。
〔５－２．推定プログラムの作成例２〕
　本項目５－２では、推定プログラムの作成例として、大うつ病を、健常または他の疾患と分類する推定プログラムと、レビー小体型認知症を、健常または他の疾患と分類する推定プログラムの作成手順について説明する。なお、同様の手順により、アルツハイマー型認知症、パーキンソン病、双極性障害、または非定型うつ病を、健常または選択された疾患以外の疾患と分類するプログラムの作成を行うことができることは、上記項目４の結果から説明するまでもないため省略する。
〔５－２－１．大うつ病の推定プログラムの作成例〕
　まず、大うつ病と、健常を分類する推定プログラム（５－２－１Ａ）の作成手順について説明する。
　健常者２０名、大うつ病患者２０名による発話フレーズ（各人それぞれ約３０発話）毎に、音響特徴量を抽出するソフトウエアであるｏｐｅｎＳＭＩＬＥを用いて、７４４０個の音響特徴量を抽出した。音声を取得した施設により有意差のある特徴量を除外し、１５４７個の特徴量を選定した。そして、ブースティングと決定木を併用した手法により、特徴量から、健常者と大うつ病とを判別するための疾患の予測値を生成し、分類アルゴリズムを作成した。フレーズ毎の推定結果を図７Ａに示す。
　図７Ａに示すように、大うつ病と、健常を分類する推定プログラムにおける大うつ病の判定は、感度８１．４％、特異度８５．５％、正答率８３．５％であった。
　当該推定プログラムに基づき、各フレーズに対して大うつ病または健常のいずれかと判定したものを、各人ごとに纏めた結果を図８Ａ及び図８Ｂに示す。
　更に、各人ごとの健常判定率を求め、健常判定率が６０％以上の者を健常者と推定し、健常判定率が６０％未満の者を大うつ病患者と推定した。その結果を図９に示す。２０人の健常者はすべて健常者と推定され、２０人の大うつ病患者はすべて大うつ病患者と推定された。即ち、特異度、感度、正答率とも１００％であった。
　次に、大うつ病と、他の精神・神経系疾患を分類する推定プログラム５－２－１Ｂの作成手順について説明する。
　当該推定プログラム５－２－１Ｂは、互いに症状が類似しているアルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、双極性障害を少なくとも含む精神・神経系疾患のうち、大うつ病を抽出して推定するものである。
　解析に使用した発話の種類は、図５に示した１７種類の発話（フレーズ）である。
　まず、発話フレーズ毎に、音響特徴量を抽出するソフトウエアであるｏｐｅｎＳＭＩＬＥを用いて、それぞれ７４４０個の音響特徴量を抽出した。音声を取得した施設により有意差のあるデータを除外し、１５４７個のデータの特徴量を用いてブースティングと決定木を併用した手法により分類アルゴリズムを作成し、大うつ病とその他の疾患を判別するための疾患の予測値を生成した。
　なお、大うつ病以外の５つの患者による発話フレーズは２２３６個を用い、一方で大うつ病患者の発話は９４０個であったので、データ数の不均衡を避けるため、Ｓｙｎｔｈｅｔｉｃ　Ｍｉｎｏｒｉｔｙ　Ｏｖｅｒ－ｓａｍｐｌｉｎｇ　Ｔｅｃｈｎｉｑｕｅ（ＳＭＯＴＥ）の手法を用いて大うつ病患者の発話の疑似データを作成し、大うつ病患者の発話フレーズを３１３９個とした。
　データを１０分割し、推定プログラム５－２－１Ｂの分類アルゴリズムの１０回交差検証を行った。
　推定プログラム５－２－１Ｂに基づく推定結果を図７Ｂに示す。推定プログラム５－２－１Ｂを用いて、大うつ病と他の精神・神経系疾患を区別する場合において、大うつ病から見た再現率は９１．１％、他の精神・神経系疾患から見た再現率は９３．８％、正答率は９２．７％であった。また、ＡＵＣは０．９７７であった。
〔５－２－２．レビー小体型認知症の推定プログラムの作成例〕
　まず、レビー小体型認知症と、健常を分類する推定プログラムの作成手順について説明する。
　当該推定プログラム５－２－２Ａ作成手順は、音声として、健常者２０名、レビー小体型認知症患者２０名の発話フレーズを用いた以外は、上記項目５－２－１の推定プログラムと同様の手順を用いた。フレーズ毎の推定結果を図１０Ａに示す。
　当該推定プログラム５－２－２Ａにおけるレビー小体型認知症の判定は、感度８１．５％、特異度８３．１％、正答率８２．２％であった。
　当該推定プログラム５－２－２Ａに基づき、各フレーズに対してレビー小体型認知症または健常のいずれかを推定したものを、各人ごとに纏めた結果を図１１Ａ及び図１１Ｂに示す。
　更に、各人の健常判定率を求め、健常判定率が６０％以上の者を健常者と推定し、健常判定率が６０％未満のものをレビー小体型認知症の患者と推定した。その結果を図１２に示す。２０人の健常者はすべて健常と推定され、２０人のレビー小体型認知症患者は１９人がレビー小体型認知症と推定され、１人が健常者と推定された。即ち、特異度は１００％、感度は９５％、正答率は９７．５％であった。
　次に、レビー小体型認知症と、他の精神・神経系疾患を分類する推定プログラム（５－２－２Ｂ）の作成手順について説明する。
　推定プログラム５－２－２Ｂは、互いに症状が類似しているアルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、双極性障害を少なくとも含む精神・神経系疾患のうち、レビー小体型認知症を抽出して推定するものである。解析に使用した発話の種類は、前記推定プログラム１と同様に１７種類の発話（フレーズ）である。
　まず、発話フレーズ毎に、音響特徴量を抽出するソフトウエアであるｏｐｅｎＳＭＩＬＥを用いて、それぞれ７４４０個の音響特徴量を抽出した。音声を取得した施設により有意差のある特徴量を除外し、１５４７個の特徴量を用いてブースティングと決定木を併用した手法により分類アルゴリズムを作成し、レビー小体型認知症とその他の疾患を判別するための疾患の予測値を生成した。
　なお、レビー小体型認知症以外の５つの患者による発話フレーズは２９８７個を用い、一方でレビー小体型認知症患者の発話は５８３個であったので、データ数の不均衡を避けるため、Ｓｙｎｔｈｅｔｉｃ　Ｍｉｎｏｒｉｔｙ　Ｏｖｅｒ－ｓａｍｐｌｉｎｇ　Ｔｅｃｈｎｉｑｕｅ（ＳＭＯＴＥ）の手法を用いてレビー小体型認知症患者の発話の疑似データを作成し、レビー小体型認知症患者の発話フレーズを２６９６個とした。
　データを１０分割し、推定プログラム５－２－２Ｂの分類アルゴリズムの１０回交差検証を行った。
　推定プログラム５－２－２Ｂに基づく推定結果を図１０Ｂに示す。推定プログラム５－２－２Ｂを用いて、レビー小体型認知症と他の精神・神経系疾患を区別する場合において、レビー小体型認知症から見た再現率は８８．６％、他の精神・神経系疾患から見た再現率は８９．８％、正答率は８９．２％であった。また、ＡＵＣは０．９５９であった。
　上記のような手順と同様にして、特定の疾患を、その他の５疾患と分類する推定プログラムと、その特定の疾患と健常者とを分類する推定プログラムを組み合わせることにより、アルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、双極性障害の各患者及び健常者とを高い判定確率で推定することができる。
〔６．健康管理システム２００の動作〕
　図１３、図１４は、健康管理システム２００の動作を示すシーケンス図である。以下に順番に説明する。
　図１３は、利用者が医療機関にかかる前であるか、または利用者が一度医療機関にかかった後に寛解した場合の健康管理システム２００の動作を示すシーケンス図である。
　まず、ステップＳ１００１において、利用者端末２０１から入力した利用者の識別情報または配信要求が、ネットワークＮ、通信部２０３を介して第２サーバ２０５に送信される。精神・神経系疾患を寛解した利用者は、その旨を識別情報に含めてもよい。
　次に、ステップＳ１００２において、第２サーバは利用者端末２０１から配信要求がされた旨を伝えるメッセージを第３サーバ２０６に送信する。
　次に、ステップＳ１００３において、第３サーバ２０６は配信要求を受信すると、配信データを利用者端末２０１へ送信する。この配信データには、音声入力を促す旨のメッセージが含まれている。配信データは、通信部２０３、ネットワークＮを介して利用者端末２０１へ送信され、配信データを出力する手段によって出力される。
　次に、ステップＳ１００４において、利用者が利用者端末２０１の音声の入力手段を介して入力した音声データが第１サーバ２０４へ送信される。
　次に、ステップＳ１００５において、第１サーバは受信した音声データのコピーを格納するとともに、当該音声データを第４サーバへ送信する。
　次に、ステップＳ１００６において、第４サーバは受信した音声データを前処理して第１の音響特徴量を算出し、かつ、予め記憶部２１４に格納されている第２の音響特徴量と、推定プログラムを基にして、算出部２１１で特徴量Ｆ（ａ）を算出する。推定部２１２は、算出部２１１で算出した特徴量Ｆ（ａ）を基にして、精神・神経系疾患の推定処理を行う。
　ここで、推定部２１２が、利用者がいずれの精神・神経系疾患にも罹患していないと推定した場合は、選択部２１３を介して第３のサーバ２０６の第１の配信データ２０７が配信される。また、推定部２１２が、利用者がいずれかの精神・神経系疾患に罹患している疑いがあると推定した場合は、選択部２１３を介して第３のサーバ２０６の第２の配信データ２０８が配信される。
　また、第２サーバ２０５に登録された利用者の識別情報の中に、精神・神経系疾患に罹患した病歴があるものの、既に寛解している旨の記録がある場合であって、かつ推定部２１２がいずれの精神・神経系疾患にも罹患していないと推定した場合には、選択部２１３を介して第３のサーバ２０６の第３の配信データ２０９が配信される。
　次に、ステップＳ１００７において、第３のサーバ２０６は、所定の配信データを利用者端末２０１に送信する。利用者端末２０１は受信した配信データを出力手段から出力して、処理を終了する。
　このように、図１３では、第２のサーバ２０５に登録される利用者の識別情報と、利用者の音声データが第４のサーバ２１０の推定部２１２でどのように推定されるかによって、第３のサーバ２０６から配信される配信データが変更するように構成される。そのため、利用者の個々の健康状態に適合した健康情報を配信データとして配信できる点で有用である。また、図１３に示すステップは、その一部または全体を繰り返し実行することにより、時系列で状態の変化を確認することができる。
　次に、図１４の説明に移る。図１４は、利用者が医師の診断を受けた後のシーケンス図であって、図１３の健康管理システム２００の機能の他に、健康管理システム２００と医療機関のサーバとの相互通信を含む。なお、図１４では、利用者が何等かの精神・神経系疾患に罹患した旨の診断がされたものと仮定して、ステップの説明をする。
　まず、ステップＳ２００１において、ウェブサーバ２０２の一種である医療機関サーバ２０２Ｍは、ネットワークＮ、通信部２０３を介して第２のサーバ２０５へアクセスして、利用者の識別情報を更新する。
　次に、ステップＳ２００２において、第２のサーバ２０５は利用者の識別情報が更新された旨のメッセージを第３のサーバ２０６へ送信する。
　次に、ステップＳ２００３において、医療機関サーバ２０２Ｍから利用者への音声入力の要求がされた場合、または利用者端末から健康管理システム２００にアクセスがあった場合に、第３のサーバ２０６が、利用者に音声入力を促す旨の配信メッセージを利用者端末２０１に送信する。
　次に、ステップＳ２００４において、音声の入力手段を介して入力された利用者の音声データが第１サーバ２０４へ送信される。
　次に、ステップＳ２００５において、第１のサーバ２０４は音声データをコピーして保存するとともに、当該音声データを第４のサーバ２１０へ送信する。
　次に、ステップＳ２００６において、第４サーバ２１０は受信した音声データを前処理して第１の音響特徴量を算出し、かつ、予め記憶部２１４に格納されている第２の音響特徴量と、推定プログラムを基にして、算出部２１１で特徴量Ｆ（ａ）を算出する。推定部２１２は、算出部２１１で算出した特徴量Ｆ（ａ）を基にして、精神・神経系疾患の推定処理を行う。
　ここで、ステップＳ２００１ないしステップＳ２００６の処理は繰り返し行われてもよい。例えば、図１４では、利用者は既に何等かの精神・神経系疾患に罹患した旨の診断がされているが、診断後も予後経過を定期的に音声データとして入力し、第４サーバで推定処理をし続けることができる。また、第１サーバの音声データや第４サーバの推定処理の結果はその都度保存される。保存されたデータは、次の来院時の診断において予後経過の判断材料として用いることができる。
　また、診断後に、図１３のステップにて取得した診断前の第１サーバの音声データや第４サーバの推定処理の結果を確認することもできる。これにより、診断の正確性を増すことができる。
　次に、ステップＳ２００７において、第３サーバ２０６は第４サーバ２１０の推定処理の結果を基に、選択部を介して配信データを選択し、予後の利用者に配信データを送信する。配信データは、第２または第３の配信データが選択される。
　なお、第２または第３の配信データの中に、医師から提供される問診票を含む利用者への質問データが含まれる場合がある。その場合は、ステップＳ２００７へ進む。ステップＳ２００７以降の操作は、ステップＳ２００１ないしステップＳ２００６の操作とは独立して繰り返し実行されてもよい。
　次に、ステップＳ２００７において、問診票が利用者端末２０１へ送信される。次に、利用者が利用者端末２０１から問診票への入力を完了すると、ステップＳ２００８において、入力データが第２のサーバ２０５へ送信され、保存される。
　次に、ステップＳ２００９において、入力データが医療機関サーバ２０２Ｍへ送信される。ステップＳ２００９の操作は、第２サーバ２０５で行うステップＳ２００８の操作と組合されていてもよい。医療機関サーバ２０２Ｍは入力データを出力手段から出力して、処理を終了する。
　以上のようにして、図１３または図１４の健康管理システム２００を利用することにより、利用者は未病時には個人の健康管理ツールとして健康管理システム２００を利用することができる。また、精神・神経系疾患の発症後は、医師の診断支援ツールとして健康管理システム２００を利用することができる。また、完治・寛解後の利用者に対しては、個人の健康管理ツールとして、必要に応じて医師によるモニタリング手段として健康管理システム２００を利用することができる。
　これまでに、健康管理システム２００の動作の一例を紹介したが、本願発明はこれに限定されるものではない。なお、図１４では、ウェブサーバ２０２と健康管理システム２００の組合せた利用例として医療機関サーバ２０２Ｍを取り上げたが、医療機関が本システムを用いる代わりに、マーケット機関が消費者動向調査を行う目的で医療機関サーバ２０２Ｍを含む健康管理システム２００を利用してもよい。
　〔７．本発明の特徴〕
　健康管理システム２００は、発話を取得した毎に出力を表示させ、その都度健康状態を把握することも可能であるが、図１３、１４に示すようにして、継続的に音声を取得し、それを纏めて解析し、時系列で変化を見ることができる。例えば、１か月毎、３か月毎など、定期的に、あるいは何か体調不良があった時にそれまでの経緯を見ることができる。
　それにより、健康管理システムとして従来のものに比べて以下のような優れた効果を有する。
　（１）時系列で変化を見ることにより、健康状態のトレンドが分かり、病気に向かっていくトレンドとなっていれば、予防的な対処をすることができる。
　（２）継続的に音声を取得すれば、例えば１週間に一度でも音声を取得すれば、毎週の健康状況を捉えることができる。これは年に１回または２回の健康診断に比べ頻度が極めて多く。予防と早期発見のタイミングを逃さない。
　（３）うつ病などの精神系疾患の場合、遺伝的要素、個人の資質（ストレス耐性、レジリエンス等）、居住地域の物理的環境、家族や会社の同僚など近い人間関係等、様々な要因が重なって発症する。そして、その原因を取り除かない場合は、一旦治っても再発するリスクが大きい。そこで、時系列として解析することにより、どのタイミングで健康状態が悪くなっているかが分かり、その時のライフイベントを考慮すると、主たる原因を捉えることが可能となる。従って、原因を取り除くことが容易になり、治癒・寛解後の再発を起きにくくすることができる。
　（４）アルツハイマー型認知症などの認知症疾患は、病気が進行すると本人の病識が低下し、その病気であることを認めなくなる傾向にある。そうすると、治療を受けにくくなり重症化が早くなるほか、家族など周囲の精神的負担が大きくなる。認知症は年齢を重ねると誰もが発症する可能性が高くなることから、軽症のうちに認知症が進行する危険性を本人が自覚することにより、認知症の進行を防ぐトレーニングを積極的に受けたり、将来の備えをすることができる。また家族にとっても、将来的な心構えを持ち、対処を容易にすることができる。
　〔８．音声取得の場面〕
　図２において、利用者端末２０１が、音声を入力する手段および配信データを出力する手段を有するスマートフォンやタブレット等の通信端末を含むことを説明した。ここでは、音声を入力する手段に関し、その他の例を紹介する。
（１）利用者に半強制的に発話を指示し、音声を取得する場合
　・出勤時のタイムカードの代わりに音声で出勤したことを確認する。
　・テレワーク時に、自宅等から業務開始の合図として、一定の発話を行う。また、業務終了時も同様。
　・運送業のドライバー、パイロット等、業務前検査（健康状態の把握）として発話する。
　・治療の経過観察時、医師から指示された患者が音声を取得する。例えば、毎食後服薬する際に音声も取得する。
（２）利用者が日常的に発話する状況にあり、その音声を取得する場合
　・コールセンターのオペレータの会話の音声を取得する。
　・コンビニ、ファストフードその他小売業の接客の会話の音声を取得する。
　・アナウンサー、声優、司会者、駅員等、業務上発話する音声を取得する。
　・スマートホーム家電を音声により操作する場合に、その音声を取得する。
　・オンラインゲーム等でチーム内でチャットを行う際に、発話する音声を取得する。
　・スマホアプリのゲーム中に、呪文を唱える際に実際の音声で行うよう設定する。
　・警官、警備会社、タクシー、林業等が用いる無線による会話の音声を取得する。
　・医療従事者、介護従事者が、患者等に声をかける際の音声を取得する。
　・保険業や金融業の店舗の窓口において、商品を紹介する場合等に発話する音声を取得する。
（３）利用者にインセンティブを与えることによって利用者がメリットを得るため自主的に発話する音声を取得する場合
　・スマホゲームにおいて、音声を発することにより、ゲーム内で使用できるアイテムを取得することができるように設定する。
　・クーポン配布サイトへのアクセス時に、発話により通常よりも優待されたクーポンが得られるように設定する。
（４）他人から、利用者にアクセスすることによって、利用者が発話する状況を作る場合
　・一人暮らしの高齢者に対し、デイケア担当者、警備会社等から定期的に健康確認の電話をかけ、それに応答した音声を取得する。
　・ペットとして会話ロボットを保有する利用者に対して会話ロボットが定期的に話しかけ、それに応答した音声を取得する。
　・利用者が入院している場合、体温、脈拍、血圧とうの測定と共に、利用者が発話する音声を取得する。
（５）利用者が定期的に通う場所において、発話することを提案し、音声を取得する。
　・ジム、ヨガサロン、スイミングスクール、エステティックサロン、ダンススタジオ等、健康・美容志向の高い利用者に対して、血圧その他の測定と同様に健康管理の一環として音声を取得する。
（６）利用者が自身の健康管理のために、自主的、定期的に発話する音声を取得する場合。
　多様な音声取得場面を設定することにより、継続的に音声取得が可能な環境を作ることが可能である。各人にとっては、音声取得場面が変化したとしても、上記のいずれかの状況があれば、継続的に音声を取得することができる。
　〔９．配信データの一例〕
　第３のサーバ２０６から配信される配信データの一例について紹介する。
　〔９－１．健康時の出力〕
　健康管理システム２００は、健康時は、音声解析エンジンとしては、非医療分野での使用となるので、病気を判定するエンジンよりも、病気のリスクや心身状態の判定エンジンを用いることが主体となると考えられる。具体的には例えば、「健康」、「うつ症状を呈する」、「認知機能の低下を呈する」との３つに分類する音声判定エンジンを用いる。
　また、「健康」か「病気の可能性あり」か、を判定するエンジンと、病気の可能性としてそれは「うつ症状を呈するもの」であるか、「認知機能の低下を呈するもの」であるかを判定するエンジンを組み合わせて用いることが考えられる。
　〔９－２．算出部２１１または推定部２１２の数値化例、および言語への変換例〕
　取得した音声を解析し、「健康」、「抑うつ症状を呈する」、「認知機能の低下を呈する」の３つに分類する場合、どれに属するかの確信度として合計が１となるように数値化する。
　この時、「健康」を表す値を”Ｈ値”、抑うつ状態を呈する確信度の値を”Ｍ値”、認知症を呈する確信度の値を”Ｃ値”とすると、あるユーザーの音声を解析した場合に、解析装置（エンジン）による解析結果は例えば
　Ｈ値０、　　Ｍ値０．７５、Ｃ値０．２５　や、
　Ｈ値０．５　Ｍ値０．２５、Ｃ値０．２５　などとなる。
　解析装置により得られた数値は、そのまま出力してもよいが、ユーザーに分かりやすくするため、なんらかの言葉に変換して表示することができる。
　例えば、Ｍ値とＣ値がいずいれも０．３以下であれば、ユーザーは健康であると判断し、「心身は健康な状態です」と出力する。また、Ｍ値またはＣ値が０．３を超え～０．５以下の場合は、なにか心身の健康を維持、強化、改善するためのプログラムを試みることを提案する。
　例えば、言語への変換例として、「運動はストレス解消になりますよ。ジムやダンスは如何ですか？」、「くよくよすることがあったらマインドフルネスで解消しましょう」、「マッサージ、エステ、あかすりなど肌に触れるものは、気持ちが安らぎますよ」、「気分転換に旅行に行きましょう！」、「子ども心を発露すると持ち味が生かせるようになりますよ。パーティーやディスコは如何ですか？」等のフレーズが含まれる。
　Ｍ値またはＣ値が０．５を超えた場合には、０．５を超えた分類について、ユーザーに対してフィードバックを行う。例えばＭ値が０．５値を超えた場合は、「精神力が弱っていませんか？」、「ストレスが高くなっていませんか？」、「頑張りすぎのようですね」、「対人関係でトラブルはありませんか？」「無理をしないことも必要です」などど、なにか気づくきっかけになるフィードバックを行う。
　〔９－３．病気である可能性が出てきた場合〕
　更に、Ｍ値またはＣ値が０．５を超えた場合は、更に疾患の有無を判定する解析装置にかけ、その数値により別のフィードバックを加えることができる。
　例えば、病気を判定する解析装置により、特定の疾患であることを示す確信度が０．７以上の場合に、その疾患が大うつ病、双極性障害、非定型うつ病など、抑うつ症状が主たる症状である場合は、「メンタルクリニックや心療内科へ行くことを勧めます。」、また確信度が０．７以上の場合に、その疾患がアルツハイマー型認知症、レビー小体型認知症、パーキンソン病など、脳の機能障害による認知機能の低下や運動機能の低下が主たる症状である場合は、「神経内科へ行くことをお勧めします」などのフィードバックを加えることができる。
　〔９－４．医師が使用する場合〕
　医師が使用する場合、通常の診断機器として、病気を判定するエンジンを用いる。なお、心身状態の深刻度または疾病の重症度を判定するエンジンを併せて用いることにより、治療の経過観察を行うことができる。また、患者の音声入力により経時的なデータ取得を可能にすることで、医師や看護師が直接患者宅へ訪問診療する労力が軽減でき、医療コストの削減が可能となる。
　〔１０．全体的なシステムの解説〕
　図１５は、本健康管理システム２００の全体像を示す概略図である。主要なシステムの流れを各ステップＳ３００１ないしＳ３０１２を用いて説明する。
　まず、ステップＳ３００１において、利用者からの音声入力が様々な利用シーンにおいてなされる。この様々な利用シーンには、利用者端末２０１からの音声入力の他にも、「８．音声取得の場面」の項目で挙げたシーンが含まれる。入力された音声データは、第１ないし第４のサーバを備える健康管理システム２００において、主に第１のサーバ２０４に保存される。同時に、利用者が利用者端末２０１を介して入力した識別情報が健康管理システム２００の第２のサーバ２０５に保存される。
　次に、入力された音声データを基に第４のサーバ２１０において音声の解析、測定、および推定処理が行われ、ステップＳ３００２において、推定結果が利用者端末２０１に送信される。また、ウェブサーバ２０２を経由して推定結果が非医療サービス機関２０２Ａへ送信される場合もある（Ｓ３００３）。この場合には、ステップＳ３００４において、非医療サービス機関２０２Ａから、第３のサーバ２０６に推定結果が送信される。なお図１５では、第３のサーバ２０６の機能の一部が健康管理システム２００とは別に記載されている。そして、ステップＳ３００５において、医療機関への受診を推奨する旨のメッセージが第３のサーバ２０６から利用者端末２０１へ送信される。
　また、ステップＳ３００６、ステップＳ３００７では、利用者端末２０１と健康管理システム２００との間で、利用者の識別情報に関する管理情報が送受信される。
　その後、利用者は、施設を訪問する等して問診を受ける。
　次に、ステップＳ３００８において、健康管理システム２００は、第１のサーバ２０４に保存された音声データ、第４のサーバ２１０に保存された推定結果データを施設に送信することができる。施設は、問診・検査・診断時にそれらのデータを利用することができる。
　施設は、検査、診断をした後、診断結果を健康管理システム２００に情報提供する（ステップＳ３００９）。健康管理システム２００は、治療時や予後期間中も、第１のサーバ２０４に保存された音声データ、第４のサーバ２１０に保存された推定結果データを送受信し（ステップＳ３０１０、ステップＳ３０１１）、治療に役立てることができる。患者が寛解した後も、定期的に利用者の音声データを取得するなどして、経過観察を行うことができる。
　また、ステップＳ３０１２では、音声データや推定結果の時系列データを様々な利用シーンにフィードバックして利用することができる。
　〔１１．その他の解説〕
　その他本願発明に関する解説を行う。なお、本願発明は以降の解説内容に限定されるものではない。
　図１６は、音声プラットフォーム装置または他システム（送受信、独自判定結果出力）または組込済みシステムを用いて利用者の登録を行う一例である。
　本装置を用いる流れは、
（１）登録した利用者の音声及びその他データを入力し利用者データ保存装置へ保存し、
（２）保存した音声及び付随するその他データを選択し、
（３）利用サービスを選択し、
（４）サービスで用いる音声データ解析装置で解析し結果を利用者データ保存装置へ保存し、
（５）解析結果をもとに、その他のデータを踏まえてあらかじめ用意した判別マスタから判別結果を検索し、
（６）判別結果とあらかじめサービスで要求されている解析結果等データを送信し、
（７）サービス提供者またはシステムが受信し、行動支援に有益な出力またはサービスを利用者へ提供する、である。
　例えば、現在、スポーツジムやダイエットプログラムは肉体の健康増進を目的にサービスを提供している。これら健康増進施設では、運動等アクティビティトレーナー等従事者からのサービスを受け目標を設定し実行計画を立案している。他方、アスリートを中心にフィジカル面だけでなくメンタル面の強化改善を行うことにより効果的な目標の達成を目指すこともある。音声プラットフォーム装置または音声プラットフォーム装置の機能を組込み済システム用いることにより、メンタル面の強化に有効な情報活用を促すことが考えられる。
　図１７は、利用者の登録に関する流れを説明する。利用者は、使用開始の同意画面からデータの利用に関する説明を確認し、内容に同意する場合は利用開始ボタンを押す。利用開始ボタンを押下した後に、初回登録画面が表示される。初回登録画面に表示された必要事項（年齢、性別、既往歴等）を入力し入力完了ボタンを押す。入力完了ボタンを押した際に、入力で用いた機器を特定する符号が取得可能な場合は主に利用する端末識別番号として入力される。入力完了ボタンを押した後、利用者本人が画面に表示されたまたは自由発話の場合は自由発話を選択し、一方または両方の入力ガイドに沿って音声を入力する。声紋抽出に必要な音声が入力されたことが確認されたら音声入力完了を示す画面を表示し、確認ボタンを押下することで入力データが音声プラットフォーム装置へ確定情報として送信される。
　例えば、利用者がメンタル面も含めたトレーニング計画の策定に際し、音声プラットフォーム装置または音声プラットフォーム装置の機能を組込み済システムの利用を希望する場合は、利用者登録を行う。この際に利用者情報として音声を取得する。
　図１８は、音声データの格納に関する流れを説明する。利用者が初回登録または随時音声データの入力を音声プラットフォーム装置に直接または他システムで取得した音声を音声プラットフォーム装置を経由して入力を行う。入力時確認を完了した音声データは音声プラットフォーム装置で一時保存された状態からデータ保存装置へ送信される。送信された音声および付随するデータは音声プラットフォーム装置を構成するデータ保存装置で受信しデータ保存装置のデータベースへ音声取得日時、利用端末および利用に伴うデータとともに保存される。保存した音声およびその他データは、利用者本人の操作または利用者が承認したサービスまたはサービス提供者等以外は検索、閲覧、出力、削除できない。登録時の同意に記載のある個人を一意に特定することが困難なデータセットは音声プラットフォーム装置を用いたサービスを提供する事業者から音声プラットフォーム装置の利用許可を得た事業者等へ閲覧およびメッセージの送受信を許可することができる。利用者が利用の停止や終了を音声プラットフォーム事業者へあらかじめ定められた手順で申し入れを行い処理が終了した後同意に基づき、または利用者が利用規約に違反したと音声プラットフォーム事業者が判断した場合は個人を特定可能なデータを（論理または物理的に）消去することができる。個人を一意に特定できないデータは、音声プラットフォーム事業者の統計情報として当該事業者が継続して利用することができる。
　本プラットフォームで保存するデータは機微な個人情報を含むものであり、データ保存環境は暗号化やデータの分散等個人情報を保護するための措置を施しているものとなる。
　例えば、スポーツジムで利用申し込み時、計画策定時、計画実行中、計画終了時に活動記録の一環として音声データを入力する。音声プラットフォーム装置をスマートフォン等携帯端末機器で利用している場合は、スポーツジムのマイク以外に自身の機器で取得した音声も保存し活用することが可能となる。
　音声取得方法の例としては、以下の様なものがある。
　（１）利用者が健康増進等サービスを受ける際にフィジカルだけでなくメンタルの改善強化を目的として活動計画を立案する際に音声を入力する。
　（２）利用者が音声等データの保存や活用を希望し音声プラットフォーム装置の機能を用いてまたは音声プラットフォーム装置の機能を利用しているその他アプリやシステム等を用いてまたはそれらが接続されているウェアラブル機器等を経由して入力する。
　（３）事業主等が利用者本人の同意を得てあらかじめ業務動線の中（コールセンターの応対記録や運送業の連絡用無線または歌手がレコーディングやライブを行うまたは役者、声優等が演技を行うまたは医療、介護、健康増進サービス等で問診や看護や声掛けやカウンセリングまたは保険商品のセールスまたは小売店等での接客時等）で取得し、音声プラットフォーム装置で取扱い可能な形へ変換し音声プラットフォーム装置の機能を用いて入力する。
　（４）事業者等がマーケティングや顧客ロイヤリティの改善または情報の取得等を目的にインセンティブを提供する際またはインセンティブの実行を行う場合、またはアプリケーション等において抽選によってゲーム内で用いるカードや仮想的な物品を購入する仕組み（いわゆるガチャ）あるいはスマートスピーカ等主に音声で操作を行う装置の機能利用またはスマートフォン等音声入力装置を持つ機器の操作またはパソコンやスマートフォン等機器のアプリケーション操作等実施時の操作として音声を入力する。
　（５）音声入力を伴うアミューズメント（カラオケ等）やサービスの提供に音声を用いるあるいはサービスの説明や提供に伴い取得した音声（健康診断の一環としてまたは保険商品購入時の健康状態把握または介護や健康増進サービスの計画策定および実績の評価を目的として取得する音声等）を入力する。
　（６）衣類やアクセサリの試着や着用時または自動車等輸送機器の乗車時または不動産売買に伴う家屋の閲覧や生活時またはその他サービスや財の試用や利用の際に音声を取得する。
　（７）ネット経由のサービス（ネットショッピング、遠隔医療、カウンセリング、教育、金融等商品のあっせん、就職や転職の支援サービス、異性との出会いをあっせんするマッチングアプリ等）。
　（８）情報発信者の音声コンテンツや状態を伝えるときにパソコンやスマートフォン等機器を用いて音声を入力する。
　（９）精神疾患や認知症系疾患の寛解後再発時により適切なタイミングで自身の変化を知ることを目的に日々音声を入力する。
　図１９は、識別情報を登録済の利用者の音声解析の例を説明する。利用者は、音声解析をあらかじめ保存したまたはサービス利用時に登録または取込みした音声データ及び付随データを用いた音声プラットフォーム装置の機能またはその他サービス提供者のサービス利用を依頼しサービス提供者が受けた際に、利用者のサービス利用に必要なデータをサービスで利用する解析装置へ音声およびその他サービスで必要となるデータを解析用データセットとして送信する。解析装置はサービス利用許可を確認ののち、受信したデータセットを用いて前処理し、解析し、解析結果を出力する。出力した解析結果データセットを音声プラットフォーム装置へ送信する。音声プラットフォーム装置で送信した解析用データセットの解析結果を受信し、結果を確認し、解析が期待したサービスレベルで完了している場合は完了通知を、完了していない場合は再解析依頼を解析装置にまたは解析用データセットの不備に起因するものであれば音声プラットフォーム装置へ通知として、またはいずれかの装置の予期しないエラーであればプラットフォーム装置のサービスを提供する事業者と利用者及び解析装置の管理者へエラーログを基にしたあらかじめ定められたメッセージを送信する。
　例えば、各シーンで入力した音声は、音声プラットフォーム装置のデータ保存装置に本人の音声として保存される。保存された音声は、音声取得時のデータ確認または音声保存時に実行可能な声紋確認装置により声紋の本人性を表す数値とともに保存する。保存したデータは、利用者が選択したサービスにより解析に必要なデータセットをデータ保存装置から抽出し解析データセットを作成し音声プラットフォーム装置から解析装置へ送信される。
　解析装置は受信した解析データセットを前処理し、解析し、解析結果を送信する。解析結果を閲覧することで、メンタルの状態（メンタル値）や認知機能の状態（コグニティブ値）を、時系列に保存された音声に対し時系列で確認することができる。
　図２０は、判別に関する例を説明する。利用者は、音声解析結果の判定をあらかじめ保存したまたはサービス利用時に登録または取込みした音声データ及び付随データの解析結果を用いた音声プラットフォーム装置の機能またはその他サービス提供者のサービス利用を依頼しサービス提供者が受けた際に、利用者のサービス利用要望に基づき設定した判別条件に基づき判別に必要なデータをサービスで利用する判別装置へ音声解析結果およびその他サービスで必要となるデータを判別用データセットとして抽出し送信する。判別装置は、あらかじめ登録されている音声解析結果等のデータに対応する判別結果データ保存装置から対応する判別結果を検索しデータ判別結果として、サービスであらかじめ定められた出力先および音声プラットフォームデータ保存装置へ出力する。
　例えば、解析結果データをもとにメンタルの状態や認知機能の状態をよりよく理解するため指標や情報を判別する。利用者は判別結果から自身の状態を時系列で確認することにより、今後対策すべきソリューションまたはサービスを客観的な情報を基に検討可能となる。
　図２１は、行動支援に関する例を説明する。利用者は、音声プラットフォーム装置に保存したまたはサービス利用時に登録または取込みした音声データ及び付随データの判別結果を用いた音声プラットフォーム装置の機能またはその他サービス提供者のサービス利用を依頼しサービス提供者が受けた際に、利用者が設定あるいは選択したまたはあらかじめサービス提供者がサービスの一部を構成するデータとして設定した情報活用条件に基づきサービスで利用する情報活用方法選択装置へ音声解析結果およびその他サービスで必要となるデータおよび判別結果を情報活用データセットとして抽出し送信する。
　情報活用方法選択装置は、あらかじめ登録されている情報活用方法から受信したデータセットに対応する情報活用方法データ保存装置から対応する情報活用方法を検索し情報活用方法選択結果として、サービスであらかじめ定められた出力先および音声プラットフォームデータ保存装置へ出力する。
　出力結果をもとに情報活用を行った結果を受信する。受信した情報活用結果は音声プラットフォームデータ保存装置へ送信する。音声データプラットフォームデータ保存装置は、受信した情報活用結果を選択した情報活用方法の結果として保存する。
　例えば、判別結果をもとにお勧めのトレーニングメニューや疾病予防等にも有効なカウンセリングあるいは食事（に限らずプラットフォーム事業者やサービス提供者の持つ情報等）のフィードバック等情報の検索結果を表示することで計画の進捗や新たな支援の機会あるいは疾病予防の行動を行う機会等を得ることができる。
　図２２Ａ及び図２２Ｂは、システムに関する流れを説明する。医療施設等サービス提供者は、組込済みシステム導入時および登録情報の変更が発生する場合は、施設情報や従事者の情報等を登録する。あわせて組込み済システムで利用する検査等サービスの条件についてあらかじめ定められた設定からの組み合わせまたは管理者等による設定あるいはサービス提供者が既に保有するシステムからの接続等によりデータの共有や相互入出力を行うことも可能となる。
　利用者は事前に本件発明を用いるサービスまたは施設の利用者として利用者登録（医療であれば患者として医療施設に情報登録され、診察券等が発行されている状態、あるいは社会保険に加入し社会保険番号が発行されている等）を行っている者を対象とする。
　音声データプラットフォーム装置に診察券関連データや社会保険関連データを保存することで、スマートフォン等機器やＩＣカード等の技術や非接触通信等の技術を用いることで本人確認やデータの交換等を実現することも可能となる。
　組込み済みシステムの初回利用開始時に、利用者は利用条件を確認し承諾するか否か判断することができる。利用条件を承諾後、利用者の情報を利用者本人または親族等または利用者または親族等から依頼を受けた医療施設スタッフあるいはシステムを用いて利用者情報を登録する。あらかじめ利用者情報が病院システム等で保存している場合は事前に承諾を受けたのち事後に利用者情報を登録することも可能となる。利用者本人のスマートフォン等機器を用いて利用者情報や音声等の入力を行う場合には、入力端末の情報も取得することが可能となる。また、声紋による本人性の確認を行う機能を組み込むことによっても本人確認が可能となる。利用同意及び利用者情報の登録結果は組込み済システムのデータ保存装置に保存され、保存結果は利用者とサービス提供者向けに電子データまたは紙またはその他形式により出力する。
　利用者の登録後、利用者または書面あるいは組込み済システム等を利用して利用者あるいは親族等の指示を受けたサービス提供者は、サービス（解析および判別および情報活用条件等）を選択し当該装置のマイク等音声入力装置またはあらかじめ音声プラットフォーム装置に保存している音声等データを取り込むことで音声等データを入力する。
　解析対象の音声データ入力後、サービスの条件を満たすデータか否か確認を行い、サービスの条件を満たしていれば組込み済システムのデータ保存装置へ、満たしていなければ対応するメッセージ等および再度入力画面を出力する。
　音声データが正常に入力されたことを確認後、サービスの条件に従いあらかじめ定められた解析装置へ音声データを出力する。解析装置は音声データの正常受信確認後解析に必要な前処理を行い音声データの解析を実行し解析結果をデータ保存装置へ出力する。
　判別装置は、保存した解析結果を含む判別に必要なデータをデータ保存装置から抽出し、あらかじめ設定した判別結果データ保存装置から対応するデータ判別結果を選択する。データ判別結果は、サービスで設定された情報活用方法選択装置及びデータ保存装置へ向けて出力される。情報活用方法選択装置は入力されたデータ判別結果をもとにあらかじめサービスで設定された内容に基づき情報活用方法を選択し、選択結果を情報活用方法で定義した出力先およびデータ保存装置へ出力する。情報活用の結果は、情報活用装置で受信し、データ保存先へ出力する。
　組込み済システムのデータ保存装置に保存したデータは、利用者本人の求めに応じあらかじめ登録したスマートフォン端末、磁気記憶装置を持つＩＣカード、非接触通信等を用いてデータを取得することが可能となる。また、組込み済システムから利用者の同意に基づき特定のサービスで利用した結果も、組込済みシステムの機能を経由して取得することが可能となる。
　本発明の健康管理システムは、例えば、以下の様な場面での利用が可能となる。
　最近元気がないと周囲から指摘され、自身も何事においても意欲が低く単純なミスが増えてきた利用者が家族に連れられて近所の一般内科を受診した。一般内科は精神疾患や認知症の専門医ではなく治療方針を決めにくい、あるいは治療効果が上がる治療方針にたどり着くまでに長い期間がかかることもある。ところが、組込み済システムを導入しているこの一般内科を受診した利用者は、事前問診時に認知機能の簡易的な測定とともに音声の検査を指示された。本人は意欲低下気味なので、同伴の家族とともに利用規約を確認し音声による検査の実施に同意した。本人の音声入力以外は家族が対応したため、本人の負荷も少なく診察室に入る前には医師が音声検査の結果を確認した。
　診察時には、認知機能の低下も見られたが、音声検査の結果も踏まえてうつ系の疾患である大うつ病の可能性が高いと診断し治療計画を立て、本人と家族も同意した。施設訪問時以外は服薬の前後で本人のスマートフォンで音声プラットフォーム装置と連動する治療支援アプリを用いて音声を取得した。通院時に院外での音声データと状態の変化を確認し、時系列の音声データをスマートフォンから組込み済システムへ非接触型の通信機能を用いて取り込むことで組込み済システムで再度検査した。その際に、過去の通院時に取得した音声データ及び医療データを本人のデータとして音声プラットフォーム装置上のデータ保存装置へデータを保存した。院外の状態から治療効果が想定より低い可能性が示唆されたため、治療方針を修正し処方を切り替えた。症状の改善が進み職場でも徐々に改善が見られたとき、遠方への転勤が発生した。治療を継続するため、転居先から通院可能かつ音声プラットフォーム装置を採用している病院を音声プラットフォーム装置で検索し、紹介状を現在の通院先で作成の上、これまでの治療経緯をデータで自身の音声プラットフォーム装置へ保存した。データがあることにより新たな病院でも切れ目なく治療が進められた。治療効果も上がってきて症状の改善が見られたため、通常の診察だけでは発見しにくい減薬のタイミングを検知した。症状が安定しているときは服薬量を自身で調整してよいことになり、音声データを確認しつつ自身で通院と通院の間でも減薬することができた。日中変動を考慮したきめ細やかな減薬の効果もあり、寛解に至った。精神疾患は寛かい後の再発率も高いが、音声プラットフォーム装置を用いて自身の状態を時系列で把握することによりメンタルに良い影響を与えるアクティビティをデータで見つけることができたため安定していたが、業務量が一時的に増加した際にメンタル値の落ち込みを確認したため再度受診した。症状が悪くなる前に受信したため、認知行動療法を中心により短期の通院で寛解を迎えた。
　図２３では、データの送受信、音声プラットフォーム、音声解析装置、組込済みシステムの説明を行う。
　「３００．他システム（データ送信のみ）」では、利用者を特定した音声データを取得し音声プラットフォーム装置へ送信する。音声データは、スマホ、スマートスピーカ、カラオケ、業務無線等で取得可能である。結果は音声プラットフォーム装置で確認できる。
　「４００．他システム（送受信、独自判定結果出力）」では、音声取得と判定結果出力を本装置で行う。判別結果をもとに本装置独自の判別結果へ変換可能である。トレーニングやケアの予実策定支援システムや、勤怠等業務管理システムで個別の要件があるものが該当する。
　「１００．音声プラットフォーム装置」では、本装置単体で録音、サービス選択、結果確認、履歴確認、情報閲覧、データ二次利用支援等を利用可能。音声取得や判別結果のフィードバックで固有の制約や要件がある場合は、本装置以外で取得した音声データの受信や解析結果をもとに本システムで判別したデータを特定の外部システムへ出力可能となる。なお、本装置以外での処理に際しても、利用者本人の同意は本装置または本装置が提供する手順、機能で取得処理を行う必要がある。
　「２００．音声解析装置」では、音声プラットフォーム装置から受信した音声データを前処理し、解析し、解析結果をあらかじめ定められた様式で音声プラットフォーム装置へ送信する機能を持つ。解析は、音声データとともに受信したサービス情報により解析処理実施の可否を判定する。解析実施後、特定の疾患可能性やメンタル値やコグニティブ値等の結果を送信し、音声プラットフォーム装置で受信が完了したことまでの過程における実行履歴を保存する。解析後、音声データは自動的に削除される。
　「５００．組込済みシステム」では、医療等データのポータビリティやサービス提供者の意図及び各種規制等の制約により音声プラットフォーム装置への直接接続を行いたくない場合には、個別のシステムへ本装置の機能を組み込むことにより音声の取得から判別結果の出力が可能である。医療施設等のシステムで管理した情報をＮＦＣやＢｌｕｅｔｏｏｔｈ（登録商標）技術等を用いた非常時接続などを利用して持ち出す場合には、音声プラットフォーム装置で入力可能なフォーマット仕様を満たす形で出力することにより音声プラットフォーム装置へ取り込むことが可能である。
　音声プラットフォーム装置及び組込み済システムのデータ保存先へ各ステップで出力されたデータは、利用者ごと抽出・選択結果および結果を紐付けたレコードとして保存される。保存結果は、本人同意の範囲内で再利用を行うことが可能となる。
　保存されたデータは、利用同意が得られた範囲で個人を特定する情報を除き第三者が音声プラットフォーム装置の事業者の許可を得た場合に限り検索または閲覧または統計情報として抽出等を行うことが可能となる。個人を特定しない状態で第三者が設定した一定の条件を満たす利用者に対し、利用者が希望する場合は、個人情報利用の目的とともに一部または全部のデータの開示または提供を行うこと、または事業者等からの開示請求に対して応答することや、例えば治験ボランティアのリクルーティング等を行うことが音声データプラットフォームを介して可能となる。
　図２４では、音声プラットフォーム装置の説明を行う。本装置は音声取得部および取得音声確認部、取得音声送信部、データ保存部、解析データセット抽出部、解析データセット送信部、解析結果データ受信部、解析結果判別装置（判別対象データ抽出および判別結果検索および判別結果出力等が含まれる）、情報活用方法選択装置（選択対象データ抽出および情報活用方法検索および検索結果出力等が含まれる）および各装置の利用者および管理者等利用画面等から構成される。なお、前記データ保存部に保存されるデータとしては例えば、利用者データ、サービス選択データ、音声データ、サービス利用履歴、解析データ、判別データ、情報活用方法選択結果および情報活用実施データ等からなる利用者データ。サービス提供者、情報活用方法およびサービスの価格表等からなる各種マスタデータ。解析エンジンの種類、接続方法、接続設定および接続履歴等からなる解析エンジン利用データ。公開用ミニマムデータセット、閲覧履歴、データ利用申し入れ履歴、データ利用承認履歴、データ貸与期間および貸与データ削除履歴等からなる二次利用データ等。トランザクションデータ、マスタデータ、各種設定および利用実行履歴等の各種データがあげられる。
　そして、この音声プラットフォーム装置は、本人または本人が認めた者または事業者による音声を中心とした安全性が高くこれまでにないデータの利活用を実現する新たな装置である。
　図２５では、音声解析装置の説明を行う。音声解析エンジン実行・管理環境および解析用音声入力装置および解析用音声前処理装置および音声解析装置および解析結果出力装置および出力先受信結果確認装置および解析データセットと解析結果削除装置および解析エンジン利用実績取得装置および利用履歴取得補完装置および利用者別エンジン別利用実績から費用を計算し出力する装置および接続先別接続方法設定装置等からなる。
　複数の解析エンジンをリクエストに応じて選択実行可能かつ個人情報を本人の求めに応じて解析し解析後は依頼元システムやサービスで保有する利用者データの一部のみを持つことにより個人を特定しない形でデータ解析を多面的に行うことが可能な環境を提供する。
　図２６、図２７Ａ及び図２７Ｂでは、他システムの説明を行う。
　音声プラットフォーム装置の一部機能（音声データ取得、音声データ確認、判別、情報活用方法検索等）を持つシステム。独自のセキュリティやユーザビリティ等に対する要件を満たす必要がある場合や個々のサービサーが既に保有するシステムを活用したサービスの提供を目的とした利用形態。取得、確認後の音声は音声プラットフォームへ送信され、解析および判別および情報活用方法検索の結果は音声プラットフォーム装置であらかじめ定められたデータフォーマットで受信する。
　独自の仕様で音声を取得している場合に、取得済み音声をあらかじめ定められた仕様で出力することにより音声プラットフォーム装置への音声データ入力を可能にする。音声データ入力後は音声プラットフォーム装置の機能を使う。
　主に医療施設等音声プラットフォーム装置へのネットワーク接続ができない場合の利用形態を示すもので、利用同意取得から結果の出力までを行う独立したシステム装置。音声プラットフォーム装置からのデータ入力や音声プラットフォーム装置へのデータ出力はインターネットを介さずスマートフォン等の無線技術（Ｂｌｕｅｔｏｏｔｈ（登録商標），　ＮＦＣ，　ＡＩｒＤｒｏｐ等）あるいはメモリつきＩＣカード等を介して実現することが可能である。
　以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　本出願は、２０１９年１２月２４日に出願された日本出願である特願２０１９－２３２５０４号に基づく優先権を主張し、当該日本出願に記載された全ての記載内容を援用するものである。
　２００　健康管理システム
　２０４　第１のサーバ
　２０５　第２のサーバ
　２０６　第３のサーバ
　２１０　第４のサーバ
　２１１　算出部
　２１２　推定部
　２１３　選択部

 

Claims (9)

  1. 　利用者から取得された音声データを継続的に格納する第１のサーバと、
    利用者の識別データを格納する第２のサーバと、
    利用者向けの出力データを格納する第３のサーバと、および
    前記音声データを基に抽出された音響特徴量を入力として所定の疾患の推定を行う推定装置、
    を備える健康管理システムであって、
    　前記推定装置は、
    　　前記音声データを基に音響特徴量を算出する算出部と、
    　　前記音響特徴量を入力として前記所定の疾患の推定を行う推定部と、および
    　　前記推定部の推定結果および前記利用者の識別データを基に、前記第３のサーバの出力データを選択する選択部、
    を備え、
    　　前記選択部は、
    　　　前記推定部が前記所定の疾患に罹患している疑いがないと推定した場合は、前記第３のサーバから健常者向けの配信データを含む第１の出力データを前記選択部が選択するように構成され、
    　　　前記推定部が前記所定の疾患に罹患している疑いがあると推定した場合は、前記第３のサーバから診療機関への受診を促す旨のメッセージを含む第２の出力データを前記選択部が選択するように構成され、
    　　　前記利用者が医師の診断により所定の疾患に罹患していると診断された後は、前記第２のサーバの前記識別データが更新され、前記第３のサーバから罹患後の利用者向けの配信データを含む第３の出力データを前記選択部が選択するように構成される、
    健康管理システム。
  2. 　前記所定の疾患が、レビー小体型認知症、アルツハイマー型認知症、パーキンソン病を含む認知症群と、大うつ病、双極性障害、非定型うつ病を含む気分障害群に分類する推定が可能である、
    請求項１に記載の健康管理システム。
  3. 　前記所定の疾患が、レビー小体型認知症である、請求項１に記載の健康管理システム。
  4. 　前記所定の疾患が、アルツハイマー型認知症である、請求項１に記載の健康管理システム。
  5. 　前記所定の疾患が、パーキンソン病である、請求項１に記載の健康管理システム。
  6. 　前記所定の疾患が、大うつ病である、請求項１に記載の健康管理システム。
  7. 　前記所定の疾患が、双極性障害である、請求項１に記載の健康管理システム。
  8. 　前記所定の疾患が、非特定うつ病である、請求項１に記載の健康管理システム。
  9. 　前記推定装置は、アルツハイマー型認知症、レビー小体型認知症、パーキンソン病、大うつ病、非定型うつ病、および双極性障害の推定を行うことができる、請求項１に記載の健康管理システム。

     
PCT/JP2020/048049 2019-12-24 2020-12-22 健康管理システム、健康管理装置、健康管理プログラムおよび健康管理方法 WO2021132284A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021567503A JPWO2021132284A1 (ja) 2019-12-24 2020-12-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-232504 2019-12-24
JP2019232504 2019-12-24

Publications (1)

Publication Number Publication Date
WO2021132284A1 true WO2021132284A1 (ja) 2021-07-01

Family

ID=76575967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048049 WO2021132284A1 (ja) 2019-12-24 2020-12-22 健康管理システム、健康管理装置、健康管理プログラムおよび健康管理方法

Country Status (3)

Country Link
JP (1) JPWO2021132284A1 (ja)
TW (1) TW202133150A (ja)
WO (1) WO2021132284A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7033355B1 (ja) 2021-08-18 2022-03-10 友康 無藤 診断補助装置、診断補助方法及び診断補助プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230037432A (ko) * 2021-09-09 2023-03-16 주식회사 에이블테라퓨틱스 사용자의 치매 정도 결정 방법 및 장치
TWI806432B (zh) * 2022-02-17 2023-06-21 緯創資通股份有限公司 建立疾病預測的決策樹的方法、電子系統及電腦程式產品
TWI803394B (zh) * 2022-07-20 2023-05-21 國立中興大學 氣喘管理資訊系統及其使用方法
CN115662631B (zh) * 2022-10-26 2023-11-17 上海柚纯数字科技有限公司 基于ai智能判别的养老院管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010904A (ja) * 2003-06-17 2005-01-13 Windeii:Kk 調剤薬局業務支援システム
US20120220899A1 (en) * 2011-02-28 2012-08-30 Samsung Electronics Co., Ltd. Apparatus and method of diagnosing health by using voice
WO2019081915A1 (en) * 2017-10-24 2019-05-02 Cambridge Cognition Limited SYSTEM AND METHOD FOR ASSESSING PHYSIOLOGICAL CONDITION
JP2019079532A (ja) * 2017-10-23 2019-05-23 株式会社生命科学インスティテュート 健康推定システム、健康推定装置、健康推定プログラムおよび健康推定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010904A (ja) * 2003-06-17 2005-01-13 Windeii:Kk 調剤薬局業務支援システム
US20120220899A1 (en) * 2011-02-28 2012-08-30 Samsung Electronics Co., Ltd. Apparatus and method of diagnosing health by using voice
JP2019079532A (ja) * 2017-10-23 2019-05-23 株式会社生命科学インスティテュート 健康推定システム、健康推定装置、健康推定プログラムおよび健康推定方法
WO2019081915A1 (en) * 2017-10-24 2019-05-02 Cambridge Cognition Limited SYSTEM AND METHOD FOR ASSESSING PHYSIOLOGICAL CONDITION

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7033355B1 (ja) 2021-08-18 2022-03-10 友康 無藤 診断補助装置、診断補助方法及び診断補助プログラム
JP2023027916A (ja) * 2021-08-18 2023-03-03 友康 無藤 診断補助装置、診断補助方法及び診断補助プログラム

Also Published As

Publication number Publication date
JPWO2021132284A1 (ja) 2021-07-01
TW202133150A (zh) 2021-09-01

Similar Documents

Publication Publication Date Title
Lindsay et al. World Stroke Organization (WSO): global stroke fact sheet 2019
WO2021132284A1 (ja) 健康管理システム、健康管理装置、健康管理プログラムおよび健康管理方法
KR102116664B1 (ko) 온라인 기반의 건강 관리 방법 및 장치
Hart et al. Gender and health: Beyond binary categorical measurement
Roncancio et al. Using the theory of planned behavior to understand cervical cancer screening among Latinas
Herrman The need for mental health promotion
Szanton et al. Allostatic load: a mechanism of socioeconomic health disparities?
Hutchison et al. Abused women: Help-seeking strategies and police utilization
Craig et al. The relationship of statistical and psychological risk markers to sexual reconviction in child molesters
Szymanski et al. Do coping styles moderate or mediate the relationship between internalized heterosexism and sexual minority women's psychological distress?
Hayward et al. Cross-national analysis of the influence of cultural norms and government restrictions on the relationship between religion and well-being
Fortinsky et al. Risk factors for hospitalization in a national sample of medicare home health care patients
Lee Breaking barriers: Addressing structural obstacles to social service provision for Asian survivors of domestic violence
Gittins et al. Stroke impairment categories: A new way to classify the effects of stroke based on stroke-related impairments
Neumark et al. Work continuation while treated for breast cancer: the role of workplace accommodations
Gray et al. Visual Reaction Time™ as a predictor of sexual offense recidivism
Hughes et al. Improving sexual health communication between older women and their providers: How the integrative model of behavioral prediction can help
Umar Ismail et al. Nostalgia as a psychological resource for people with dementia: A systematic review and meta-analysis of evidence of effectiveness from experimental studies
Quidley-Rodriguez et al. A literature review of health risks in the bear community, a gay subculture
Brunner et al. Comparison of clinical vignettes and standardized patients as measures of physiotherapists’ activity and work recommendations in patients with non-specific low back pain
Latham et al. The role of neighborhood safety in recovery from mobility limitations: Findings from a national sample of older Americans (1996–2008)
Singh et al. The role of economic evaluation in mental health care
Kates et al. Prior service utilization in detained youth with mental health needs
Coleman et al. Predicting suicide attempts for racial and ethnic groups of patients during routine clinical care
Schnapp et al. Dyadic perceptions of depression and anxiety in romantic relationships

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905200

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567503

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20905200

Country of ref document: EP

Kind code of ref document: A1