WO2022254973A1 - 口腔機能評価方法、プログラム、口腔機能評価装置および口腔機能評価システム - Google Patents

口腔機能評価方法、プログラム、口腔機能評価装置および口腔機能評価システム Download PDF

Info

Publication number
WO2022254973A1
WO2022254973A1 PCT/JP2022/017643 JP2022017643W WO2022254973A1 WO 2022254973 A1 WO2022254973 A1 WO 2022254973A1 JP 2022017643 W JP2022017643 W JP 2022017643W WO 2022254973 A1 WO2022254973 A1 WO 2022254973A1
Authority
WO
WIPO (PCT)
Prior art keywords
oral function
oral
formant frequency
evaluated
person
Prior art date
Application number
PCT/JP2022/017643
Other languages
English (en)
French (fr)
Inventor
雅司 石丸
絢子 中嶋
若正 清崎
吉浩 松村
亜明 張
武 菊谷
誠 苅安
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202280033469.8A priority Critical patent/CN117279568A/zh
Priority to JP2023525648A priority patent/JPWO2022254973A1/ja
Priority to US18/563,251 priority patent/US20240268705A1/en
Publication of WO2022254973A1 publication Critical patent/WO2022254973A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08—Elderly

Definitions

  • the present invention relates to an oral function evaluation method, a program, an oral function evaluation device, and an oral function evaluation system that can evaluate the oral function of an evaluator.
  • a device for evaluating the swallowing function is attached to the neck of the evaluator, and the pharyngeal movement feature value is obtained as a swallowing function evaluation index (marker) to evaluate the swallowing function of the evaluator.
  • a method is disclosed (see, for example, Patent Document 1).
  • the purpose of the present invention is to provide an oral function evaluation method and the like that enable the oral function of an evaluator to be easily evaluated.
  • the oral function evaluation method consists of two or more moras including a change in the first formant frequency or a change in the second formant frequency, or at least one of a picking sound, a plosive sound, an unvoiced sound, a geminate and a fricative.
  • a program according to one aspect of the present invention is a program for causing a computer to execute the oral function evaluation method described above.
  • the oral function evaluation device is composed of two or more mora including changes in the first formant frequency or changes in the second formant frequency, or a picking sound, a plosive sound, an unvoiced sound, a geminate and a fricative sound.
  • Acquisition unit for acquiring speech data obtained by collecting speech uttered by an evaluator including at least one syllable or fixed phrase, and an extraction unit for extracting prosodic features from the acquired speech data and a calculation unit that calculates an estimated value of the oral function of the person to be evaluated based on an oral function estimation formula calculated based on a plurality of learning data and the extracted prosodic feature amount; and an evaluation unit that evaluates the deterioration state of the oral function of the person to be evaluated by determining the estimated value using an oral function evaluation index.
  • an oral function evaluation system includes the oral function evaluation device described above, a sound collector that collects, in a non-contact manner, the sound of the syllables or fixed phrases uttered by the person being evaluated, Prepare.
  • FIG. 1 is a diagram showing the configuration of an oral function evaluation system according to an embodiment.
  • FIG. 2 is a block diagram showing a characteristic functional configuration of the oral cavity function evaluation system according to the embodiment.
  • FIG. 3 is a flow chart showing a processing procedure for evaluating the oral function of the person to be evaluated by the oral function evaluation method according to the embodiment.
  • FIG. 4 is a diagram showing an outline of a method of acquiring the voice of the person to be evaluated by the oral function evaluation method according to the embodiment.
  • FIG. 5A is a diagram showing an example of voice data representing a voice uttered by an evaluator, "I decided to draw a picture.”
  • FIG. 5B is a diagram showing an example of changes in the formant frequency of the voice uttered by the evaluator, "I decided to draw a picture.”
  • FIG. 6 is a diagram showing an example of voice data representing voice repeatedly uttered by the evaluator, "from kara kara kara".
  • FIG. 7 is a diagram showing an example of voice data representing a voice uttered by the evaluator, "once”.
  • FIG. 8 is a diagram showing an example of Chinese syllables or fixed phrases similar to Japanese syllables or fixed phrases in the degree of tongue movement or mouth opening and closing during pronunciation.
  • FIG. 9A is a diagram showing the International Phonetic Alphabet for vowels.
  • FIG. 9A is a diagram showing the International Phonetic Alphabet for vowels.
  • FIG. 9B is a diagram showing the International Phonetic Alphabet for consonants.
  • FIG. 10A is a diagram showing an example of voice data representing voice uttered by the evaluator as "gao dao wu da ka ji ke da yi wu zhe".
  • FIG. 10B is a diagram showing an example of changes in the formant frequency of the voice uttered by the evaluator, "gao dao wu da ka ji ke da yi wu zhe”.
  • FIG. 11 is a diagram showing an example of an oral function evaluation index.
  • FIG. 12 is a diagram showing an example of evaluation results for each element of oral cavity function.
  • FIG. 13 is a diagram showing an example of evaluation results for each element of oral cavity function.
  • FIG. 14 is an example of predetermined data used when making suggestions regarding oral cavity functions.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • the present invention relates to a method for evaluating deterioration of oral function, etc., and oral function includes various factors.
  • oral function factors include tongue coating, dry mouth, bite force, tongue pressure, cheek pressure, number of remaining teeth, swallowing function, and chewing function. Tongue coating, dry mouth, bite force, tongue pressure, and masticatory function are briefly described here.
  • Tongue coating indicates the degree of bacterial or food deposits on the tongue (ie oral hygiene). If the tongue coating is absent or thin, it indicates that there is an environment of mechanical abrasion (e.g., food intake), that there is a cleansing action of saliva, and that the swallowing movement (movement of the tongue) is normal. On the other hand, when the tongue coating is thick, the movement of the tongue is poor and it is difficult to eat, which may lead to nutritional deficiencies or muscle weakness. Xerostomia is the degree of dryness of the tongue, which inhibits movement to speak. In addition, food is pulverized after it is taken into the oral cavity, but since it is difficult to swallow as it is, saliva works to gather the pulverized food to make it easier to swallow the pulverized food.
  • Tongue pressure is an index that expresses the force with which the tongue presses the palate.
  • swallowing movements may become difficult.
  • the speed of moving the tongue may decrease, and the speaking speed may decrease.
  • Masticatory function is a comprehensive function of the oral cavity.
  • the present invention it is possible to evaluate the state of deterioration of the oral function of the person to be evaluated (for example, the state of deterioration of oral function elements) from the voice uttered by the person to be evaluated.
  • This is because the speech uttered by an evaluator whose oral function has deteriorated has specific features, and by extracting this as prosody features, the oral function of the evaluator can be evaluated.
  • the present invention is realized by an oral function evaluation method, a program that causes a computer to execute the method, an oral function evaluation device that is an example of the computer, and an oral function evaluation system that includes the oral function evaluation device. Below, oral cavity function evaluation method etc. are demonstrated, showing an oral cavity function evaluation system.
  • FIG. 1 is a diagram showing the configuration of an oral function evaluation system 200 according to an embodiment.
  • the oral function evaluation system 200 is a system for evaluating the oral function of the person U to be evaluated by analyzing the voice of the person U to be evaluated. terminal 300;
  • the oral function evaluation device 100 is a device that acquires voice data representing the voice uttered by the evaluator U using the portable terminal 300 and evaluates the oral function of the evaluator U from the acquired voice data.
  • the mobile terminal 300 has two or more moras including changes in the first formant frequency or changes in the second formant frequency, or includes at least one of a picking sound, a plosive sound, an unvoiced sound, a geminate and a fricative.
  • the mobile terminal 300 is a smartphone, tablet, or the like having a microphone.
  • the mobile terminal 300 is not limited to a smartphone or tablet, and may be a notebook PC or the like, as long as it has a sound collecting function.
  • the oral function evaluation system 200 may include a sound collector (microphone) instead of the mobile terminal 300 .
  • the oral function evaluation system 200 may also include an input interface for acquiring personal information of the person U to be evaluated.
  • the input interface is not particularly limited as long as it has an input function such as a keyboard or a touch panel.
  • the volume of the microphone may be set.
  • the mobile terminal 300 may be a display device that has a display and displays images based on image data output from the oral function evaluation device 100 .
  • the display device may not be the mobile terminal 300, and may be a monitor device configured by a liquid crystal panel, an organic EL panel, or the like. That is, in the present embodiment, mobile terminal 300 serves as both a sound collector and a display device, but the sound collector (microphone), input interface, and display device may be provided separately.
  • the oral function evaluation apparatus 100 and the portable terminal 300 may be connected by wire or wirelessly as long as they can transmit and receive audio data or image data for displaying an image showing an evaluation result to be described later. may be connected.
  • the oral function evaluation device 100 analyzes the voice of the person U to be evaluated based on the sound data collected by the portable terminal 300, evaluates the oral function of the person U from the analysis result, and outputs the evaluation result. .
  • the oral function evaluation apparatus 100 transmits image data for displaying an image showing the evaluation result, or data for making a proposal regarding the oral cavity to the evaluated person U generated based on the evaluation result, to the portable terminal 300. Output.
  • the oral function evaluation apparatus 100 can notify the person U of the degree of oral function and a proposal for preventing deterioration of the oral function. It can be prevented and improved.
  • the oral function evaluation device 100 is, for example, a personal computer, but may be a server device. Moreover, the oral function evaluation device 100 may be the mobile terminal 300 . In other words, the mobile terminal 300 may have the functions of the oral function evaluation device 100 described below.
  • FIG. 2 is a block diagram showing the characteristic functional configuration of the oral cavity function evaluation system 200 according to the embodiment.
  • the oral function evaluation device 100 includes an acquisition unit 110 , an extraction unit 120 , a calculation unit 130 , an evaluation unit 140 , an output unit 150 , a proposal unit 160 and a storage unit 170 .
  • the acquisition unit 110 acquires voice data obtained by the mobile terminal 300 collecting the voice uttered by the evaluator U in a non-contact manner.
  • the speech is the speech of the person U to be evaluated uttering syllables or fixed phrases consisting of two or more moras including a change in the first formant frequency or a change in the second formant frequency.
  • the speech is speech in which syllables or fixed phrases including at least one of a picking sound, a plosive sound, an unvoiced sound, a geminate and a fricative are uttered.
  • the acquisition unit 110 may further acquire the personal information of the person U to be evaluated.
  • the personal information is information input to the mobile terminal 300, and includes age, weight, height, gender, BMI (Body Mass Index), dental information (e.g., number of teeth, presence or absence of dentures, location of occlusion support, function number of teeth, number of remaining teeth, etc.), serum albumin level, eating rate, etc.
  • the personal information may be obtained by a swallowing screening tool called EAT-10, a Seirei style swallowing questionnaire, medical interview, Barthel Index, or the like.
  • EAT-10 a Seirei style swallowing questionnaire
  • medical interview Barthel Index
  • Acquisition unit 110 is, for example, a communication interface that performs wired communication or wireless communication.
  • the extraction unit 120 is a processing unit that analyzes the voice data of the evaluated person U acquired by the acquisition unit 110 .
  • the extraction unit 120 is specifically implemented by a processor, microcomputer, or dedicated circuit.
  • the extraction unit 120 calculates prosodic features from the speech data acquired by the acquisition unit 110 .
  • the prosody feature amount is a numerical value indicating the feature of the voice of the person U to be evaluated, which is extracted from the voice data used by the evaluation unit 140 to evaluate the oral function of the person U to be evaluated.
  • the prosody features include speech rate, sound pressure difference, time change of sound pressure difference, first formant frequency, second formant frequency, amount of change in first formant frequency, amount of change in second formant frequency, and amount of change in first formant frequency. At least one of a time variation, a second formant frequency time variation, and a plosive duration may be included.
  • the calculation unit 130 calculates an estimated value of the oral function of the person to be evaluated U based on the prosodic feature amount extracted by the extraction unit 120 and the oral function estimation formula calculated based on a plurality of learning data.
  • Estimation formula data 171 representing an estimation formula is stored in the storage unit 170 .
  • Calculation unit 130 is specifically realized by a processor, a microcomputer, or a dedicated circuit.
  • the evaluation unit 140 evaluates the deterioration state of the oral function of the person to be evaluated U by determining the estimated value calculated by the calculation unit 130 using the oral function evaluation index.
  • Index data 172 indicating an oral function evaluation index is stored in the storage unit 170 .
  • the evaluation unit 140 is specifically implemented by a processor, microcomputer, or dedicated circuit.
  • the output unit 150 outputs the estimated value calculated by the calculation unit 130 to the proposal unit 160 . Further, the output unit 150 may output the evaluation result of the oral function of the person to be evaluated U evaluated by the evaluation unit 140 to the portable terminal 300 or the like.
  • the output unit 150 is specifically realized by a processor, a microcomputer, or a dedicated circuit, and a communication interface that performs wired or wireless communication.
  • the proposal unit 160 makes a proposal regarding the oral function of the person to be evaluated U by collating the estimated value calculated by the calculation unit 130 with predetermined data.
  • Proposal data 173 which is predetermined data, is stored in storage unit 170 . Further, the proposal unit 160 may compare the personal information acquired by the acquisition unit 110 with the proposal data 173 and make a proposal regarding the oral cavity to the person U to be evaluated.
  • the proposal unit 160 outputs the proposal to the mobile terminal 300 .
  • the proposal unit 160 is realized by, for example, a processor, a microcomputer or a dedicated circuit, and a communication interface that performs wired or wireless communication.
  • the storage unit 170 stores estimation formula data 171 indicating an oral function estimation formula calculated based on a plurality of learning data, and index data indicating an oral function evaluation index for determining an estimated value of the oral function of the person U to be evaluated.
  • index data indicating an oral function evaluation index for determining an estimated value of the oral function of the person U to be evaluated.
  • the estimation formula data 171 is referred to by the calculation unit 130 when the estimated value of the oral function of the person U to be evaluated is calculated.
  • the index data 172 is referred to by the evaluation unit 140 when evaluation of the deterioration state of the oral function of the person U to be evaluated is performed.
  • the proposal data 173 is referred to by the proposal unit 160 when a proposal regarding oral functions to the person U to be evaluated is made.
  • the personal information data 174 is, for example, data obtained via the obtaining unit 110 .
  • Personal information data 174 may be stored in storage unit 170 in advance.
  • the storage unit 170 is implemented by, for example, ROM (Read Only Memory), RAM (Random Access Memory), semiconductor memory, HDD (Hard Disk Drive), and the like.
  • the storage unit 170 a program executed by the computer to realize the extraction unit 120, the calculation unit 130, the evaluation unit 140, the output unit 150, and the proposal unit 160, and the evaluation result of the oral function of the person U to be evaluated are stored.
  • Image data indicating the evaluation results used for output, and data such as images, moving images, voices, texts, etc. indicating the contents of the proposal may also be stored.
  • the storage unit 170 may store an instruction image, which will be described later.
  • the oral function evaluation device 100 consists of two or more moras including changes in the first formant frequency or changes in the second formant frequency, or at least one of a picking sound, a plosive sound, an unvoiced sound, a geminate and a fricative sound.
  • An instruction unit may be provided for instructing the evaluator U to pronounce syllables or fixed phrases, including one. Specifically, the instruction unit acquires image data of an instruction image or audio data of an instruction voice for instructing pronunciation of the syllable or fixed phrase stored in the storage unit 170. and outputs the image data or the audio data to the mobile terminal 300 .
  • FIG. 3 is a flowchart showing a processing procedure for evaluating the oral function of the person to be evaluated U by the oral function evaluation method according to the embodiment.
  • FIG. 4 is a diagram showing an outline of a method of acquiring the voice of the person to be evaluated U by the oral function evaluation method.
  • the indication part consists of two or more moras including a change in the first formant frequency or a change in the second formant frequency, or includes at least one of a picking sound, a plosive sound, an unvoiced sound, a geminate and a fricative, a syllable or a fixed form
  • An instruction is given to pronounce a sentence (step S101).
  • the instruction unit acquires image data of an image for instructing the person to be evaluated U, stored in the storage unit 170 , and outputs the image data to the mobile terminal 300 . Then, as shown in (a) of FIG. In FIG.
  • the instruction unit acquires the voice data of the voice for instructing the person to be evaluated U, which is stored in the storage unit 170, and outputs the voice data to the mobile terminal 300, thereby instructing pronunciation.
  • the instruction may be given by using an instruction voice instructing to pronounce without using an instruction image.
  • an evaluator (a family member, a doctor, etc.) who wants to evaluate the oral function of the evaluator U gives the above instructions to the evaluator U in his/her own voice without using an instruction image and voice for instructing pronunciation. you can go
  • a spoken syllable or phrase may include two or more vowels or a combination of vowels and consonants that involve opening and closing the mouth or moving the tongue back and forth to speak.
  • such syllables or fixed phrases include "I decided to write a picture".
  • the movement of the tongue back and forth is involved, and in order to utter the ⁇ decided'' in ⁇ I decided to write a picture,'' Accompanied by the opening and closing of the mouth.
  • the ⁇ e wo'' part of ⁇ I decided to write a picture'' contains the second formant frequencies of the vowel ⁇ e'' and the vowel ⁇ o'', and is flanked by the vowel ⁇ e'' and the vowel ⁇ o''. Since they match, the amount of change in the second formant frequency is included. This portion also includes the time variation of the second formant frequency.
  • the ⁇ decided'' part of ⁇ I decided to write an drawing'' contains the first formant frequencies of the vowel ⁇ i'', the vowel ⁇ e'' and the vowel ⁇ a''. Since "e" and vowel "a" are adjacent, the amount of change in the first formant frequency is included.
  • This part also includes the time variation of the first formant frequency.
  • the sound pressure difference, the first formant frequency, the second formant frequency, the amount of change in the first formant frequency, the amount of change in the second formant frequency, the first formant frequency It is possible to extract the prosodic features such as time change of the second formant frequency, time change of the second formant frequency, speech rate, and the like.
  • an uttered fixed phrase may include repetition of syllables composed of a fingering sound and a consonant different from the fingering sound.
  • a fixed phrase for example, in Japanese, there is such a fixed phrase as "kara kara kara --.
  • By repeatedly uttering "kara kara kara" it is possible to extract the prosodic features such as the sound pressure difference, the time change of the sound pressure difference, the time change of the sound pressure, the number of repetitions, and the like.
  • a spoken syllable or fixed phrase may include at least one combination of vowels and plosives.
  • a syllable in Japanese there is “Itchi” and the like.
  • the voice data may be obtained by collecting voices of syllables or fixed phrases uttered by the evaluator U at least twice at different speaking speeds. For example, the person to be evaluated U is instructed to say “I decided to draw a picture” at normal speed and at a faster speed, respectively. By saying “I decided to draw a picture” at normal speed and faster speed, we can estimate the degree of maintenance of the state of oral function.
  • the acquisition unit 110 acquires the voice data of the evaluated person U instructed in step S101 via the mobile terminal 300 (step S102).
  • step S102 for example, the person to be evaluated U utters a syllable or fixed phrase such as "I decided to write a picture" toward the mobile terminal 300.
  • the acquisition unit 110 acquires syllables or fixed phrases uttered by the person to be evaluated U as voice data.
  • the extraction unit 120 extracts prosodic features from the speech data acquired by the acquisition unit 110 (step S103).
  • the extraction unit 120 extracts the sound pressure gradient, the first formant frequency, the second formant The frequency, the amount of change in the first formant frequency, the amount of change in the second formant frequency, the time change in the first formant frequency, the time change in the second formant frequency, and the speech rate are extracted as prosodic features. This will be described with reference to FIGS. 5A and 5B.
  • FIG. 5A is a diagram showing an example of voice data indicating voice uttered by the person to be evaluated U, "I decided to draw a picture."
  • the horizontal axis of the graph shown in FIG. 5A is time, and the vertical axis is power (sound pressure).
  • the unit of power shown on the vertical axis of the graph in FIG. 5A is decibel (dB).
  • the graph shown in FIG. ” is confirmed.
  • the acquiring unit 110 acquires the speech data shown in FIG. 5A from the person to be evaluated U in step S102 shown in FIG.
  • the extraction unit 120 extracts each sound pressure of "k” and “a” in “ka (ka)” included in the audio data shown in FIG. Sound pressures of "k” and “o” in “(ko)”, sound pressures of "t” and “o” in “to (to)”, “t” and “a” in “ta (ta)” extract each sound pressure.
  • the extraction unit 120 extracts the sound pressure difference Diff_P(ka) of “k” and “a” from the extracted sound pressures of “k” and “a” as prosodic features.
  • the extraction unit 120 extracts the sound pressure difference Diff_P(ko) of 'k' and 'o', the sound pressure difference Diff_P(to) of 't' and 'o', and the sounds of 't' and 'a'.
  • the pressure difference Diff_P(ta) is extracted as a prosody feature. For example, sound pressure gradients can assess oral function in terms of swallowing force (the pressure at which the tongue contacts the palate) or food gathering forces. In addition, oral function in terms of ability to prevent food from entering the throat can also be evaluated by the sound pressure gradient including 'k'.
  • FIG. 5B is a diagram showing an example of a change in the formant frequency of the voice uttered by the person to be evaluated U, "I decided to draw a picture.” Specifically, FIG. 5B is a graph for explaining an example of changes in the first formant frequency and the second formant frequency.
  • the first formant frequency is the peak frequency of the amplitude seen first from the low frequency side of human speech, and it is known that the characteristics of opening and closing of the mouth are likely to be reflected.
  • the second formant frequency is the peak frequency of amplitude that appears second from the low-frequency side of human speech, and is known to easily reflect the influence of back-and-forth movement of the tongue.
  • the extraction unit 120 extracts the first formant frequency and the second formant frequency of each of a plurality of vowels from the speech data representing the speech uttered by the person U to be evaluated as prosodic features. For example, the extraction unit 120 extracts the second formant frequency F2e corresponding to the vowel "e” and the second formant frequency F2o corresponding to the vowel “o” in “eh” as prosodic features. Further, for example, the extraction unit 120 extracts the first formant frequency F1i corresponding to the vowel "i”, the first formant frequency F1e corresponding to the vowel "e”, and the first formant frequency F1e corresponding to the vowel "a” in "kimeta”. The formant frequency F1a is extracted as a prosodic feature quantity.
  • the extraction unit 120 extracts the amount of change in the first formant frequency and the amount of change in the second formant frequency of the character string with consecutive vowels as prosodic features. For example, the extraction unit 120 extracts the amount of change in the second formant frequency F2e and the second formant frequency F2o (F2e-F2o), the amount of change in the first formant frequency F1i, the first formant frequency F1e and the first formant frequency F1a ( F1e-F1i, F1a-F1e, F1a-F1i) are extracted as prosodic features.
  • the extraction unit 120 extracts the time change of the first formant frequency and the time change of the second formant frequency of the character string with consecutive vowels as prosodic features. For example, the extraction unit 120 extracts temporal changes in the second formant frequency F2e and the second formant frequency F2o, and temporal changes in the first formant frequency F1i, the first formant frequency F1e, and the first formant frequency F1a as prosodic features. do.
  • FIG. 5B shows an example of temporal changes in the first formant frequency F1i, the first formant frequency F1e, and the first formant frequency F1a, and the temporal change is ⁇ F1/ ⁇ Time. This ⁇ F1 is F1a-F1i.
  • the oral function related to the movement of food back and forth, left and right movements of the tongue
  • the second formant frequency, the amount of change in the second formant frequency, or the time change in the second formant frequency can be used to evaluate oral function related to the ability to crush food.
  • the oral function related to the ability to move the mouth quickly by the temporal change of the first formant frequency can be used to evaluate the oral function related to the ability to move the mouth quickly by the temporal change of the first formant frequency.
  • the extraction unit 120 may extract the speech rate as the prosody feature amount.
  • the extracting unit 120 may extract, as a prosodic feature amount, the time from when the person to be evaluated U starts to utter "I decided to write" to when the utterance ends.
  • the extracting unit 120 is not limited to the time until the end of uttering all of ⁇ I decided to write an image.'' You may extract time until it finishes as a prosody feature-value.
  • the extracting unit 120 may extract the average time taken to utter one or more words of all or a specific part of "I decided to write a picture" as a prosody feature amount.
  • speech rate can assess oral function related to swallowing movements, food gathering movements or tongue dexterity.
  • the extraction unit 120 extracts the temporal change in the sound pressure difference as the prosodic feature amount. do. This will be described with reference to FIG.
  • FIG. 6 is a diagram showing an example of voice data representing the voice repeatedly uttered by the person to be evaluated U, "Kara kara kara.".
  • the horizontal axis of the graph shown in FIG. 6 is time, and the vertical axis is power (sound pressure).
  • the unit of power shown on the vertical axis of the graph in FIG. 6 is decibel (dB).
  • the acquiring unit 110 acquires the speech data shown in FIG. 6 from the person to be evaluated U in step S102 shown in FIG. For example, at step S103 shown in FIG. Each sound pressure of "r” and “a” in “(ra)” is extracted.
  • the extraction unit 120 extracts the sound pressure difference Diff_P(ka) of “k” and “a” from the extracted sound pressures of “k” and “a” as prosodic features. Similarly, the extraction unit 120 extracts the sound pressure difference Diff_P(ra) between "r” and "a” as a prosody feature.
  • the extraction unit 120 extracts the sound pressure difference Diff_P(ka) and the sound pressure difference Diff_P(ra) as the prosodic features for each of the repeatedly uttered "kara”. Then, from each of the extracted sound pressure differences Diff_P(ka), the extracting unit 120 extracts the temporal change of the sound pressure differences Diff_P(ka) as prosodic features, and from each of the extracted sound pressure differences Diff_P(ra) , the temporal change of the sound pressure difference Diff_P(ra) is extracted as a prosodic feature. For example, changes in sound pressure gradient over time can assess oral function in terms of swallowing movements, food gathering movements, or the ability to crush food.
  • the extraction unit 120 may extract temporal changes in sound pressure as prosodic features. For example, the temporal change of the minimum sound pressure (sound pressure of "k”) in each "kara” when “kara kara kara " is repeatedly uttered may be extracted, or The time change of the maximum sound pressure (sound pressure of "a”) may be extracted, and the time of the sound pressure (sound pressure of "r”) between “ka” and “ra” in each "kara” may be extracted. Changes may be extracted. For example, changes in sound pressure over time can assess oral function in terms of swallowing movements, food gathering movements, or the ability to crush food.
  • the extraction unit 120 may extract the number of repetitions, which is the number of times "kara" can be uttered per predetermined time, as a feature amount.
  • the predetermined time is not particularly limited, it is 5 seconds or the like.
  • the number of repetitions per predetermined period of time can assess oral function in terms of swallowing or food gathering movements.
  • the extraction unit 120 extracts the sound pressure gradient and the time of the plosive as prosodic features. This will be described with reference to FIG.
  • FIG. 7 is a diagram showing an example of voice data indicating the voice uttered by the person to be evaluated U, "On earth".
  • voice data representing a voice repeatedly uttered "What on earth" is shown.
  • the horizontal axis of the graph shown in FIG. 7 is time, and the vertical axis is power (sound pressure).
  • the unit of power shown on the vertical axis of the graph in FIG. 7 is decibel (dB).
  • the acquiring unit 110 acquires the voice data shown in FIG. 7 from the person to be evaluated U in step S102 shown in FIG.
  • the extraction unit 120 extracts the sound pressures of "t” and "a” in "ta” contained in the audio data shown in FIG. 7 by a known method.
  • the extraction unit 120 extracts the sound pressure difference Diff_P(ta) of “t” and “a” from the extracted sound pressures of “t” and “a” as prosodic features.
  • sound pressure gradients can assess oral function in terms of swallowing force or food gathering force.
  • the extracting unit 120 also extracts the plosive time Time(ita) (the plosive time between “i” and “ta”) as a prosody feature amount.
  • the duration of the plosives can assess oral function in terms of swallowing movements, food gathering movements or steady movements of the tongue.
  • FIG. 8 is a diagram showing an example of Chinese syllables or fixed phrases similar to Japanese syllables or fixed phrases in the degree of tongue movement or mouth opening and closing during pronunciation.
  • FIG. 8 shows some examples of Japanese and Chinese syllables or fixed phrases with similar degrees of tongue movement or mouth opening and closing during pronunciation for reference.
  • FIGS. 9A and 9B there are various languages that exist in the world that have similar degrees of tongue movement or opening and closing of the mouth during pronunciation.
  • FIG. 9A is a diagram showing the International Phonetic Alphabet for vowels.
  • FIG. 9B is a diagram showing the International Phonetic Alphabet for consonants.
  • the horizontal direction indicates the movement of the tongue back and forth, the closer the tongue is, the more similar the movement of the tongue is, and the vertical direction indicates the degree of opening and closing of the mouth. , the degree of opening and closing of the mouth is similar.
  • the table of the International Phonetic Alphabet for consonants shown in FIG. Can be pronounced using parts. Therefore, the present invention can be applied to various languages existing in the world.
  • the extraction unit 120 extracts the sound pressure gradient, the first formant frequency , the second formant frequency, the amount of change in the first formant frequency, the amount of change in the second formant frequency, the time change in the first formant frequency, the time change in the second formant frequency, and the speech rate are extracted as prosodic features. This will be described with reference to FIGS. 10A and 10B.
  • FIG. 10A is a diagram showing an example of voice data indicating voice uttered by the person to be evaluated U, "gao dao wu da ka ji ke da yi wu zhe".
  • the horizontal axis of the graph shown in FIG. 10A is time, and the vertical axis is power (sound pressure).
  • the unit of power shown on the vertical axis of the graph in FIG. 10A is decibel (dB).
  • the graph shown in FIG. 10A includes “gao”, “dao”, “wu”, “da”, “ka”, “ji”, “ke”, “da”, “yi”, “wu”, “zhe ” is confirmed.
  • the acquiring unit 110 acquires the speech data shown in FIG. 10A from the evaluated person U in step S102 shown in FIG.
  • the extraction unit 120 extracts each sound pressure of "d” and "a” in “dao” and " The sound pressures of "k” and "a”, the sound pressures of "k” and “e” in “ke”, and the sound pressures of "zh” and "e” in “zhe” are extracted.
  • the extraction unit 120 extracts the sound pressure difference Diff_P(da) of “d” and “a” from the extracted sound pressures of “d” and “a” as prosodic features. Similarly, the extraction unit 120 extracts the sound pressure difference Diff_P(ka) of 'k' and 'a', the sound pressure difference Diff_P(ke) of 'k' and 'e', and the sound of 'zh' and 'e'. The pressure difference Diff_P(zhe) is extracted as a prosodic feature. For example, sound pressure gradients can assess oral function in terms of swallowing force or food gathering force. In addition, oral function in terms of ability to prevent food from entering the throat can also be evaluated by the sound pressure gradient including 'k'.
  • FIG. 10B is a diagram showing an example of changes in the formant frequency of the voice uttered by the evaluator U, "gao dao wu da ka ji ke da yi wu zhe". Specifically, FIG. 10B is a graph for explaining an example of changes in the first formant frequency and the second formant frequency.
  • the extraction unit 120 extracts the first formant frequency and the second formant frequency of each of a plurality of vowels from the speech data representing the speech uttered by the person U to be evaluated as prosodic features. For example, the extraction unit 120 extracts the first formant frequency F1i corresponding to the vowel "i” in “ji", the first formant frequency F1e corresponding to the vowel “e” in “ke”, and the vowel "a” in “da”. The corresponding first formant frequency F1a is extracted as a prosodic feature.
  • the extraction unit 120 extracts the second formant frequency F2i corresponding to the vowel “i” in “yi” and the second formant frequency F2u corresponding to the vowel “u” in “wu” as prosodic features.
  • the extraction unit 120 extracts the amount of change in the first formant frequency and the amount of change in the second formant frequency of the character string with consecutive vowels as prosodic features. For example, the extraction unit 120 extracts the first formant frequency F1i, the amount of change in the first formant frequency F1e and the first formant frequency F1a (F1e ⁇ F1i, F1a ⁇ F1e, F1a ⁇ F1i), the second formant frequency F2i and the A change amount (F2i-F2u) of the two-formant frequency F2u is extracted as a prosodic feature amount.
  • the extraction unit 120 extracts the time change of the first formant frequency and the time change of the second formant frequency of the character string with consecutive vowels as prosodic features. For example, the extraction unit 120 extracts temporal changes in the first formant frequency F1i, the first formant frequency F1e, and the first formant frequency F1a, and the temporal changes in the second formant frequency F2i and the second formant frequency F2u, as prosodic features. do.
  • the oral function related to the movement of gathering food by the second formant frequency, the amount of change in the second formant frequency, or the time change in the second formant frequency can be used to evaluate oral function related to the ability to crush food.
  • the oral function related to the ability to move the mouth quickly by the temporal change of the first formant frequency can be used to evaluate the oral function related to the ability to move the mouth quickly by the temporal change of the first formant frequency.
  • the extraction unit 120 may extract the speech rate as the prosody feature amount.
  • the extracting unit 120 may extract the time from the start of the utterance of "gao dao wu da ka ji ke da yi wu zhe" by the person to be evaluated until the end of the utterance as the prosodic feature amount.
  • the extraction unit 120 specifies not only the time until all of "gao dao wu da ka ji ke da yi wu zhe" is finished uttering, but The time from the start of utterance to the end of utterance of the part may be extracted as the prosodic feature amount.
  • the extraction unit 120 extracts the average time taken to utter one or more words of all or a specific part of "gao dao wu da ka ji ke da yi wu zhe" as a prosodic feature amount. good too.
  • speech rate can assess oral function related to swallowing movements, food gathering movements or tongue dexterity.
  • the calculation unit 130 estimates the oral function of the person U based on the extracted prosodic feature amount and the oral function estimation formula calculated based on a plurality of learning data. A value is calculated (step S104).
  • the oral function estimation formula is set in advance based on the evaluation results of multiple subjects. Acquisition of voice features uttered by the subject, actual diagnosis of the oral function of the subject, and establishment of the correlation between the voice features and the diagnostic results by statistical analysis using multiple regression equations. Different types of estimation formulas can be generated depending on how to select speech features used as representative values. In this manner, an estimation formula can be generated in advance.
  • Machine learning methods include logistic regression, SVM (Support Vector Machine), and random forest.
  • the estimation formula can be configured to include coefficients corresponding to oral function elements and variables into which the extracted prosodic feature values are substituted and multiplied by the above coefficients. Equations 1 to 5 below are examples of estimation equations.
  • Oral health estimate (A1 x F2e) + (B1 x F2o) + (C1 x F1i) + (D1 x F1e) + (E1 x F1a) + (F1 x Diff_P(ka)) + (G1 x Diff_P( ko)) + (H1 x Diff_P (to)) + (J1 x Diff_P (ta)) + (K1 x Diff_P (ka)) + (L1 x Diff_P (ra)) + (M1 x Diff_P (ta)) + ( N1 x Time (ita)) + P1 (Formula 1)
  • Tongue pressure estimate (A4 x F2e) + (B4 x F2o) + (C4 x F1i) + (D4 x F1e) + (E4 x F1a) + (F4 x Diff_P(ka)) + (G4 x Diff_P( ko)) + (H4 x Diff_P (to)) + (J4 x Diff_P (ta)) + (K4 x Diff_P (ka)) + (L4 x Diff_P (ra)) + (M4 x Diff_P (ta)) + ( N4 x Time (ita)) + P4 (Formula 4)
  • Estimated masticatory function (A5 x F2e) + (B5 x F2o) + (C5 x F1i) + (D5 x F1e) + (E5 x F1a) + (F5 x Diff_P (ka)) + (G5 x Diff_P( ko)) + (H5 x Diff_P (to)) + (J5 x Diff_P (ta)) + (K5 x Diff_P (ka)) + (L5 x Diff_P (ra)) + (M5 x Diff_P (ta)) + ( N5 x Time (ita)) + P5 (Formula 5)
  • A1, B1, C1, ..., N1, A2, B2, C2, ..., N2, A3, B3, C3, ..., N3, A4, B4, C4, ..., N4, A5, B5, C5, . . . , N5 are coefficients, specifically, coefficients corresponding to oral function elements.
  • A1, B1, C1, . A3, B3, C3, . , . is the coefficient corresponding to
  • P1 is a constant corresponding to oral hygiene
  • P2 is a constant corresponding to dry mouth
  • P3 is a constant corresponding to bite force
  • P4 is a constant corresponding to tongue pressure
  • P5 corresponds to masticatory function. is a constant that
  • F2e multiplied by A1, A2, A3, A4, and A5 and F2o multiplied by B1, B2, B3, B4, and B5 are when the person U uttered, "I decided to draw a picture.”
  • This is a variable into which the second formant frequency, which is a prosodic feature extracted from speech data, is substituted.
  • F1a multiplied by E1, E2, E3, E4 and E5 is a variable into which the first formant frequency, which is the prosodic feature quantity extracted from the utterance data when utters "I decided to write a picture", is substituted.
  • Diff_P (ka) multiplied by F1, F2, F3, F4, and F5 Diff_P (ko) multiplied by G1, G2, G3, G4, and G5, and Diff_P (ko) multiplied by H1, H2, H3, H4, and H5 ( to) and Diff_P(ta) multiplied by J1, J2, J3, J4, and J5 are the prosodic features extracted from the utterance data when the person to be evaluated U uttered "I decided to write a picture.” is the variable into which the sound pressure gradient, which is a quantity, is substituted.
  • Diff_P(ka) multiplied by K1, K2, K3, K4, and K5 and Diff_P(ra) multiplied by L1, L2, L3, L4, and L5 are the values of Diff_P(ra) multiplied by the evaluator U when he utters “kara”. This is a variable into which a sound pressure difference, which is a prosodic feature extracted from speech data, is substituted.
  • Diff_P(ta) multiplied by M1, M2, M3, M4, and M5 is a variable into which the sound pressure difference, which is a prosodic feature quantity extracted from the utterance data when the evaluator U uttered "once", is substituted. is.
  • Time (i-ta) to which N1, N2, N3, N4, and N5 are multiplied is substituted with the time of the plosive sound, which is the prosodic feature quantity extracted from the utterance data when the evaluator U uttered “once”. is a variable that is
  • the calculation unit 130 calculates an estimated value for each element of the oral function of the person to be evaluated U (for example, tongue coating, dry mouth, bite force, tongue pressure, and masticatory function). calculate.
  • these oral function elements are examples, and the oral function elements include at least tongue coating, dry mouth, bite force, tongue pressure, cheek pressure, number of remaining teeth, swallowing function, and masticatory function. One should be included.
  • the extracting unit 120 extracts a plurality of types of syllables or fixed phrases (for example, in the above formulas 1 to 5, "I decided to write a picture", "from” and "once”). extracts a plurality of prosodic features from the audio data obtained by collecting the voice uttered by the calculator 130, based on the extracted plurality of prosodic features and the estimation formula, oral function estimation Calculate the value.
  • the calculation unit 130 can accurately calculate the estimated value of the oral function by substituting a plurality of prosodic features extracted from speech data of a plurality of types of syllables or fixed phrases into one estimation formula.
  • the estimation expression may be a multi-order expression such as a secondary expression.
  • the evaluation unit 140 evaluates the deterioration state of the oral function of the person to be evaluated U by determining the estimated value calculated by the calculation unit 130 using the oral function evaluation index (step S105). For example, the evaluation unit 140 determines the calculated estimated value for each element of the oral function using an oral function evaluation index determined for each element of the oral function, thereby reducing the oral function of the person to be evaluated U. Status is assessed by component of oral function.
  • the oral function evaluation index is an index for evaluating oral function, and is, for example, a condition for determining that oral function is degraded. The oral function evaluation index will be described with reference to FIG. 11 .
  • FIG. 11 is a diagram showing an example of an oral function evaluation index.
  • the oral function evaluation index is determined for each element of oral function. For example, in Japan, an index of 50% or more is set for oral hygiene, an index of 27 or less is set for dry mouth, and an index of less than 500 N is set for bite force (GC Co., Ltd. When using Dental Prescale II), an index of less than 30 kPa is set for tongue pressure, and an index of less than 100 mg/dL is set for masticatory function (for indices, see the Japanese Dental Association's "Oral Function Basic concept of depression (https://www.jads.jp/basic/pdf/document_02.pdf)”).
  • the evaluation unit 140 compares the calculated estimated value of each oral cavity function element with the oral cavity function evaluation index determined for each oral cavity function element, thereby evaluating the deterioration state of the oral cavity function of the person to be evaluated U. Evaluate each functional element. For example, when the calculated estimated value of oral hygiene is 50% or more, it is evaluated that oral hygiene is in a deteriorated state as an element of oral function. Similarly, when the calculated estimated value of dry mouth is 27 or less, it is evaluated that dry mouth is in a reduced state as an element of oral function, and the calculated estimated value of bite force is less than 500 N.
  • the occlusal force is in a state of decreased as an element of oral function
  • the estimated value of the calculated tongue pressure is less than 30 kPa
  • the estimated value of masticatory function that has been evaluated and calculated is less than 100 mg/dL
  • the oral function evaluation index determined for oral hygiene, dry mouth, occlusal force, tongue pressure, and masticatory function is merely an example, and is not limited to this. For example, an index of remaining teeth may be established for masticatory function.
  • oral hygiene, dry mouth, bite force, tongue pressure and masticatory function are shown as elements of oral function, but these are only examples.
  • oral function evaluation index may differ depending on the country, the oral function evaluation index according to the country where the oral function evaluation device 100 is used may be used.
  • the output unit 150 outputs the evaluation result of the oral function of the person to be evaluated U evaluated by the evaluation unit 140 (step S106).
  • the output unit 150 outputs evaluation results to the mobile terminal 300 .
  • the output unit 150 may include, for example, a communication interface that performs wired communication or wireless communication, acquires the image data of the image corresponding to the evaluation result from the storage unit 170, and acquires it to the mobile terminal 300. Send image data.
  • An example of the image data (evaluation result) is shown in FIGS. 12 and 13.
  • FIGS. 12 and 13 are diagrams showing an example of evaluation results for each element of oral cavity function.
  • the evaluation result may be a two-level evaluation result of OK or NG.
  • OK means normal
  • NG means abnormal.
  • index data 172 stored in storage unit 170 may include a plurality of indexes for one element.
  • the evaluation result may be represented by a radar chart.
  • Figures 12 and 13 show mouth cleanliness, ability to hold food together, ability to chew hard objects, tongue strength and jaw movement as factors of oral function.
  • the cleanliness of the mouth is based on oral hygiene
  • the ability to hold food together is based on dry mouth
  • the ability to chew hard objects is based on bite force
  • the force of the tongue is based on tongue pressure
  • the movement of the jaw is based on the estimated value of masticatory function.
  • 12 and 13 are only examples, and the wording of evaluation items, oral function items, and their corresponding combinations are not limited to those shown in FIGS.
  • the proposal unit 160 compares the estimated value calculated by the calculation unit 130 with predetermined data (suggestion data 173) to make a proposal regarding the oral function of the person U. (Step S107).
  • predetermined data will now be described with reference to FIG.
  • FIG. 14 is an example of predetermined data (suggestion data 173) used when proposing oral cavity functions.
  • the proposal data 173 is data in which evaluation results and proposal contents are associated with each element of oral cavity function. For example, when the calculated estimated value of mouth cleanliness is 50% or more, the proposal unit 160 determines that the index is satisfied and is OK. Make a proposal by Note that although the description of specific proposal content is omitted, for example, the storage unit 170 includes data indicating the content of the proposal (eg, image, video, audio, text, etc.), and the proposal unit 160 Using such data, a proposal regarding oral functions is made to the person U to be evaluated.
  • the oral function of the person to be evaluated U by acquiring voice data suitable for oral function evaluation. That is, the oral function of the person U to be evaluated can be evaluated only by uttering the syllables or fixed phrases to the sound collecting device such as the mobile terminal 300 .
  • the estimated value of the oral cavity function is calculated using the estimation formula calculated based on a plurality of learning data, the deterioration state of the oral cavity function can be quantitatively evaluated.
  • an estimated value is calculated from the prosodic feature value and the estimation formula, and the estimated value is compared with the threshold value (oral function evaluation index). Therefore, the deterioration state of oral cavity function can be evaluated with high accuracy.
  • the estimation formula may include coefficients corresponding to oral function elements and variables into which the extracted prosodic feature values are substituted and multiplied by the above coefficients.
  • the estimated value of the oral cavity function can be easily calculated simply by substituting the extracted prosodic features into the estimation formula.
  • an estimated value is calculated for each element of the oral function of the person to be evaluated U
  • the calculated estimated value for each element of the oral cavity function is calculated for each element of the oral cavity function.
  • the deterioration state of oral cavity function can be evaluated for each element. For example, by preparing an estimation formula with different coefficients for each oral function element, the deterioration state of oral function can be easily evaluated for each element.
  • the elements of the oral cavity function may include at least one of tongue coating, dry mouth, bite force, tongue pressure, cheek pressure, number of remaining teeth, swallowing function, and masticatory function of the subject U.
  • the prosody features include speech rate, sound pressure difference, time change of sound pressure difference, first formant frequency, second formant frequency, amount of change in first formant frequency, amount of change in second formant frequency, first formant At least one of a frequency change over time, a second formant frequency change over time, and a plosive sound time may be included.
  • a plurality of prosodic features are extracted from speech data obtained by collecting speech uttered by the evaluator U in a plurality of types of syllables or fixed sentences, and in the calculation step, the extracted An estimated value may be calculated based on a plurality of prosody feature values and an estimation formula.
  • a syllable or phrase may include two or more vowels or a combination of vowels and consonants that involve opening and closing the mouth or moving the tongue back and forth to speak.
  • the amount of change in the first formant frequency, the time change in the first formant frequency, the amount of change in the second formant frequency, or the second formant It is possible to extract prosodic features including temporal changes in frequency.
  • the voice data may be obtained by collecting voices of syllables or fixed phrases uttered by the evaluator U at least twice at different speaking speeds.
  • a fixed phrase may include repetition of a syllable consisting of a picking sound and a consonant different from the picking sound.
  • the prosodic features including the time change of the sound pressure difference, the time change of the sound pressure, and the number of repetitions from the voice of the person U to be evaluated uttering such syllables or fixed phrases.
  • a syllable or fixed phrase may include at least one combination of vowels and plosives.
  • the oral function evaluation method may further include a proposal step of making a proposal regarding the oral function of the person to be evaluated U by comparing the calculated estimated value with predetermined data.
  • the person to be evaluated U can receive suggestions on what measures to take when the oral function deteriorates.
  • Oral function evaluation apparatus 100 consists of two or more moras including changes in the first formant frequency or changes in the second formant frequency, or at least one of a picking sound, a plosive sound, an unvoiced sound, a geminate and a fricative sound.
  • Acquisition unit 110 that acquires speech data obtained by collecting speech uttered by the evaluator U, including syllables or fixed phrases, and extraction unit 120 that extracts prosodic features from the acquired speech data.
  • a calculation unit 130 that calculates an estimated value of the oral function of the person to be evaluated U based on the oral function estimation formula calculated based on a plurality of learning data and the extracted prosodic feature amount; and an evaluation unit 140 that evaluates the deterioration state of the oral function of the person to be evaluated U by determining the estimated value using the oral function evaluation index.
  • the oral function evaluation device 100 capable of easily evaluating the oral function of the person U to be evaluated.
  • the oral function evaluation system 200 includes an oral function evaluation device 100, a sound collecting device (mobile terminal 300) that collects, in a non-contact manner, the sound of the syllables or fixed phrases uttered by the person U to be evaluated, Prepare.
  • an oral function evaluation system 200 that can easily evaluate the oral function of the person to be evaluated U.
  • the estimation formula data 171 may be updated based on evaluation results obtained when an expert actually diagnoses the oral function of the person U to be evaluated. Thereby, the evaluation accuracy of the oral cavity function can be improved. Machine learning may be used to improve the accuracy of oral function assessment.
  • the proposal data 173 may be updated based on the evaluation results of the evaluated person U evaluating the content of the proposal. For example, when a proposal is made regarding oral functions that are not problematic for the person U to be evaluated, the person U to be evaluated evaluates that the content of the proposal is wrong. By updating the proposal data 173 based on this evaluation result, the wrong proposal as described above is prevented. In this way, the content of the proposal regarding the oral cavity function to the person to be evaluated U can be made more effective. Note that machine learning may be used to make suggestions regarding oral functions more effective.
  • evaluation results of oral functions may be accumulated as big data together with personal information and used for machine learning.
  • contents of proposals regarding oral cavity functions may be accumulated as big data together with personal information and used for machine learning.
  • the oral function evaluation method includes the proposal step (step S107) of making a proposal regarding oral functions, but it does not have to be included.
  • the oral function evaluation device 100 does not have to include the proposal section 160 .
  • the personal information of the person to be evaluated U is acquired in the acquisition step (step S102), but it does not have to be acquired.
  • the acquisition unit 110 does not have to acquire the personal information of the person U to be evaluated.
  • the steps in the oral function evaluation method may be executed by a computer (computer system).
  • the present invention can be realized as a program for causing a computer to execute the steps included in those methods.
  • the present invention can be implemented as a non-temporary computer-readable recording medium such as a CD-ROM recording the program.
  • each step is executed by executing the program using hardware resources such as the CPU, memory, and input/output circuits of the computer. . That is, each step is executed by the CPU acquiring data from a memory, an input/output circuit, or the like, performing an operation, or outputting the operation result to the memory, an input/output circuit, or the like.
  • each component included in the oral function evaluation device 100 and the oral function evaluation system 200 of the above embodiment may be realized as a dedicated or general-purpose circuit.
  • each component included in the oral function evaluation device 100 and the oral function evaluation system 200 of the above embodiment may be realized as an LSI (Large Scale Integration), which is an integrated circuit (IC: Integrated Circuit).
  • LSI Large Scale Integration
  • IC integrated circuit
  • the integrated circuit is not limited to an LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • a programmable FPGA (Field Programmable Gate Array) or a reconfigurable processor capable of reconfiguring connections and settings of circuit cells inside the LSI may be used.
  • each component included in the oral function evaluation device 100 and the oral function evaluation system 200 may be integrated.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

口腔機能評価方法は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を被評価者（Ｕ）が発話した音声を集音することで得られる音声データを取得する取得ステップ（ステップＳ１０２）と、取得された音声データから韻律特徴量を抽出する抽出ステップ（ステップＳ１０３）と、複数の学習データに基づいて算出された口腔機能の推定式と、抽出された韻律特徴量とに基づいて、被評価者（Ｕ）の口腔機能の推定値を算出する算出ステップ（ステップＳ１０４）と、算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者（Ｕ）の口腔機能の低下状態を評価する評価ステップ（ステップＳ１０５）と、を含む。

Description

口腔機能評価方法、プログラム、口腔機能評価装置および口腔機能評価システム
　本発明は、被評価者の口腔機能を評価することができる、口腔機能評価方法、プログラム、口腔機能評価装置および口腔機能評価システムに関する。
　被評価者の首に摂食嚥下機能を評価するための器具を装着させ、摂食嚥下機能評価指標（マーカー）として、咽頭運動特徴量を取得し、被評価者の摂食嚥下機能を評価する方法が開示されている（例えば、特許文献１参照）。
特開２０１７－２３６７６号公報
　しかしながら、上記特許文献１に開示された方法では、摂食嚥下機能等の口腔機能を評価するために、被評価者に器具を装着する必要があり、被評価者に不快感を与え、被評価者に負担が生じる場合がある。また、歯科医師、歯科衛生士、言語聴覚士または内科医師等の専門家による視診、問診または触診等によっても口腔機能を評価することはできるが、高齢者は、加齢による影響で、ずっとむせていたり、食べこぼしをしたりしているにもかかわらず、高齢だから当然の症状であるとして口腔機能の低下が見過ごされることがある。口腔機能の低下が見過ごされることで、例えば食事量の低下からくる低栄養を招き、低栄養が免疫力の低下を招く。加えて、誤嚥もしやすく、誤嚥と免疫力低下が結果として誤嚥性肺炎に至らしめるおそれにつながる悪循環を招く。
　そこで、本発明は、簡便に被評価者の口腔機能の評価が可能な口腔機能評価方法等の提供を目的とする。
　本発明の一態様に係る口腔機能評価方法は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を被評価者が発話した音声を集音することで得られる音声データを取得する取得ステップと、取得された前記音声データから韻律特徴量を抽出する抽出ステップと、複数の学習データに基づいて算出された口腔機能の推定式と、抽出された前記韻律特徴量とに基づいて、前記被評価者の口腔機能の推定値を算出する算出ステップと、算出された前記推定値を、口腔機能評価指標を用いて判定することで、前記被評価者の口腔機能の低下状態を評価する評価ステップと、を含む。
　また、本発明の一態様に係るプログラムは、上記の口腔機能評価方法をコンピュータに実行させるためのプログラムである。
　また、本発明の一態様に係る口腔機能評価装置は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を被評価者が発話した音声を集音することで得られる音声データを取得する取得部と、取得された前記音声データから韻律特徴量を抽出する抽出部と、複数の学習データに基づいて算出された口腔機能の推定式と、抽出された前記韻律特徴量とに基づいて、前記被評価者の口腔機能の推定値を算出する算出部と、算出された前記推定値を、口腔機能評価指標を用いて判定することで、前記被評価者の口腔機能の低下状態を評価する評価部と、を備える。
　また、本発明の一態様に係る口腔機能評価システムは、上記の口腔機能評価装置と、前記音節または前記定型文を前記被評価者が発話した音声を非接触により集音する集音装置と、を備える。
　本発明の口腔機能評価方法等によれば、簡便に被評価者の口腔機能の評価が可能となる。
図１は、実施の形態に係る口腔機能評価システムの構成を示す図である。 図２は、実施の形態に係る口腔機能評価システムの特徴的な機能構成を示すブロック図である。 図３は、実施の形態に係る口腔機能評価方法による被評価者の口腔機能を評価する処理手順を示すフローチャートである。 図４は、実施の形態に係る口腔機能評価方法による被評価者の音声の取得方法の概要を示す図である。 図５Ａは、被評価者が「えをかくことにきめたよ」と発話した音声を示す音声データの一例を示す図である。 図５Ｂは、被評価者が「えをかくことにきめたよ」と発話した音声のフォルマント周波数の変化の一例を示す図である。 図６は、被評価者が「からからから・・・」と繰り返し発話した音声を示す音声データの一例を示す図である。 図７は、被評価者が「いったい」と発話した音声を示す音声データの一例を示す図である。 図８は、日本語の音節または定型文と、発音の際の舌の動きまたは口の開閉の程度が類似する中国語の音節または定型文の一例を示す図である。 図９Ａは、母音の国際音声記号を示す図である。 図９Ｂは、子音の国際音声記号を示す図である。 図１０Ａは、被評価者が「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」と発話した音声を示す音声データの一例を示す図である。 図１０Ｂは、被評価者が「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」と発話した音声のフォルマント周波数の変化の一例を示す図である。 図１１は、口腔機能評価指標の一例を示す図である。 図１２は、口腔機能の要素毎の評価結果の一例を示す図である。 図１３は、口腔機能の要素毎の評価結果の一例を示す図である。 図１４は、口腔機能に関する提案を行う際に用いられる予め定められたデータの一例である。
　以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。
　（実施の形態）
　［口腔機能の要素］
　本発明は、口腔機能の低下の評価方法等に関するものであり、口腔機能には様々な要素がある。
　例えば、口腔機能の要素には、舌苔、口腔乾燥、咬合力、舌圧、頬圧、残存歯数、嚥下機能および咀嚼機能などがある。ここでは、舌苔、口腔乾燥、咬合力、舌圧および咀嚼機能について簡単に説明する。
　舌苔は、舌に細菌または食べ物の沈着がどの程度あるか（すなわち口腔衛生）を示すものである。舌苔がないか、薄い場合には、機械的な擦過（食事摂取など）環境があること、唾液による洗浄作用があること、飲み込みの動き（舌の動き）が正常であることがわかる。一方で、舌苔が厚い場合には、舌の動きが悪く、食事を摂りにくいことから、栄養不足または筋力不足を招くおそれがあることがわかる。口腔乾燥は、舌の乾燥度合いであり、乾燥していると話すための運動が阻害される。また、食べ物は口腔に取り込まれた後に粉砕されるが、そのままでは飲み込みにくいため、粉砕された食べ物を飲み込みやすくするために唾液が粉砕された食べ物をまとめる働きをする。しかし、口腔が乾燥していると食塊（粉砕された食べ物がまとまったもの）が形成されにくい。咬合力は、硬いものを噛む力であり、顎の筋力の強さである。舌圧は、舌が口蓋を押す力を表す指標である。舌圧が弱くなると飲み込みの動きが摂りにくくなる場合がある。また、舌圧が弱くなると舌を動かす速度が落ちることがあり話速度が落ちる場合がある。咀嚼機能は、口腔の総合的な機能である。
　本発明では、被評価者が発した音声から被評価者の口腔機能の低下状態（例えば口腔機能の要素についての低下状態）を評価することができる。口腔機能が低下している被評価者が発話した音声には特定の特徴がみられ、これを韻律特徴量として抽出することで、被評価者の口腔機能を評価することができるためである。本発明は、口腔機能評価方法、当該方法をコンピュータに実行させるプログラム、当該コンピュータの一例である口腔機能評価装置、および、口腔機能評価装置を備える口腔機能評価システムによって実現される。以下では、口腔機能評価システムを示しながら、口腔機能評価方法等について説明する。
　［口腔機能評価システムの構成］
　実施の形態に係る口腔機能評価システム２００の構成に関して説明する。
　図１は、実施の形態に係る口腔機能評価システム２００の構成を示す図である。
　口腔機能評価システム２００は、被評価者Ｕの音声を解析することで被評価者Ｕの口腔機能を評価するためのシステムであり、図１に示されるように、口腔機能評価装置１００と、携帯端末３００とを備える。
　口腔機能評価装置１００は、携帯端末３００によって、被評価者Ｕが発した音声を示す音声データを取得し、取得した音声データから被評価者Ｕの口腔機能を評価する装置である。
　携帯端末３００は、被評価者Ｕが第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を発話した音声を非接触により集音する集音装置であり、集音した音声を示す音声データを口腔機能評価装置１００へ出力する。例えば、携帯端末３００は、マイクを有するスマートフォンまたはタブレット等である。なお、携帯端末３００は、集音機能を有する装置であれば、スマートフォンまたはタブレット等に限らず、例えば、ノートＰＣ等であってもよい。また、口腔機能評価システム２００は、携帯端末３００の代わりに、集音装置（マイク）を備えていてもよい。また、口腔機能評価システム２００は、被評価者Ｕの個人情報を取得するための入力インターフェースを備えていてもよい。当該入力インターフェースは、例えば、キーボード、タッチパネル等の入力機能を有するものであれば特に限定されない。また、口腔機能評価システム２００において、マイクの音量が設定されてもよい。
　携帯端末３００は、ディスプレイを有し、口腔機能評価装置１００から出力される画像データに基づいた画像等を表示する表示装置であってもよい。なお、表示装置は携帯端末３００でなくてもよく、液晶パネルまたは有機ＥＬパネルなどによって構成されるモニタ装置であってもよい。つまり、本実施の形態では、携帯端末３００が集音装置でもあり表示装置でもあるが、集音装置（マイク）と入力インターフェースと表示装置とが別体に設けられていてもよい。
　口腔機能評価装置１００と携帯端末３００とは、音声データまたは後述する評価結果を示す画像を表示するための画像データ等を送受信可能であればよく、有線で接続されていてもよいし、無線で接続されていてもよい。
　口腔機能評価装置１００は、携帯端末３００によって集音された音声データに基づいて被評価者Ｕの音声を分析し、分析した結果から被評価者Ｕの口腔機能を評価し、評価結果を出力する。例えば、口腔機能評価装置１００は、評価結果を示す画像を表示するための画像データ、もしくは、評価結果に基づいて生成された被評価者Ｕに対する口腔に関する提案をするためのデータを携帯端末３００へ出力する。こうすることで、口腔機能評価装置１００は、被評価者Ｕへ口腔機能の程度や口腔機能の低下の予防等するための提案を通知できるため、例えば、被評価者Ｕは口腔機能の低下の予防や改善を行うことができる。
　なお、口腔機能評価装置１００は、例えば、パーソナルコンピュータであるが、サーバ装置であってもよい。また、口腔機能評価装置１００は、携帯端末３００であってもよい。つまり、以下で説明する口腔機能評価装置１００が有する機能を携帯端末３００が有していてもよい。
　図２は、実施の形態に係る口腔機能評価システム２００の特徴的な機能構成を示すブロック図である。口腔機能評価装置１００は、取得部１１０と、抽出部１２０と、算出部１３０と、評価部１４０と、出力部１５０と、提案部１６０と、記憶部１７０とを備える。
　取得部１１０は、被評価者Ｕが発話した音声を携帯端末３００が非接触により集音することで得られる音声データを取得する。当該音声は、被評価者Ｕが第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる音節または定型文を発話した音声である。または、当該音声は、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む音節または定型文を発話した音声である。また、取得部１１０は、さらに、被評価者Ｕの個人情報を取得してもよい。例えば、個人情報は携帯端末３００に入力された情報であり、年齢、体重、身長、性別、ＢＭＩ（Ｂｏｄｙ　Ｍａｓｓ　Ｉｎｄｅｘ）、歯科情報（例えば、歯の数、入れ歯の有無、咬合支持の場所、機能歯数、残存歯数など）、血清アルブミン値または喫食率等である。なお、個人情報は、ＥＡＴ－１０（イート・テン）と呼ばれる嚥下スクリーニングツール、聖隷式嚥下質問紙、問診またはＢａｒｔｈｅｌ　Ｉｎｄｅｘ等により取得されてもよい。なお、日本国においては、これらの他に、厚生労働省の基本チェックリストにより個人情報が取得されてもよい。取得部１１０は、例えば、有線通信または無線通信を行う通信インターフェースである。
　抽出部１２０は、取得部１１０で取得された被評価者Ｕの音声データを解析する処理部である。抽出部１２０は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路によって実現される。
　抽出部１２０は、取得部１１０が取得した音声データから韻律特徴量を算出する。韻律特徴量とは、評価部１４０が被評価者Ｕの口腔機能を評価するために用いる音声データから抽出される被評価者Ｕの音声の特徴を示す数値である。韻律特徴量は、話速度、音圧較差、音圧較差の時間変化、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化および破裂音の時間の少なくとも１つを含んでいてもよい。
　算出部１３０は、抽出部１２０で抽出された韻律特徴量と、複数の学習データに基づいて算出された口腔機能の推定式とに基づいて、被評価者Ｕの口腔機能の推定値を算出する。推定式を示す推定式データ１７１は、記憶部１７０に記憶されている。算出部１３０は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路によって実現される。
　評価部１４０は、算出部１３０で算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する。口腔機能評価指標を示す指標データ１７２は、記憶部１７０に記憶されている。評価部１４０は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路によって実現される。
　出力部１５０は、算出部１３０で算出された推定値を提案部１６０に出力する。また、出力部１５０は、評価部１４０で評価された被評価者Ｕの口腔機能の評価結果を携帯端末３００等に出力してもよい。出力部１５０は、具体的には、プロセッサ、マイクロコンピュータ、または、専用回路、および、有線通信または無線通信を行う通信インターフェースによって実現される。
　提案部１６０は、算出部１３０で算出された算出された推定値を、予め定められたデータに照合することで、被評価者Ｕの口腔機能に関する提案を行う。予め定められたデータである提案データ１７３は、記憶部１７０に記憶されている。また、提案部１６０は、取得部１１０が取得した個人情報についても提案データ１７３と照合して、被評価者Ｕに対する口腔に関する提案を行ってもよい。提案部１６０は、当該提案を携帯端末３００へ出力する。提案部１６０は、例えば、プロセッサ、マイクロコンピュータまたは専用回路、および、有線通信または無線通信を行う通信インターフェースによって実現される。
　記憶部１７０は、複数の学習データに基づいて算出された口腔機能の推定式を示す推定式データ１７１、被評価者Ｕの口腔機能の推定値を判定するための口腔機能評価指標を示す指標データ１７２、口腔機能の推定値と提案内容との関係を示す提案データ１７３、および、被評価者Ｕの上記個人情報を示す個人情報データ１７４が記憶されている記憶装置である。推定式データ１７１は、被評価者Ｕの口腔機能の推定値の算出が行われるときに算出部１３０によって参照される。指標データ１７２は、被評価者Ｕの口腔機能の低下状態の評価が行われるときに評価部１４０によって参照される。提案データ１７３は、被評価者Ｕに対する口腔機能に関する提案が行われるときに提案部１６０によって参照される。個人情報データ１７４は、例えば、取得部１１０を介して取得されたデータである。なお、個人情報データ１７４は、予め記憶部１７０に記憶されていてもよい。記憶部１７０は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、半導体メモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等によって実現される。
　また、記憶部１７０には、抽出部１２０、算出部１３０、評価部１４０、出力部１５０および提案部１６０を実現するためにコンピュータに実行されるプログラム、被評価者Ｕの口腔機能の評価結果を出力する際に用いられる当該評価結果を示す画像データ、および、提案内容を示す画像、動画、音声またはテキスト等のデータも記憶されていてもよい。また、記憶部１７０には、後述する指示用の画像が記憶されていてもよい。
　図示していないが、口腔機能評価装置１００は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を発音することを被評価者Ｕに指示するための指示部を備えていてもよい。指示部は、具体的には、記憶部１７０に記憶された、上記音節または定型文を発音することを指示するための指示用の画像の画像データ、または、指示用の音声の音声データを取得し、当該画像データまたは当該音声データを携帯端末３００に出力する。
　［口腔機能評価方法の処理手順］
　続いて、口腔機能評価装置１００が実行する口腔機能評価方法における具体的な処理手順について説明する。
　図３は、実施の形態に係る口腔機能評価方法による被評価者Ｕの口腔機能を評価する処理手順を示すフローチャートである。図４は、口腔機能評価方法による被評価者Ｕの音声の取得方法の概要を示す図である。
　まず、指示部は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を発音することを指示する（ステップＳ１０１）。例えば、ステップＳ１０１において、指示部は、記憶部１７０に記憶された、被評価者Ｕへの指示用の画像の画像データを取得し、当該画像データを、携帯端末３００に出力する。そうすると、図４の（ａ）に示すように、携帯端末３００には、被評価者Ｕへの指示用の画像が表示される。なお、図４の（ａ）では、「えをかくことにきめたよ」が定型文の一例として示されているが、「はなさかじいさんとさるかにかっせん」、「はなびのえをかく」、「ひまわりがさいた」等の定型文を発話することが指示されてもよい。また、「いっぱい」、「いったい」、「いっかい」、「ぱったん」、「かっぱ」、「しっぽ」、「きっかり」、「かってに」等の音節を発話することが指示されてもよい。また、「から」、「さら」、「ちゃら」、「じゃら」、「しゃら」、「きゃら」、「ぷら」等の音節を発話することが指示されてもよい。また、「あえい」、「いえあ」、「あい」、「いあ」、「かけき」、「きけか」、「なねに」、「ちてた」、「ぱぺぴ」、「ぴぺぱ」、「かてぴ」、「ちぺか」、「かき」、「たち」、「ぱぴ」、「みさ」、「らり」、「わに」、「にわ」、「えお」、「いお」、「いう」、「てこ」、「きろ」、「てる」、「ぺこ」、「めも」、「えも」等の音節を発話することが指示されてもよい。発音の指示は、このような音節を繰り返し発声させる指示であってもよい。
　また、指示部は、記憶部１７０に記憶された、被評価者Ｕへの指示用の音声の音声データを取得し、当該音声データを、携帯端末３００に出力することで、発音することを指示する指示用の画像を用いずに発音することを指示する指示用の音声を用いて上記指示を行ってもよい。さらに、発音することを指示する指示用の画像および音声を用いずに、被評価者Ｕの口腔機能を評価したい評価者（家族、医師等）が自身の声で被評価者Ｕに上記指示を行ってもよい。
　例えば、発話される音節または定型文は、発話するために口の開閉または舌の前後の動きを伴う、２つ以上の母音または母音および子音の組み合わせを含んでいてもよい。例えば、このような音節または定型文として、日本語においては、「えをかくことにきめたよ」等がある。「えをかくことにきめたよ」の「えを」を発話するためには、舌の前後の動きを伴い、「えをかくことにきめたよ」の「きめた」を発話するためには、口の開閉を伴う。「えをかくことにきめたよ」の「えを」の部分には、母音「ｅ」および母音「ｏ」の第二フォルマント周波数が含まれ、また、母音「ｅ」および母音「ｏ」が隣り合っていることから、第二フォルマント周波数の変化量が含まれる。また、この部分には、第二フォルマント周波数の時間変化が含まれる。「えをかくことにきめたよ」の「きめた」の部分には、母音「ｉ」、母音「ｅ」および母音「ａ」の第一フォルマント周波数が含まれ、また、母音「ｉ」、母音「ｅ」および母音「ａ」が隣り合っていることから、第一フォルマント周波数の変化量が含まれる。また、この部分には、第一フォルマント周波数の時間変化が含まれる。「えをかくことにきめたよ」が発話されることで、音圧較差、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化、話速度等の韻律特徴量を抽出することができる。
　例えば、発話される定型文には、弾き音と当該弾き音とは異なる子音からなる音節の繰り返しを含んでいてもよい。例えば、このような定型文として、日本語においては、「からからから・・・」等がある。「からからから・・・」と繰り返し発話されることで、音圧較差、音圧較差の時間変化、音圧の時間変化、繰り返しの回数等の韻律特徴量を抽出することができる。
　例えば、発話される音節または定型文は、母音および破裂音の組み合わせを少なくとも１つ含んでいてもよい。例えば、このような音節として、日本語においては、「いったい」等がある。「いったい」と発話されることで、音圧較差、破裂音の時間（母音間の時間）等の韻律特徴量を抽出することができる。
　なお、音声データは、音節または定型文を被評価者Ｕが異なる話速度で少なくとも２回発話した音声を集音することで得られてもよい。例えば、被評価者Ｕは、「えをかくことにきめたよ」を普段通りの速さとそれよりも速い速さでそれぞれ発話するように指示される。「えをかくことにきめたよ」を普段通りの速さとそれよりも速い速さでそれぞれ発話されることで、口腔機能の状態の保持の程度を推定できる。
　次に、図３に示されるように、取得部１１０は、ステップＳ１０１において指示を受けた被評価者Ｕの音声データを、携帯端末３００を介して取得する（ステップＳ１０２）。図４の（ｂ）に示すように、ステップＳ１０２において、例えば、被評価者Ｕは、「えをかくことにきめたよ」等の音節または定型文を携帯端末３００に向けて発する。取得部１１０は、被評価者Ｕが発した音節または定型文を、音声データとして取得する。
　次に、抽出部１２０は、取得部１１０が取得した音声データから韻律特徴量を抽出する（ステップＳ１０３）。
　例えば、取得部１１０が取得した音声データが、「えをかくことにきめたよ」を発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化および話速度を韻律特徴量として抽出する。これについて、図５Ａおよび図５Ｂを用いて説明する。
　図５Ａは、被評価者Ｕが「えをかくことにきめたよ」と発話した音声を示す音声データの一例を示す図である。図５Ａに示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図５Ａのグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。
　図５Ａに示すグラフには、「え」、「を」、「か」、「く」、「こ」、「と」、「に」、「き」、「め」、「た」、「よ」に対応する音圧の変化が確認される。取得部１１０は、図３に示すステップＳ１０２において、被評価者Ｕから図５Ａに示す音声データを取得する。抽出部１２０は、例えば、図３に示すステップＳ１０３において、既知の方法により、図５Ａに示す音声データに含まれる「か（ｋａ）」における「ｋ」および「ａ」の各音圧、「こ（ｋｏ）」における「ｋ」および「ｏ」の各音圧、「と（ｔｏ）」における「ｔ」および「ｏ」の各音圧、「た（ｔａ）」における「ｔ」および「ａ」の各音圧を抽出する。抽出部１２０は、抽出した「ｋ」および「ａ」の各音圧から、「ｋ」および「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）を韻律特徴量として抽出する。同じように、抽出部１２０は、「ｋ」および「ｏ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋｏ）、「ｔ」および「ｏ」の音圧較差Ｄｉｆｆ＿Ｐ（ｔｏ）、「ｔ」および「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｔａ）を韻律特徴量として抽出する。例えば、音圧較差によって、飲み込みの力（舌が口蓋に接触する圧力）または食べ物をまとめる力に関する口腔機能を評価することができる。また、「ｋ」を含む音圧較差によって、喉への飲食物の流入防止能力に関する口腔機能も評価することができる。
　図５Ｂは、被評価者Ｕが「えをかくことにきめたよ」と発話した音声のフォルマント周波数の変化の一例を示す図である。具体的には、図５Ｂは、第一フォルマント周波数および第二フォルマント周波数の変化の一例を説明するためのグラフである。
　第一フォルマント周波数は、人の音声の低周波数側から数えて１番目に見られる振幅のピーク周波数であり、口の開閉に関する特徴が反映されやすいことが知られている。第二フォルマント周波数は、人の音声の低周波数側から数えて２番目に見られる振幅のピーク周波数であり、舌の前後の動きに関する影響が反映されやすいことが知られている。
　抽出部１２０は、被評価者Ｕが発話した音声を示す音声データから、複数の母音それぞれの第一フォルマント周波数および第二フォルマント周波数を韻律特徴量として抽出する。例えば、抽出部１２０は、「えを」における、母音「ｅ」に対応する第二フォルマント周波数Ｆ２ｅおよび母音「ｏ」に対応する第二フォルマント周波数Ｆ２ｏを韻律特徴量として抽出する。また、例えば、抽出部１２０は、「きめた」における、母音「ｉ」に対応する第一フォルマント周波数Ｆ１ｉ、母音「ｅ」に対応する第一フォルマント周波数Ｆ１ｅおよび母音「ａ」に対応する第一フォルマント周波数Ｆ１ａを韻律特徴量として抽出する。
　さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の変化量と第二フォルマント周波数の変化量を韻律特徴量として抽出する。例えば、抽出部１２０は、第二フォルマント周波数Ｆ２ｅおよび第二フォルマント周波数Ｆ２ｏの変化量（Ｆ２ｅ－Ｆ２ｏ）、ならびに、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅおよび第一フォルマント周波数Ｆ１ａの変化量（Ｆ１ｅ－Ｆ１ｉ、Ｆ１ａ－Ｆ１ｅ、Ｆ１ａ－Ｆ１ｉ）を韻律特徴量として抽出する。
　さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の時間変化と第二フォルマント周波数の時間変化を韻律特徴量として抽出する。例えば、抽出部１２０は、第二フォルマント周波数Ｆ２ｅおよび第二フォルマント周波数Ｆ２ｏの時間変化、ならびに、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅおよび第一フォルマント周波数Ｆ１ａの時間変化を韻律特徴量として抽出する。図５Ｂには、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅおよび第一フォルマント周波数Ｆ１ａの時間変化の一例を示しており、当該時間変化は、ΔＦ１／ΔＴｉｍｅである。このΔＦ１は、Ｆ１ａ－Ｆ１ｉである。
　例えば、第二フォルマント周波数、第二フォルマント周波数の変化量または第二フォルマント周波数の時間変化によって、食べ物をまとめる動き（舌の前後左右の動き）に関する口腔機能を評価することができる。また、例えば、第一フォルマント周波数、第一フォルマント周波数の変化量または第一フォルマント周波数の時間変化によって、食べ物を粉砕する能力に関する口腔機能を評価することができる。また、第一フォルマント周波数の時間変化によって、早く口を動かす能力に関する口腔機能を評価することができる。
　また、図５Ａに示すように、抽出部１２０は、話速度を韻律特徴量として抽出してもよい。例えば、抽出部１２０は、被評価者Ｕが「えをかくことにきめたよ」を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「えをかくことにきめたよ」の全てを発話し終わるまでの時間に限らず、「えをかくことにきめたよ」の特定の部分を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「えをかくことにきめたよ」の全てまたは特定の部分の１語または複数語を発話するのにかかる平均時間を韻律特徴量として抽出してもよい。例えば、話速度によって、飲み込みの動き、食べ物をまとめる動きまたは舌の巧緻性に関する口腔機能を評価することができる。
　例えば、取得部１１０が取得した音声データが、「からからから・・・」と繰り返し発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差の時間変化を韻律特徴量として抽出する。これについて、図６を用いて説明する。
　図６は、被評価者Ｕが「からからから・・・」と繰り返し発話した音声を示す音声データの一例を示す図である。図６に示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図６のグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。
　図６に示すグラフには、「か」、「ら」に対応する音圧の変化が確認される。取得部１１０は、図３に示すステップＳ１０２において、被評価者Ｕから図６に示す音声データを取得する。抽出部１２０は、例えば、図３に示すステップＳ１０３において、既知の方法により、図６に示す音声データに含まれる「か（ｋａ）」における「ｋ」および「ａ」の各音圧、「ら（ｒａ）」における「ｒ」および「ａ」の各音圧を抽出する。抽出部１２０は、抽出した「ｋ」および「ａ」の各音圧から、「ｋ」および「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）を韻律特徴量として抽出する。同じように、抽出部１２０は、「ｒ」および「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）を韻律特徴量として抽出する。例えば、抽出部１２０は、繰り返し発話される「から」のそれぞれについて、音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）および音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）を韻律特徴量として抽出する。そして、抽出部１２０は、抽出した音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）のそれぞれから、音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）の時間変化を韻律特徴量として抽出し、抽出した音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）のそれぞれから、音圧較差Ｄｉｆｆ＿Ｐ（ｒａ）の時間変化を韻律特徴量として抽出する。例えば、音圧較差の時間変化によって、飲み込みの動き、食べ物をまとめる動きまたは食べ物を粉砕する能力に関する口腔機能を評価することができる。
　なお、抽出部１２０は、音圧の時間変化を韻律特徴量として抽出してもよい。例えば、「からからから・・・」と繰り返し発話される際の各「から」における最小の音圧（「ｋ」の音圧）の時間変化が抽出されてもよいし、各「から」における最大の音圧（「ａ」の音圧）の時間変化が抽出されてもよいし、各「から」における「か」と「ら」の間の音圧（「ｒ」の音圧）の時間変化が抽出されてもよい。例えば、音圧の時間変化によって、飲み込みの動き、食べ物をまとめる動きまたは食べ物を粉砕する能力に関する口腔機能を評価することができる。
　また、図６に示すように、抽出部１２０は、所定の時間あたりに「から」を発声できた回数である繰り返し回数を特徴量として抽出してもよい。所定の時間は特に限定されないが、５秒等である。例えば、所定の時間あたりの繰り返し回数によって、飲み込みの動きまたは食べ物をまとめる動きに関する口腔機能を評価することができる。
　例えば、取得部１１０が取得した音声データが、「いったい」を発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差および破裂音の時間を韻律特徴量として抽出する。これについて、図７を用いて説明する。
　図７は、被評価者Ｕが「いったい」と発話した音声を示す音声データの一例を示す図である。ここでは、「いったいいったい・・・」と繰り返し発話した音声を示す音声データの一例を示している。図７に示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図７のグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。
　図７に示すグラフには、「い」、「っ」、「た」、「い」に対応する音圧の変化が確認される。取得部１１０は、図３に示すステップＳ１０２において、被評価者Ｕから図７に示す音声データを取得する。抽出部１２０は、例えば、図３に示すステップＳ１０３において、既知の方法により、図７に示す音声データに含まれる「た（ｔａ）」における「ｔ」および「ａ」の各音圧を抽出する。抽出部１２０は、抽出した「ｔ」および「ａ」の各音圧から、「ｔ」および「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｔａ）を韻律特徴量として抽出する。例えば、音圧較差によって、飲み込みの力または食べ物をまとめる力に関する口腔機能を評価することができる。また、抽出部１２０は、破裂音の時間Ｔｉｍｅ（ｉ－ｔａ）（「ｉ」と「ｔａ」の間の破裂音の時間）を韻律特徴量として抽出する。例えば、破裂音の時間によって、飲み込みの動き、食べ物をまとめる動きまたは舌の安定した動きに関する口腔機能を評価することができる。
　なお、発話される音節または定型文として日本語での音節または定型文を例にあげて説明したが、日本語に限らずどのような言語であってもよい。
　図８は、日本語の音節または定型文と、発音の際の舌の動きまたは口の開閉の程度が類似する中国語の音節または定型文の一例を示す図である。
　世界には様々な言語が存在するが、発音の際の舌の動きまたは口の開閉の程度が類似するものが存在する。例えば、中国語の
Figure JPOXMLDOC01-appb-I000001
（以下、ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅと記載する）を発音する際の発音の際の舌の動きまたは口の開閉の程度は、日本語の「えをかくことにきめたよ」を発音する際の発音の際の舌の動きまたは口の開閉の程度と類似しているため、日本語の「えをかくことにきめたよ」と類似する韻律特徴量を抽出することができる。なお、本明細書では声調符号の記載を省略している。図８には、日本語および中国語について、発音の際の舌の動きまたは口の開閉の程度が類似する音節または定型文の例が参考までにいくつか示されている。
　また、世界に存在する様々な言語に、発音の際の舌の動きまたは口の開閉の程度が類似するものが存在することについて、図９Ａおよび図９Ｂを用いて簡単に説明する。
　図９Ａは、母音の国際音声記号を示す図である。
　図９Ｂは、子音の国際音声記号を示す図である。
　図９Ａに示す母音の国際音声記号の位置関係は、横方向は舌の前後の動きを示しており、近いほど舌の前後の動きが類似し、縦方向は口の開閉の程度を示しており、近いほど口の開閉の程度が類似する。図９Ｂに示す子音の国際音声記号の表は、横方向は、唇から喉までの、発音の際に使用する部位を示しており、表の同じマス目にある国際音声記号によって同じ音を同じ部位を使用して発音することができる。このため、世界に存在する様々な言語について、本発明を適用することができる。
　例えば、口の開閉を大きくしたい場合には、図９Ａに示す縦方向に離れた国際音声記号（例えば「ｉ」と「ａ」）が連続したものが音節または定型文に含むようにする。これにより、韻律特徴量として第一フォルマント周波数の変化量を大きくすることができる。また、例えば、舌の前後の位置を大きくしたい場合には、図９Ａに示す横方向に離れた国際音声記号（例えば「ｉ」と「ｕ」）が連続したものが音節または定型文に含むようにする。これにより、韻律特徴量として第二フォルマント周波数の変化量を大きくすることができる。
　例えば、取得部１１０が取得した音声データが、「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」を発話した音声から得られる音声データの場合、抽出部１２０は、音圧較差、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化および話速度を韻律特徴量として抽出する。これについて、図１０Ａおよび図１０Ｂを用いて説明する。
　図１０Ａは、被評価者Ｕが「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」と発話した音声を示す音声データの一例を示す図である。図１０Ａに示すグラフの横軸は時間であり、縦軸はパワー（音圧）である。なお、図１０Ａのグラフの縦軸に示すパワーの単位は、デシベル（ｄＢ）である。
　図１０Ａに示すグラフには、「ｇａｏ」、「ｄａｏ」、「ｗｕ」、「ｄａ」、「ｋａ」、「ｊｉ」、「ｋｅ」、「ｄａ」、「ｙｉ」、「ｗｕ」、「ｚｈｅ」に対応する音圧の変化が確認される。取得部１１０は、図３に示すステップＳ１０２において、被評価者Ｕから図１０Ａに示す音声データを取得する。抽出部１２０は、例えば、図３に示すステップＳ１０３において、既知の方法により、図１０Ａに示す音声データに含まれる「ｄａｏ」における「ｄ」および「ａ」の各音圧、「ｋａ」における「ｋ」および「ａ」の各音圧、「ｋｅ」における「ｋ」および「ｅ」の各音圧、「ｚｈｅ」における「ｚｈ」および「ｅ」の各音圧を抽出する。抽出部１２０は、抽出した「ｄ」および「ａ」の各音圧から、「ｄ」および「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｄａ）を韻律特徴量として抽出する。同じように、抽出部１２０は、「ｋ」および「ａ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋａ）、「ｋ」および「ｅ」の音圧較差Ｄｉｆｆ＿Ｐ（ｋｅ）、「ｚｈ」および「ｅ」の音圧較差Ｄｉｆｆ＿Ｐ（ｚｈｅ）を韻律特徴量として抽出する。例えば、音圧較差によって、飲み込みの力または食べ物をまとめる力に関する口腔機能を評価することができる。また、「ｋ」を含む音圧較差によって、喉への飲食物の流入防止能力に関する口腔機能も評価することができる。
　図１０Ｂは、被評価者Ｕが「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」と発話した音声のフォルマント周波数の変化の一例を示す図である。具体的には、図１０Ｂは、第一フォルマント周波数および第二フォルマント周波数の変化の一例を説明するためのグラフである。
　抽出部１２０は、被評価者Ｕが発話した音声を示す音声データから、複数の母音それぞれの第一フォルマント周波数および第二フォルマント周波数を韻律特徴量として抽出する。例えば、抽出部１２０は、「ｊｉ」における母音「ｉ」に対応する第一フォルマント周波数Ｆ１ｉ、「ｋｅ」における母音「ｅ」に対応する第一フォルマント周波数Ｆ１ｅおよび「ｄａ」における母音「ａ」に対応する第一フォルマント周波数Ｆ１ａを韻律特徴量として抽出する。また、例えば、抽出部１２０は、「ｙｉ」における母音「ｉ」に対応する第二フォルマント周波数Ｆ２ｉおよび「ｗｕ」における母音「ｕ」に対応する第二フォルマント周波数Ｆ２ｕを韻律特徴量として抽出する。
　さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の変化量と第二フォルマント周波数の変化量を韻律特徴量として抽出する。例えば、抽出部１２０は、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅおよび第一フォルマント周波数Ｆ１ａの変化量（Ｆ１ｅ－Ｆ１ｉ、Ｆ１ａ－Ｆ１ｅ、Ｆ１ａ－Ｆ１ｉ）、ならびに、第二フォルマント周波数Ｆ２ｉおよび第二フォルマント周波数Ｆ２ｕの変化量（Ｆ２ｉ－Ｆ２ｕ）を韻律特徴量として抽出する。
　さらに、抽出部１２０は、母音が連続した文字列の第一フォルマント周波数の時間変化と第二フォルマント周波数の時間変化を韻律特徴量として抽出する。例えば、抽出部１２０は、第一フォルマント周波数Ｆ１ｉ、第一フォルマント周波数Ｆ１ｅおよび第一フォルマント周波数Ｆ１ａの時間変化、ならびに、第二フォルマント周波数Ｆ２ｉおよび第二フォルマント周波数Ｆ２ｕの時間変化を韻律特徴量として抽出する。
　例えば、第二フォルマント周波数、第二フォルマント周波数の変化量または第二フォルマント周波数の時間変化によって、食べ物をまとめる動きに関する口腔機能を評価することができる。また、例えば、第一フォルマント周波数、第一フォルマント周波数の変化量または第一フォルマント周波数の時間変化によって、食べ物を粉砕する能力に関する口腔機能を評価することができる。また、第一フォルマント周波数の時間変化によって、早く口を動かす能力に関する口腔機能を評価することができる。
　また、図１０Ａに示すように、抽出部１２０は、話速度を韻律特徴量として抽出してもよい。例えば、抽出部１２０は、被評価者Ｕが「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」の全てを発話し終わるまでの時間に限らず、「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」の特定の部分を発話し始めてから発話し終わるまでの時間を韻律特徴量として抽出してもよい。また、例えば、抽出部１２０は、「ｇａｏ　ｄａｏ　ｗｕ　ｄａ　ｋａ　ｊｉ　ｋｅ　ｄａ　ｙｉ　ｗｕ　ｚｈｅ」の全てまたは特定の部分の１語または複数語を発話するのにかかる平均時間を韻律特徴量として抽出してもよい。例えば、話速度によって、飲み込みの動き、食べ物をまとめる動きまたは舌の巧緻性に関する口腔機能を評価することができる。
　図３での説明に戻り、算出部１３０は、抽出された韻律特徴量と、複数の学習データに基づいて算出された口腔機能の推定式とに基づいて、被評価者Ｕの口腔機能の推定値を算出する（ステップＳ１０４）。
　口腔機能の推定式は、予め、複数の被験者に対して行った評価結果を元に設定する。被験者が発話した音声特徴量を収集し、また、被験者の口腔機能を実際に診断し、音声特徴量と診断結果との間の相関を重回帰式などを利用して統計的解析により設定する。代表値として用いる音声特徴量の選び方によって、推定式は異なる種類を生成できる。このようにして、予め、推定式を生成できる。
　また、音声特徴量と診断結果との間の相関関係を表すために、機械学習を利用して設定しても構わない。機械学習の手法として、ロジスティクス回帰、SVM (Support Vector Machine)、ランダムフォレストなどがある。
　例えば、推定式は、口腔機能の要素に対応する係数、および、抽出された韻律特徴量が代入され、上記係数が掛けられる変数を含むように構成することができる。以下の式１から式５は、推定式の一例である。
　口腔衛生の推定値＝（Ａ１×Ｆ２ｅ）＋（Ｂ１×Ｆ２ｏ）＋（Ｃ１×Ｆ１ｉ）＋（Ｄ１×Ｆ１ｅ）＋（Ｅ１×Ｆ１ａ）＋（Ｆ１×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ１×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ１×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ１×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ１×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ１×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ１×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｎ１×Ｔｉｍｅ（ｉ－ｔａ））＋Ｐ１　　（式１）
　口腔乾燥の推定値＝（Ａ２×Ｆ２ｅ）＋（Ｂ２×Ｆ２ｏ）＋（Ｃ２×Ｆ１ｉ）＋（Ｄ２×Ｆ１ｅ）＋（Ｅ２×Ｆ１ａ）＋（Ｆ２×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ２×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ２×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ２×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ２×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ２×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ２×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｎ２×Ｔｉｍｅ（ｉ－ｔａ））＋Ｐ２　　（式２）
　咬合力の推定値＝（Ａ３×Ｆ２ｅ）＋（Ｂ３×Ｆ２ｏ）＋（Ｃ３×Ｆ１ｉ）＋（Ｄ３×Ｆ１ｅ）＋（Ｅ３×Ｆ１ａ）＋（Ｆ３×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ３×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ３×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ３×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ３×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ３×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ３×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｎ３×Ｔｉｍｅ（ｉ－ｔａ））＋Ｐ３　　（式３）
　舌圧の推定値＝（Ａ４×Ｆ２ｅ）＋（Ｂ４×Ｆ２ｏ）＋（Ｃ４×Ｆ１ｉ）＋（Ｄ４×Ｆ１ｅ）＋（Ｅ４×Ｆ１ａ）＋（Ｆ４×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ４×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ４×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ４×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ４×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ４×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ４×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｎ４×Ｔｉｍｅ（ｉ－ｔａ））＋Ｐ４　　（式４）
　咀嚼機能の推定値＝（Ａ５×Ｆ２ｅ）＋（Ｂ５×Ｆ２ｏ）＋（Ｃ５×Ｆ１ｉ）＋（Ｄ５×Ｆ１ｅ）＋（Ｅ５×Ｆ１ａ）＋（Ｆ５×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｇ５×Ｄｉｆｆ＿Ｐ（ｋｏ））＋（Ｈ５×Ｄｉｆｆ＿Ｐ（ｔｏ））＋（Ｊ５×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｋ５×Ｄｉｆｆ＿Ｐ（ｋａ））＋（Ｌ５×Ｄｉｆｆ＿Ｐ（ｒａ））＋（Ｍ５×Ｄｉｆｆ＿Ｐ（ｔａ））＋（Ｎ５×Ｔｉｍｅ（ｉ－ｔａ））＋Ｐ５　　（式５）
　Ａ１、Ｂ１、Ｃ１、・・・、Ｎ１、Ａ２、Ｂ２、Ｃ２、・・・、Ｎ２、Ａ３、Ｂ３、Ｃ３、・・・、Ｎ３、Ａ４、Ｂ４、Ｃ４、・・・、Ｎ４、Ａ５、Ｂ５、Ｃ５、・・・、Ｎ５、は、係数であり、具体的には、口腔機能の要素に対応する係数である。例えば、Ａ１、Ｂ１、Ｃ１、・・・、Ｎ１は、口腔機能の要素の１つである口腔衛生に対応する係数であり、Ａ２、Ｂ２、Ｃ２、・・・、Ｎ２は、口腔機能の要素の１つである口腔乾燥に対応する係数であり、Ａ３、Ｂ３、Ｃ３、・・・、Ｎ３は、口腔要素の要素の１つである咬合力に対応する係数であり、Ａ４、Ｂ４、Ｃ４、・・・、Ｎ４は、口腔要素の要素の１つである舌圧に対応する係数であり、Ａ５、Ｂ５、Ｃ５、・・・、Ｎ５は、口腔要素の要素の１つである咀嚼機能に対応する係数である。
　Ｐ１は口腔衛生に対応する定数であり、Ｐ２は口腔乾燥に対応する定数であり、Ｐ３は咬合力に対応する定数であり、Ｐ４は舌圧に対応する定数であり、Ｐ５は咀嚼機能に対応する定数である。
　Ａ１、Ａ２、Ａ３、Ａ４、Ａ５が掛けられるＦ２ｅと、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５が掛けられるＦ２ｏとは、被評価者Ｕが「えをかくことにきめたよ」と発話したときの発話データから抽出された韻律特徴量である第二フォルマント周波数が代入される変数である。Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５が掛けられるＦ１ｉと、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５が掛けられるＦ１ｅと、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５が掛けられるＦ１ａとは、被評価者Ｕが「えをかくことにきめたよ」と発話したときの発話データから抽出された韻律特徴量である第一フォルマント周波数が代入される変数である。Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５が掛けられるＤｉｆｆ＿Ｐ（ｋａ）と、Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５が掛けられるＤｉｆｆ＿Ｐ（ｋｏ）と、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５が掛けられるＤｉｆｆ＿Ｐ（ｔｏ）と、Ｊ１、Ｊ２、Ｊ３、Ｊ４、Ｊ５が掛けられるＤｉｆｆ＿Ｐ（ｔａ）とは、被評価者Ｕが「えをかくことにきめたよ」と発話したときの発話データから抽出された韻律特徴量である音圧較差が代入される変数である。Ｋ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５が掛けられるＤｉｆｆ＿Ｐ（ｋａ）と、Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５が掛けられるＤｉｆｆ＿Ｐ（ｒａ）とは、被評価者Ｕが「から」と発話したときの発話データから抽出された韻律特徴量である音圧較差が代入される変数である。Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５が掛けられるＤｉｆｆ＿Ｐ（ｔａ）は、被評価者Ｕが「いったい」と発話したときの発話データから抽出された韻律特徴量である音圧較差が代入される変数である。Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５が掛けられるＴｉｍｅ（ｉ－ｔａ）は、被評価者Ｕが「いったい」と発話したときの発話データから抽出された韻律特徴量である破裂音の時間が代入される変数である。
　上記式１から式５に示されるように、例えば、算出部１３０は、被評価者Ｕの口腔機能の要素（例えば、舌苔、口腔乾燥、咬合力、舌圧および咀嚼機能）毎に推定値を算出する。なお、これらの口腔機能の要素は一例であり、口腔機能の要素には、被評価者Ｕの舌苔、口腔乾燥、咬合力、舌圧、頬圧、残存歯数、嚥下機能および咀嚼機能の少なくとも１つが含まれていればよい。
　また、例えば、抽出部１２０は、複数種類の音節または定型文（例えば、上記式１から式５では、「えをかくことにきめたよ」、「から」および「いったい」）を被評価者Ｕが発話した音声を集音することで取得された音声データから複数の韻律特徴量を抽出し、算出部１３０は、抽出された複数の韻律特徴量と推定式とに基づいて、口腔機能の推定値を算出する。算出部１３０は、複数種類の音節または定型文の音声データから抽出された複数の韻律特徴量を１つの推定式に代入することで、口腔機能の推定値を精度よく算出することができる。
　なお、推定式として一次式が示されているが、推定式は二次式等の多次式であってもよい。
　次に、評価部１４０は、算出部１３０により算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する（ステップＳ１０５）。例えば、評価部１４０は、算出された口腔機能の要素毎の推定値を、口腔機能の要素毎に定められた口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を口腔機能の要素毎に評価する。口腔機能評価指標は、口腔機能を評価するための指標であり、例えば、口腔機能が低下していると判定する条件である。口腔機能評価指数について、図１１を用いて説明する。
　図１１は、口腔機能評価指標の一例を示す図である。
　口腔機能評価指標は、口腔機能の要素毎に定められる。例えば、日本国では、口腔衛生に対して５０％以上という指標が定められ、口腔乾燥に対して２７以下という指標が定められ、咬合力に対して５００Ｎ未満という指標が定められ（株式会社ジーシーのデンタルプレスケールＩＩを利用した場合）、舌圧に対して３０ｋＰａ未満という指標が定められ、咀嚼機能に対して１００ｍｇ／ｄＬ未満という指標が定められる（指標については、日本歯科医学会の「口腔機能低下症に関する基本的な考え方（https://www.jads.jp/basic/pdf/document_02.pdf）」を参照）。評価部１４０は、算出された口腔機能の要素毎の推定値と、口腔機能の要素毎に定められた口腔機能評価指標とを比較することで、被評価者Ｕの口腔機能の低下状態を口腔機能の要素毎に評価する。例えば、算出された口腔衛生の推定値が５０％以上である場合、口腔機能の要素として口腔衛生が低下状態となっていると評価される。同じように、算出された口腔乾燥の推定値が２７以下である場合、口腔機能の要素として口腔乾燥が低下状態となっていると評価され、算出された咬合力の推定値が５００Ｎ未満である場合、口腔機能の要素として咬合力が低下状態となっていると評価され、算出された舌圧の推定値が３０ｋＰａ未満である場合、口腔機能の要素として咬合力が低下状態となっていると評価され、算出された咀嚼機能の推定値が１００ｍｇ／ｄＬ未満である場合、口腔機能の要素として咀嚼機能が低下状態となっていると評価される。なお、口腔衛生、口腔乾燥、咬合力、舌圧および咀嚼機能に対して定められる口腔機能評価指標として、図１１に示されるものは一例であり、これに限らない。例えば、咀嚼機能に対して残歯の指標が定められてもよい。また、口腔機能の要素として口腔衛生、口腔乾燥、咬合力、舌圧および咀嚼機能を示しているが、これらは一例である。例えば、舌口唇運動機能低下に対しては、舌の動き、唇の動き、唇の強さなどの口腔機能の要素がある。なお、口腔機能評価指標は、国によって異なる場合があるため、口腔機能評価装置１００が使用される国に応じた口腔機能評価指標が用いられてもよい。
　図３での説明に戻り、出力部１５０は、評価部１４０が評価した被評価者Ｕの口腔機能の評価結果を出力する（ステップＳ１０６）。例えば、出力部１５０は、評価結果を携帯端末３００へ出力する。この場合、出力部１５０は、例えば、有線通信または無線通信を行う通信インターフェースを含んでいてもよく、評価結果に対応する画像の画像データを記憶部１７０から取得して、携帯端末３００へ取得した画像データを送信する。当該画像データ（評価結果）の一例を図１２および図１３に示す。
　図１２および図１３は、口腔機能の要素毎の評価結果の一例を示す図である。図１２に示すように、評価結果は、ＯＫまたはＮＧの２段階の評価結果であってもよい。ＯＫは正常を意味し、ＮＧは異常を意味する。なお、口腔機能の要素毎に正常、異常が示されなくてもよく、例えば、低下の疑いのある要素の評価結果だけが示されてもよい。また、評価結果は、２段階の評価結果に限らず、評価の程度が３段階以上に分かれた細かい評価結果であってもよい。この場合、記憶部１７０に記憶された指標データ１７２には、１つの要素に対して複数の指標が含まれていてもよい。また、図１３に示すように、評価結果は、レーダーチャートで表現されてもよい。図１２および図１３には、口腔機能の要素として、口の清潔さ、食べ物をまとめる力、硬いものを噛む力、舌の力およびあごの動きが示されている。口の清潔さは口腔衛生、食べ物をまとめる力は口腔乾燥、硬いものを噛む力は咬合力、舌の力は舌圧、あごの動きは咀嚼機能の推定値を基にして、それぞれ評価結果が提示されている。なお、図１２および図１３は、一例であり、評価項目の文言、口腔機能の項目、また、これらの対応する組み合わせは図１２および図１３に示されるものに限らない。
　図３での説明に戻り、提案部１６０は、算出部１３０により算出された推定値を、予め定められたデータ（提案データ１７３）に照合することで、被評価者Ｕの口腔機能に関する提案を行う（ステップＳ１０７）。ここで、予め定められたデータについて、図１４を用いて説明する。
　図１４は、口腔機能に関する提案を行う際に用いられる予め定められたデータ（提案データ１７３）の一例である。
　図１４に示すように、提案データ１７３は、口腔機能の要素毎に評価結果と提案内容とが対応付けられたデータである。例えば、提案部１６０は、算出された口の清潔さの推定値が５０％以上である場合には、指標を満たしているので、ＯＫと判断し、口の清潔さに対応付けられた提案内容による提案を行う。なお、具体的な提案内容については記載を省略しているが、例えば、記憶部１７０は、提案内容を示すデータ（例えば、画像、動画、音声、テキスト等）を含み、提案部１６０は、このようなデータを用いて被評価者Ｕへ口腔機能に関する提案を行う。
　［効果等］
　以上説明したように、本実施の形態に係る口腔機能評価方法は、図３に示されるように、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を被評価者Ｕが発話した音声を集音することで得られる音声データを取得する取得ステップ（ステップＳ１０２）と、取得された音声データから韻律特徴量を抽出する抽出ステップ（ステップＳ１０３）と、複数の学習データに基づいて算出された口腔機能の推定式と、抽出された韻律特徴量とに基づいて、被評価者Ｕの口腔機能の推定値を算出する算出ステップ（ステップＳ１０４）と、算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する評価ステップ（ステップＳ１０５）と、を含む。
　これによれば、口腔機能の評価に適した音声データを取得することで、簡便に被評価者Ｕの口腔機能の評価が可能となる。つまり、被評価者Ｕが携帯端末３００等の集音装置に向けて上記音節または定型文を発話するだけで、被評価者Ｕの口腔機能の評価が可能となる。特に、複数の学習データに基づいて算出された推定式を用いて口腔機能の推定値が算出されるため、口腔機能の低下状態を定量的に評価できる。また、韻律特徴量を直接閾値と比較することで口腔機能を評価するのではなく、韻律特徴量および推定式から推定値が算出され、当該推定値が閾値（口腔機能評価指標）と比較されるため、口腔機能の低下状態を精度良く評価することができる。
　例えば、推定式は、口腔機能の要素に対応する係数、および、抽出された韻律特徴量が代入され、上記係数が掛けられる変数を含んでいてもよい。
　これによれば、抽出された韻律特徴量を推定式に代入するだけで、容易に口腔機能の推定値を算出することができる。
　例えば、算出ステップでは、被評価者Ｕの口腔機能の要素毎に推定値を算出し、評価ステップでは、算出された口腔機能の要素毎の推定値を、口腔機能の要素毎に定められた口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を口腔機能の要素毎に評価してもよい。
　これによれば、口腔機能の低下状態を要素毎に評価することができる。例えば、口腔機能の要素に応じて係数が異なる推定式を口腔機能の要素毎に準備することで、口腔機能の低下状態を要素毎に容易に評価することができる。
　例えば、口腔機能の要素には、被評価者Ｕの舌苔、口腔乾燥、咬合力、舌圧、頬圧、残存歯数、嚥下機能および咀嚼機能の少なくとも１つが含まれていてもよい。
　これによれば、被評価者Ｕの舌苔、口腔乾燥、咬合力、舌圧、頬圧、残存歯数、嚥下機能および咀嚼機能の少なくとも１つの口腔機能の要素についての低下状態を評価することができる。
　例えば、韻律特徴量は、話速度、音圧較差、音圧較差の時間変化、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化および破裂音の時間の少なくとも１つを含んでいてもよい。
　口腔機能が低下することで、発音に変化が現れることから、これらの韻律特徴量から口腔機能の低下状態を評価することができる。
　例えば、抽出ステップでは、複数種類の音節または定型文を被評価者Ｕが発話した音声を集音することで取得された音声データから複数の韻律特徴量を抽出し、算出ステップでは、抽出された複数の韻律特徴量と推定式とに基づいて、推定値を算出してもよい。
　これによれば、１つの推定式に対して複数種類の音節または定型文に基づいて抽出される複数の韻律特徴量を用いることで、口腔機能の推定値の算出の精度を高めることができる。
　例えば、音節または定型文は、発話するために口の開閉または舌の前後の動きを伴う、２つ以上の母音または母音および子音の組み合わせを含んでいてもよい。
　これによれば、被評価者Ｕがこのような音節または定型文を発話した音声から、第一フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の変化量または第二フォルマント周波数の時間変化を含む韻律特徴量を抽出することができる。
　例えば、音声データは、音節または定型文を被評価者Ｕが異なる話速度で少なくとも２回発話した音声を集音することで得られてもよい。
　これによれば、被評価者Ｕがこのような音節または定型文を発話した音声から、口腔機能の状態の保持の程度を推定できる。
　例えば、定型文は、弾き音と当該弾き音とは異なる子音からなる音節の繰り返しを含んでいてもよい。
　これによれば、被評価者Ｕがこのような音節または定型文を発話した音声から、音圧較差の時間変化、音圧の時間変化および繰り返し回数を含む韻律特徴量を抽出することができる。
　例えば、音節または定型文は、母音および破裂音の組み合わせを少なくとも１つ含んでいてもよい。
　これによれば、被評価者Ｕがこのような音節または定型文を発話した音声から、音圧較差および破裂音の時間を含む韻律特徴量を抽出することができる。
　例えば、口腔機能評価方法は、さらに、算出された推定値を、予め定められたデータに照合することで、被評価者Ｕの口腔機能に関する提案を行う提案ステップを含んでいてもよい。
　これによれば、被評価者Ｕは、口腔機能が低下したときにどのような対策をすればよいかの提案を受けることができる。
　本実施の形態に係る口腔機能評価装置１００は、第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を被評価者Ｕが発話した音声を集音することで得られる音声データを取得する取得部１１０と、取得された音声データから韻律特徴量を抽出する抽出部１２０と、複数の学習データに基づいて算出された口腔機能の推定式と、抽出された韻律特徴量とに基づいて、被評価者Ｕの口腔機能の推定値を算出する算出部１３０と、算出された推定値を、口腔機能評価指標を用いて判定することで、被評価者Ｕの口腔機能の低下状態を評価する評価部１４０と、を備える。
　これによれば、簡便に被評価者Ｕの口腔機能の評価が可能な口腔機能評価装置１００を提供できる。
　本実施の形態に係る口腔機能評価システム２００は、口腔機能評価装置１００と、音節または定型文を被評価者Ｕが発話した音声を非接触により集音する集音装置（携帯端末３００）と、を備える。
　これによれば、簡便に被評価者Ｕの口腔機能の評価が可能な口腔機能評価システム２００を提供できる。
　（その他の実施の形態）
　以上、実施の形態に係る口腔機能評価方法等について説明したが、本発明は、上記実施の形態に限定されるものではない。
　例えば、推定式データ１７１は、専門家が被評価者Ｕの口腔機能を実際に診断した際に得られた評価結果に基づいて、更新されてもよい。これにより、口腔機能の評価精度を高めることができる。口腔機能の評価精度を高めるために機械学習が用いられてもよい。
　また、例えば、提案データ１７３は、被評価者Ｕが提案内容を評価して、その評価結果に基づいて更新されてもよい。例えば、被評価者Ｕにとって問題ない口腔機能についての提案がされた場合には、被評価者Ｕは、この提案内容に対して間違っていると評価する。そして、この評価結果に基づいて提案データ１７３が更新されることで、上記のような誤った提案がされないようになる。このように、被評価者Ｕに対する口腔機能に関する提案内容をより効果的なものとすることができる。なお、口腔機能に関する提案内容をより効果的なものとするのに機械学習が用いられてもよい。
　また、例えば、口腔機能の評価結果は、個人情報と共にビッグデータとして蓄積されて、機械学習に用いられてもよい。また、口腔機能に関する提案内容は、個人情報と共にビッグデータとして蓄積されて、機械学習に用いられてもよい。
　また、例えば、上記実施の形態では、口腔機能評価方法は、口腔機能に関する提案を行う提案ステップ（ステップＳ１０７）を含んでいたが、含んでいなくてもよい。言い換えると、口腔機能評価装置１００は、提案部１６０を備えていなくてもよい。
　また、例えば、上記実施の形態では、取得ステップ（ステップＳ１０２）では、被評価者Ｕの個人情報を取得したが、取得しなくてもよい。言い換えると、取得部１１０は、被評価者Ｕの個人情報を取得しなくてもよい。
　また、例えば、口腔機能評価方法におけるステップは、コンピュータ（コンピュータシステム）によって実行されてもよい。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
　例えば、本発明が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリおよび入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリまたは入出力回路等から取得して演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各ステップが実行される。
　また、上記実施の形態の口腔機能評価装置１００および口腔機能評価システム２００に含まれる各構成要素は、専用または汎用の回路として実現されてもよい。
　また、上記実施の形態の口腔機能評価装置１００および口腔機能評価システム２００に含まれる各構成要素は、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。
　また、集積回路はＬＳＩに限られず、専用回路または汎用プロセッサで実現されてもよい。プログラム可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。
　さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、口腔機能評価装置１００および口腔機能評価システム２００に含まれる各構成要素の集積回路化が行われてもよい。
　その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　１００　口腔機能評価装置
　１１０　取得部
　１２０　抽出部
　１３０　算出部
　１４０　評価部
　２００　口腔機能評価システム
　３００　携帯端末（集音装置）
　Ｕ　被評価者

Claims (14)

  1. 　第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を被評価者が発話した音声を集音することで得られる音声データを取得する取得ステップと、
    　取得された前記音声データから韻律特徴量を抽出する抽出ステップと、
    　複数の学習データに基づいて算出された口腔機能の推定式と、抽出された前記韻律特徴量とに基づいて、前記被評価者の口腔機能の推定値を算出する算出ステップと、
    　算出された前記推定値を、口腔機能評価指標を用いて判定することで、前記被評価者の口腔機能の低下状態を評価する評価ステップと、を含む、
    　口腔機能評価方法。
  2. 　前記推定式は、口腔機能の要素に対応する係数、および、抽出された韻律特徴量が代入され、前記係数が掛けられる変数を含む、
    　請求項１に記載の口腔機能評価方法。
  3. 　前記算出ステップでは、前記被評価者の口腔機能の要素毎に前記推定値を算出し、
    　前記評価ステップでは、算出された口腔機能の要素毎の前記推定値を、口腔機能の要素毎に定められた口腔機能評価指標を用いて判定することで、前記被評価者の口腔機能の低下状態を口腔機能の要素毎に評価する、
    　請求項１または２に記載の口腔機能評価方法。
  4. 　口腔機能の要素には、前記被評価者の舌苔、口腔乾燥、咬合力、舌圧、頬圧、残存歯数、嚥下機能および咀嚼機能の少なくとも１つが含まれる、
    　請求項１～３のいずれか１項に記載の口腔機能評価方法。
  5. 　前記韻律特徴量は、話速度、音圧較差、音圧較差の時間変化、第一フォルマント周波数、第二フォルマント周波数、第一フォルマント周波数の変化量、第二フォルマント周波数の変化量、第一フォルマント周波数の時間変化、第二フォルマント周波数の時間変化および破裂音の時間の少なくとも１つを含む、
    　請求項１～４のいずれか１項に記載の口腔機能評価方法。
  6. 　前記抽出ステップでは、複数種類の前記音節または前記定型文を前記被評価者が発話した音声を集音することで取得された前記音声データから複数の韻律特徴量を抽出し、
    　前記算出ステップでは、抽出された複数の韻律特徴量と前記推定式とに基づいて、前記推定値を算出する、
    　請求項１～５のいずれか１項に記載の口腔機能評価方法。
  7. 　前記音節または前記定型文は、発話するために口の開閉または舌の前後の動きを伴う、２つ以上の母音または母音および子音の組み合わせを含む、
    　請求項１～６のいずれか１項に記載の口腔機能評価方法。
  8. 　前記音声データは、前記音節または前記定型文を前記被評価者が異なる話速度で少なくとも２回発話した音声を集音することで得られる、
    　請求項１～７のいずれか１項に記載の口腔機能評価方法。
  9. 　前記定型文は、弾き音と当該弾き音とは異なる子音からなる音節の繰り返しを含む、
    　請求項１～８のいずれか１項に記載の口腔機能評価方法。
  10. 　前記音節または前記定型文は、母音および破裂音の組み合わせを少なくとも１つ含む、
    　請求項１～９のいずれか１項に記載の口腔機能評価方法。
  11. 　さらに、算出された前記推定値を、予め定められたデータに照合することで、前記被評価者の口腔機能に関する提案を行う提案ステップを含む、
    　請求項１～１０のいずれか１項に記載の口腔機能評価方法。
  12. 　請求項１～１１のいずれか１項に記載の口腔機能評価方法をコンピュータに実行させるためのプログラム。
  13. 　第一フォルマント周波数の変化もしくは第二フォルマント周波数の変化を含む２モーラ以上からなる、または、弾き音、破裂音、無声音、促音および摩擦音の少なくとも１つを含む、音節または定型文を被評価者が発話した音声を集音することで得られる音声データを取得する取得部と、
    　取得された前記音声データから韻律特徴量を抽出する抽出部と、
    　複数の学習データに基づいて算出された口腔機能の推定式と、抽出された前記韻律特徴量とに基づいて、前記被評価者の口腔機能の推定値を算出する算出部と、
    　算出された前記推定値を、口腔機能評価指標を用いて判定することで、前記被評価者の口腔機能の低下状態を評価する評価部と、を備える、
    　口腔機能評価装置。
  14. 　請求項１３に記載の口腔機能評価装置と、
    　前記音節または前記定型文を前記被評価者が発話した音声を非接触により集音する集音装置と、を備える、
    　口腔機能評価システム。
PCT/JP2022/017643 2021-05-31 2022-04-12 口腔機能評価方法、プログラム、口腔機能評価装置および口腔機能評価システム WO2022254973A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280033469.8A CN117279568A (zh) 2021-05-31 2022-04-12 口腔功能评价方法、程序、口腔功能评价装置及口腔功能评价系统
JP2023525648A JPWO2022254973A1 (ja) 2021-05-31 2022-04-12
US18/563,251 US20240268705A1 (en) 2021-05-31 2022-04-12 Oral function evaluation method, recording medium, oral function evaluation device, and oral function evaluation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-091766 2021-05-31
JP2021091766 2021-05-31

Publications (1)

Publication Number Publication Date
WO2022254973A1 true WO2022254973A1 (ja) 2022-12-08

Family

ID=84323191

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017643 WO2022254973A1 (ja) 2021-05-31 2022-04-12 口腔機能評価方法、プログラム、口腔機能評価装置および口腔機能評価システム

Country Status (4)

Country Link
US (1) US20240268705A1 (ja)
JP (1) JPWO2022254973A1 (ja)
CN (1) CN117279568A (ja)
WO (1) WO2022254973A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380960A1 (en) * 2017-11-27 2020-12-03 Yeda Research And Development Co. Ltd. Extracting content from speech prosody

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380960A1 (en) * 2017-11-27 2020-12-03 Yeda Research And Development Co. Ltd. Extracting content from speech prosody

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Manual for Oral Frailty in Dental Clinics", 1 January 2019, JAPAN DENTAL ASSOCIATION, JP, article "Part III. Evaluation of Oral Frailty", pages: 50 - 93, XP009542827 *

Also Published As

Publication number Publication date
US20240268705A1 (en) 2024-08-15
JPWO2022254973A1 (ja) 2022-12-08
CN117279568A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
Icht et al. Oral-diadochokinesis rates across languages: English and Hebrew norms
Kent et al. Speech impairment in Down syndrome: A review
Kent Hearing and believing: Some limits to the auditory-perceptual assessment of speech and voice disorders
CN112135564B (zh) 摄食吞咽功能评价方法、记录介质、评价装置以及评价系统
Munson Variability in/s/production in children and adults
Gillespie et al. Immediate effect of stimulability assessment on acoustic, aerodynamic, and patient-perceptual measures of voice
Kreiman et al. Perception of voice quality
Kummer Speech and resonance disorders related to cleft palate and velopharyngeal dysfunction: a guide to evaluation and treatment
Sussman et al. The integrity of anticipatory coarticulation in fluent and non-fluent tokens of adults who stutter
Núñez-Batalla et al. Validation of the spanish adaptation of the consensus auditory-perceptual evaluation of voice (CAPE-V)
Haley et al. Speech metrics and samples that differentiate between nonfluent/agrammatic and logopenic variants of primary progressive aphasia
Syrika et al. Acquisition of initial/s/-stop and stop-/s/sequences in Greek
Hybbinette et al. Intra-and interjudge reliability of the apraxia of speech rating scale in early stroke patients
Ribeiro et al. Exploiting ultrasound tongue imaging for the automatic detection of speech articulation errors
Namasivayam et al. Development and validation of a probe word list to assess speech motor skills in children
Celata et al. Nasal place assimilation between phonetics and phonology: An EPG study of Italian nasal-to-velar clusters
Lorenc et al. Articulatory and acoustic variation in Polish palatalised retroflexes compared with plain ones
Jesus et al. Discriminative segmental cues to vowel height and consonantal place and voicing in whispered speech
Chung Acquisition and acoustic patterns of Southern American English/l/in young children
WO2022254973A1 (ja) 口腔機能評価方法、プログラム、口腔機能評価装置および口腔機能評価システム
Ünal-Logacev et al. A multimodal approach to the voicing contrast in Turkish: Evidence from simultaneous measures of acoustics, intraoral pressure and tongue palatal contacts
Carmichael Introducing objective acoustic metrics for the Frenchay Dysarthria Assessment procedure
Lynce et al. Phonological development in Portuguese deaf children with cochlear implants: Preliminary study
WO2023228615A1 (ja) 音声特徴量算出方法、音声特徴量算出装置、及び、口腔機能評価装置
WO2023203962A1 (ja) 口腔機能評価装置、口腔機能評価システム、及び、口腔機能評価方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22815729

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525648

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280033469.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18563251

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22815729

Country of ref document: EP

Kind code of ref document: A1