WO2013168364A1 - 言語療法ロボット - Google Patents

言語療法ロボット Download PDF

Info

Publication number
WO2013168364A1
WO2013168364A1 PCT/JP2013/002583 JP2013002583W WO2013168364A1 WO 2013168364 A1 WO2013168364 A1 WO 2013168364A1 JP 2013002583 W JP2013002583 W JP 2013002583W WO 2013168364 A1 WO2013168364 A1 WO 2013168364A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
voice
robot
unit
processing unit
Prior art date
Application number
PCT/JP2013/002583
Other languages
English (en)
French (fr)
Inventor
美雪 小山
鮫島 正
俊英 田中
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2014514366A priority Critical patent/JP6360435B2/ja
Publication of WO2013168364A1 publication Critical patent/WO2013168364A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Definitions

  • the present invention relates to a speech therapy robot and is suitable for application to a speech therapy robot that performs rehabilitation of articulation disorder and aphasia.
  • Speech therapy requires more effective training to restore the patient's dysarthria and the meaning of letters, and more efficient training to reduce the burden on patients and speech therapists. A more useful function is desired in a device used for various speech therapies.
  • the present invention has been made in consideration of the above points, and intends to propose a speech therapy robot that can provide more useful functions.
  • a storage unit that preliminarily stores a word shown to the patient and a model voice of the word, an output unit that indicates the word to the patient, and the patient according to the word
  • a speech input unit that inputs spoken speech, an analysis unit that compares the model speech with the speech speech, and a presentation that creates the presenting body that shows the correctness of the speech speech relative to the model speech based on the analysis result of the analysis unit
  • a body creation unit and a presentation unit for presenting a presentation body to a patient are provided.
  • This speech therapy robot can clearly show the correctness of the patient's speech to the model voice to the patient.
  • the speech therapy robot can clearly show to the patient the correctness of the patient's utterance voice with respect to the model voice.
  • the present invention can realize a speech therapy robot that can provide more useful functions.
  • the external appearance structure of a robot is shown, (a) is a top view, (b) is a front view, (c) is a rear view.
  • Embodiment 1-1 Configuration of Speech Therapy System
  • the speech therapy system 1 performs independent training between one robot and one patient, or includes a plurality of robots 10 (robots 10a and robots). 10b) and the management center 12 may be included.
  • One robot 10 is installed in each of speech therapy facilities in which speech therapy is performed or rooms (hereinafter referred to as speech therapy facilities) 2a and 2b in which speech therapy is performed.
  • the robot 10a installed in the speech therapy facility 2a includes one or a plurality of patients P (only the patient Pa is shown) and a speech therapist (hereinafter referred to as an auralist) that performs speech therapy for the plurality of patients P. ) Used with Ta.
  • the robot 10b installed in the speech therapy facility 2b is used by one or a plurality of patients P (only the patient Pb is illustrated) and a hearing person Tb who performs speech therapy for the plurality of patients P.
  • the management information of the robots 10a and 10b is managed inside the robots 10a and 10b or by the server 13 of the management center 12.
  • the management center 12 causes the robots 10 a and 10 b to communicate with each other via the server 13.
  • the robot 10 has a configuration imitating a human as a whole (referred to as a speech therapy robot), and the torso 22 and the spherical head 20 are connected to each other. It is configured.
  • the external shape of the robot need not be limited to such a truncated cone shape, and may be closer to a human, and it resembles a non-human animal (for example, a dog or a cat that the patient P had previously had). It may be an animal having an external shape. An appearance shape that makes the patient P feel attachment is desirable.
  • the head 20 has a built-in head actuator, and the head 20 rotates within a range determined with respect to the vertical axis VA of the body 22 and the horizontal axis HA orthogonal to the vertical axis VA.
  • the head 20 rotates within a predetermined range with two degrees of freedom, left and right and up and down.
  • the rotation axis may be rotated not only in the vertical direction and the horizontal direction, but also along an arbitrary oblique axis inclined with respect to the vertical direction and the horizontal direction.
  • Wheels 24L and 24R are attached to the left and right of the lower portion of the body part 22, respectively, and the wheels 24L and 24R rotate independently in the front-rear direction.
  • the wheels 24L and 24R are collectively referred to as wheels 24.
  • the robot 10 can perform operations such as forward movement, backward movement, turning, pivoting around the ground, and turning around the supercenter.
  • the body part 22 is provided with an abdominal touch sensor 26 for detecting that a human has touched the front center part.
  • the abdominal touch sensor 26 is operated in order to actually start speech therapy after the preparation of the patient P is completed when speech therapy is performed.
  • the operation is not necessarily limited to the abdominal touch sensor 26, and is merely an example, and other audio signals that can be collected from the touch sensor, numeric keypad, touch panel 15, head microphone 40, and torso microphone 32 installed elsewhere. For example, it may be operated by an input signal from an external terminal.
  • the body portion 22 is provided with a left back touch sensor 28 and a right back touch sensor 30 on the left and right sides of the back, respectively.
  • the left back touch sensor 28 is operated when the answer result obtained by answering various questions by the patient P is correct when speech therapy is performed.
  • the right back touch sensor 30 is operated when the answer result of the patient P is incorrect.
  • the operation is not necessarily limited to the left back touch sensor 28 and the right back touch sensor 30, and is merely an example, and from other touch sensors and numeric keys, the touch panel 15, the head microphone 40, and the torso microphone 32. It may be operated by an input signal from an external terminal such as an audio signal that can be collected.
  • the left back touch sensor 28 and the right back touch sensor 30 are collectively referred to as a back touch sensor.
  • a body part microphone 32 for collecting surrounding sounds is provided on the upper part of the abdominal part touch sensor 26 in the body part 22.
  • Speakers 34 for generating sound are provided on the left and right sides of the lower surface of the abdomen touch sensor 26 in the body part 22.
  • a terminal 36 to which a cable is connected is provided at the lower part of the back surface of the body portion 22.
  • head touch sensors 42 that sense that a human has touched are provided on the left and right.
  • the head touch sensor 42 is operated to finish the speech therapy work when speech therapy is being performed.
  • the operation is not necessarily limited to the head touch sensor 42, and is merely an example, and the sound that can be collected from the touch sensor or numeric keypad, the touch panel 15, the head microphone 40, and the torso microphone 32 that are installed elsewhere. It may be operated by an input signal from an external terminal such as a signal.
  • the head 20 is provided with a CCD (Charge Coupled Device) camera 38 that images surrounding conditions at positions corresponding to the right eye and the left eye.
  • CCD Charge Coupled Device
  • a head microphone 40 that collects surrounding sounds is provided at the top of the CCD camera 38.
  • a plurality of LEDs (Light Emitting Diodes) 44 are provided in a two-dimensional array at a position corresponding to the mouth at the lower part of the CCD camera 38.
  • a plurality of LEDs 44 are also provided at positions corresponding to the cheeks.
  • the robot 10 has a configuration in which each unit is connected around a control unit 50 provided in the body unit 22, and the head unit 20 and the body unit 22 are comprehensively controlled by the control unit 50. To do.
  • the control unit 50 includes a CPU (Central Processing Unit) 52 via a data bus 51 to a ROM (Read Only Memory) 54 storing various programs and a RAM (Random Access Memory) 56 used as a work area of the CPU 52. Connected.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • control unit 50 executes the speech therapy function using the robot 10 by causing the speech therapy processing unit 57 and the input / output operation processing unit 58 to take in the application programs stored in the ROM 54, respectively.
  • the speech therapy processing unit 57 generates problem information shown to the patient P.
  • the speech therapy processing unit 57 captures and evaluates it as answer information, generates storage data, and stores it in the storage unit 66.
  • the speech therapy processing unit 57 transmits a voice signal and the like to the other robot 10 via the communication unit 64, and receives a voice signal and the like from the other robot 10, and generates voice data.
  • the input / output operation processing unit 58 generates operation information for the robot 10 to perform a corresponding response operation when an instruction command is given from the patient P or the hearing person T. Further, when input information is given to the robot 10, the input / output operation processing unit 58 captures the input information and generates corresponding output information.
  • the head touch sensor 42, the abdominal touch sensor 26, the left back touch sensor 28, or the right back touch sensor 30 sends a contact signal corresponding to a touch operation by the user (patient P and hearing person T) to the control unit 50.
  • the head microphone 40 and the torso microphone 32 send out to the control unit 50 audio signals obtained by collecting surrounding sounds including sounds indicating instruction commands from the user.
  • the input / output operation processing unit 58 converts the audio signals received from the head microphone 40 and the torso microphone 32 into digital signals, encodes them by a predetermined method, obtains audio data, and recognizes the audio data as audio. , Recognize what the user uttered.
  • the CCD camera 38 sends an image signal obtained by imaging a person around the robot 10 and the surrounding situation to the control unit 50.
  • the input / output operation processing unit 58 performs image processing on the image signal obtained from the CCD camera 38 to obtain image data, recognizes the positions of the auditory person T and the patient P, and who is the auditory person T and the patient P. Recognize
  • a monitor 14 is connected to the body portion 22 via a terminal 36 by a cable.
  • the input / output operation processing unit 58 displays various image data by outputting them to the monitor 14.
  • the touch panel 15 is incorporated in the monitor 14, and the user inputs various operation signals to the control unit 50 by operating the monitor 14 in which the touch panel 15 is incorporated.
  • the input / output operation processing unit 58 acquires the contact signal, the operation signal, the audio signal, and the image signal to determine the surrounding situation and the user's command.
  • the input / output operation processing unit 58 determines the next action based on the determination result, and drives each unit.
  • the input / output operation processing unit 58 rotates the wheel 24 by driving the wheel actuator 60.
  • the input / output operation processing unit 58 moves the robot 10 toward the hearing person T or the patient P to face each other or rotate the robot 10 on the spot.
  • the input / output operation processing unit 58 drives the head actuator 62 to rotate the head 20 up, down, left, and right with respect to the body unit 22.
  • the input / output operation processing unit 58 outputs a sound signal to the speaker 34 to emit sound.
  • the input / output operation processing unit 58 controls the lighting pattern of the plurality of LEDs 44.
  • the input / output operation processing unit 58 causes the robot 10 to act in the joy mode.
  • the input / output operation processing unit 58 controls the lighting pattern of the LED 44 to show the shape of the mouth when a human is laughing, and also drives the wheel actuator 60 to turn the robot 10 in a superficial turn. To show the user a glad attitude.
  • the input / output operation processing unit 58 causes the robot 10 to act in the sadness mode.
  • the input / output operation processing unit 58 controls the lighting pattern of the LED 44 to show the shape of the mouth when a person is sad and drives the head actuator 62 to move the head 20 left and right. Show the user a sad attitude by making a small round trip. Further, the input / output operation processing unit 58 always controls the lighting pattern of the LED 44 to enrich the expression of the robot 10, exhibit an attitude other than joy or sadness, and make it feel like moving.
  • the robot 10 performs actions similar to humans, such as moving, rotating the head 20, speaking, and changing facial expressions based on the surrounding situation.
  • the speech therapy processing unit 57 encodes the audio signals collected from the head microphone 40 and the torso microphone 32 when the function of talking with others via the management center 12 is selected by the user's instruction.
  • the voice data is stored in the storage unit 66 and sent to the communication unit 64.
  • the speech therapy processing unit 57 receives a reception signal from the management center 12 through the communication unit 64.
  • the communication unit 64 demodulates the received signal according to a predetermined method to convert it into received data, and sends this to the speech therapy processing unit 57.
  • the speech therapy processing unit 57 restores the other party's voice data by decoding the received data, and outputs it to the speaker 34 as a voice signal.
  • the speaker outputs the other party's voice based on the voice signal.
  • the storage unit 66 is, for example, a flash memory, and stores an example sentence library L1 in which several types of voice data of example sentences to be spoken to the patient P shown in FIG. 4 are stored for each of the first, second and third difficulty levels. is doing.
  • An example sentence consists of one word such as “Good morning” with a difficulty level of 1 and a few words such as “Good morning. Today is ...” with a difficulty level of 2. Is composed of sentences consisting of 5-10 words such as “Good morning. Today ...”, so that the higher the number, the higher the difficulty level.
  • the storage unit 66 stores in advance model voice data indicating model pronunciations when pronunciation example sentences stored in the example sentence library L1.
  • the storage unit 66 stores a question sentence library L2 in which several kinds of question sentences to be answered by the patient P shown in FIG. 5 are stored for each of the first, second and third difficulty levels.
  • the question text is difficult, because the question text of difficulty level 1 is “What do you use when drinking water?”, And the question text of difficulty level 2 is a question such as “Who is the Prime Minister now?”
  • the degree 3 question sentence is composed of questions such as “How many years is the Daika renewal?”, So that the higher the number, the higher the difficulty level.
  • the problem may be a quiz-like problem, a riddle-like problem, or a reverse dictionary that reminds words from the meaning of words.
  • the storage unit 66 stores in advance answers to the question sentences in the question sentence library L2.
  • the storage unit 66 stores a fixed conversation sentence library L3 in which several kinds of fixed conversation sentences that allow a plurality of patients P to speak in a conversational form are stored for each of the first, second, and third difficulty levels, as shown in FIG. Is remembered. Incidentally, in FIG. 6, only the difficulty level 1 is shown, and others are omitted.
  • the standard conversation sentence is set so that the difficulty level increases as the difficulty level increases.
  • the storage unit 66 stores in advance model voice data indicating a model pronunciation when the standard conversation sentence stored in the standard conversation sentence library L3 is pronounced.
  • the storage unit 66 stores a folder library L4 shown in FIG. 7 in which various data such as answer results of a plurality of patients P using the robot 10 are grouped by date.
  • the folder library L4 has a plurality of patient folders in which data for each patient P is collected. Incidentally, in FIG. 7, only the patient folder of “patient Pa” using the robot 10a is shown.
  • the patient folder is composed of a recording voice library, a question answer library, a question answer library, a utterance duration library, a diatco frequency library, and a routine conversation voice library.
  • the recording voice library stores the voice data of the patient P who uses the robot 10a in association with the recording time when the voice data is recorded.
  • the voice data with the data name “A1” of the patient Pa is recorded as “February 1, 2012” on the date when the voice data is recorded, Is stored in association with the recording time of “first time”.
  • information indicating the date and the number of times within the date is referred to as a recording time point.
  • the recorded voice library stores the degree of coincidence between the recorded patient P voice and the model voice stored in advance.
  • the question answering library shows the correctness of the answer of the patient P inputted by touching the monitor 14 and the time required for answering the question given by the robot 10a, and the number of times within the date when the answer is given. It is stored in association with the answer time, which is information indicating the above.
  • the question performed on “February 1, 2012 first” is “difficulty level 1, question sentence 1”, and the correctness of patient Pa's answer to the question is “correct answer”. This indicates that the answer time required by the patient Pa from answering the question to answering is “30 seconds”.
  • the question answering library stores the correct answer rate of questions for each difficulty level performed on the same date.
  • FIG. 7 shows that the correct answer rate for the “difficulty level 1” question performed on “February 1, 2012” is “50%”.
  • the question answering library stores the correctness / incorrectness of the answer of the patient P who answered by answering the question given by the robot 10a and the time required for the answer in association with the answer time.
  • the question answering library stores the correct answer rate for each difficulty level performed on the same date.
  • the utterance duration library stores the result of measuring the utterance duration of a predetermined word uttered by the patient Pa.
  • the Diatoco frequency library measures the number of times the patient Pa pronounces the same word within a predetermined time and stores the result.
  • the regular conversation voice library stores voice data when the patient Pa using the robot 10a has a conversation with the patient Pb using the robot 10b in an interactive manner in association with the recording time when the voice data is recorded. is doing.
  • the robot 10 executes various programs in accordance with the user's operation instructions, so that a recording / playback function, playback function, operation answer problem function, utterance answer problem function, utterance duration measurement function, diatco function, and answer result presentation to be described later Functions, remote communication functions, and various functions by application programs are realized.
  • the management center 12 includes a server 13 and manages the information of the robot 10 and the patient P that use the speech therapy system 1 as a whole.
  • the communication unit 72 and the storage unit 74 are included.
  • the information on the patient P may be managed not only in the management center 12 but also in the robot 10.
  • the control unit 70 is provided with a CPU 76, a ROM 78, and a RAM 80, and performs overall control of the entire management center 12.
  • the storage unit 74 stores a robot 10 that uses the speech therapy system 1 and a user database (not shown) that manages the patient P.
  • the user database is information in which the robot 10 that is currently powered on and used is associated with the patient P who is using the robot 10.
  • the control unit 70 receives a robot use start notification from the robot 10 via the communication unit 72, thereby recognizing that the robot 10 is turned on and used, and registers the robot 10 in the user database. .
  • control unit 70 receives a notification of the end of use of the robot from the robot 10 via the communication unit 72, thereby recognizing that the power of the robot 10 is turned off and not being used, and deletes the robot 10 from the user database. To do.
  • control unit 70 recognizes the currently used robot by receiving the robot use start notification and the robot use end notification.
  • the communication unit 72 when the communication unit 72 receives from the robot 10a transmission destination information and voice data specifying the robot 10b as a transmission destination, the communication unit 72 transmits the voice data to the robot 10b.
  • the communication unit 72 when the communication unit 72 receives from the robot 10b transmission destination information and voice data specifying the robot 10a as a transmission destination, the communication unit 72 transmits the voice data to the robot 10a.
  • the management center 12 causes the robot 10a and the robot 10b to communicate voice data with each other via the management center 12.
  • the control unit 50a of the robot 10a performs processing according to the flowchart shown in FIG. Incidentally, since the robots 10a and 10b (FIG. 1) have the same configuration, only the robot 10a will be described below.
  • the speech therapy processing unit 57a starts the voice detection standby processing procedure RT1 by reading the voice detection standby program from the ROM 54 and executing it when the power of the robot 10a is turned on, for example, by the auditor H Ta, and proceeds to step SP1.
  • the speech therapy processing unit 57a enters a voice detection standby state in which it waits until it detects a voice as an instruction command from the user.
  • step SP1 the speech therapy processing unit 57a transmits a robot use start notification indicating that the use of the robot 10a has been started to the management center 12 in association with information indicating the patient Pa using the robot 10a.
  • step SP2 the input / output operation processing unit 58a determines whether or not the word “Rokuon” has been recognized by voice. If a positive result is obtained here, the speech therapy processing unit 57a moves to step SP3, performs processing according to the recording / playback processing procedure SRT1 (details will be described later), and moves to step SP18 (FIG. 10).
  • step SP2 the input / output operation processing unit 58a moves to step SP4, and determines whether or not “saisei” has been voice-recognized. If a positive result is obtained here, the speech therapy processing unit 57a proceeds to step SP5, performs processing according to the reproduction processing procedure SRT2 (details will be described later), and proceeds to step SP18.
  • step SP4 the input / output operation processing unit 58a moves to step SP6 and determines whether or not “mondai” is voice-recognized. If a positive result is obtained here, the speech therapy processing unit 57a proceeds to step SP7, performs processing according to the operation answer problem processing procedure SRT3 (described in detail later), and proceeds to step SP18.
  • step SP6 the input / output operation processing unit 58a proceeds to step SP8 and determines whether or not “Shitsumon” has been voice-recognized. If a positive result is obtained here, the speech therapy processing unit 57a proceeds to step SP9, performs processing according to the utterance answer problem processing procedure SRT4 (described in detail later), and proceeds to step SP18.
  • step SP8 the input / output operation processing unit 58a moves to step SP10 and determines whether or not the voice recognition of “Hasejikan” has been performed. If a positive result is obtained here, the speech therapy processing unit 57a proceeds to step SP11, performs processing according to the utterance duration measurement processing procedure SRT5 (described in detail later), and proceeds to step SP18.
  • step SP10 the input / output operation processing unit 58a moves to step SP12 and determines whether or not the voice recognition of “Diatoko” has been recognized. If a positive result is obtained here, the speech therapy processing unit 57a moves to step SP13, performs a process according to the diatocokinesis processing procedure SRT6 (details will be described later), and moves to step SP18.
  • step SP12 the input / output operation processing unit 58a proceeds to step SP14, and determines whether or not the voice recognition of “Kakekakesei” has been recognized. If a positive result is obtained here, the speech therapy processing unit 57a moves to step SP15, performs a process according to the answer result presentation processing procedure SRT7 (described in detail later), and moves to step SP18.
  • step SP14 the input / output operation processing unit 58a moves to step SP16 and determines whether or not the “group” has been voice-recognized. If a positive result is obtained here, the speech therapy processing unit 57a proceeds to step SP17, performs processing according to the remote communication processing procedure SRT8 (details will be described later), and proceeds to step SP18.
  • step SP18 the input / output operation processing unit 58a determines whether or not the power of the robot 10a is turned off by the auditor Ta, for example. If a positive result is obtained here, the controller 50a proceeds to step SP19.
  • step SP18 if a negative result is obtained in step SP18, the control unit 50a returns to step SP2 and waits for an instruction command from the user again.
  • step SP19 the speech therapy processing unit 57a transmits a robot use end notification indicating that the use of the robot 10a has ended to the management center 12 in association with information indicating the patient Pa using the robot 10a.
  • the process proceeds to step SP20 and the voice detection standby processing procedure RT1 is terminated.
  • the control unit 50a detects a voice serving as an instruction command from the auditor Ta or the patient Pa, and performs a process of executing a function corresponding to the instruction command in each subroutine.
  • the control unit 50a encodes the audio signal obtained by collecting the sound with the head microphone 40 and the torso microphone 32 by executing this recording / playback process, and stores the encoded audio signal in the recording audio library in the storage unit 66. .
  • the control unit 50a may collect an audio signal from not only the head microphone 40 and the torso microphone 32 but also an externally connected microphone.
  • control unit 50a decodes the audio data once stored in the recording audio library to generate an audio signal, and outputs it to the speaker 34 to emit sound.
  • the control unit 50a may output an audio signal not only to the speaker 34 but also to an externally connected speaker.
  • the control unit 50a starts a recording / reproducing process procedure SRT1 (FIG. 11), and proceeds to step SP21.
  • step SP21 the input / output operation processing unit 58a outputs “Roku-on. Tell me your name” from the speaker 34, and moves to step SP22 and waits.
  • step SP22 the speech therapy processing unit 57a determines a patient folder storing voice data in the folder library L4 (FIG. 7) based on the patient's voice collected by the head microphone 40 and the torso microphone 32, and step SP23. Move on.
  • the speech therapy processing unit 57a when the speech therapy processing unit 57a recognizes the voice of “Mr. A” indicating the patient Pa, the speech therapy processing unit 57a stores the voice data received in the subsequent processing in the recorded voice library in the patient folder of the patient Pa in the folder library L4. Then decide.
  • step SP23 the input / output operation processing unit 58a outputs “You are Mr. A” from the speaker 34, moves to step SP24, and waits.
  • step SP24 the speech therapy processing unit 57a determines whether or not “Yes” is recognized as a voice.
  • the speech therapy processing unit 57a returns to Step SP21 and waits for the name of the patient P again.
  • step SP24 the input / output operation processing unit 58a outputs from the speaker 34 "what number level will be performed", moves to step SP26 and waits.
  • step SP26 for example, when the speech therapy processing unit 57a recognizes voice “No. 1”, the speech therapy processing unit 57a selects the difficulty level “No. 1” in the example sentence library L1, and proceeds to step SP27.
  • step SP27 the input / output operation processing unit 58a outputs “No. 1” from the speaker 34, and moves to step SP28 and waits.
  • step SP28 the speech therapy processing unit 57a determines whether or not “Yes” is recognized as a voice.
  • the speech therapy processing unit 57a returns to Step SP25 and waits for the designation of the difficulty level of the example sentence again.
  • step SP28 if a positive result is obtained in step SP28, the input / output operation processing unit 58a moves to step SP29, outputs "Please touch your stomach when you are ready" from the speaker 34, and moves to step SP30.
  • step SP30 the input / output operation processing unit 58a rotates the wheel 24 by driving the wheel actuator 60, and directs the front of the body unit 22 toward the patient Pa based on the image signal obtained from the CCD camera 38.
  • the robot 10a can make the abdominal touch sensor 26 easy to touch the patient Pa by directing the abdominal touch sensor 26 to the patient Pa.
  • step SP31 the speech therapy processing unit 57a determines whether or not a contact signal is received from the abdominal touch sensor 26. If a negative result is obtained here, the speech therapy processing unit 57a returns to step SP29 and waits until the patient Pa is ready.
  • step SP31 the speech therapy processing unit 57a moves to step SP32, selects one example sentence from a plurality of example sentences having the designated difficulty level “No. 1”, and, for example, the example sentence 1 from the speaker 34. “Good morning” is output and the process proceeds to step SP33.
  • step SP33 the input / output operation processing unit 58a prompts the patient Pa to repeat the voice by outputting "Please continue to say. Control goes to step SP34.
  • step SP34 the input / output operation processing unit 58a rotates the wheel 24 by driving the wheel actuator 60, and the front of the body unit 22 and the head 20 toward the patient Pa based on the image signal obtained from the CCD camera 38. Turn.
  • the robot 10a can reliably collect the sound of the patient Pa by directing the head microphone 40 and the torso microphone 32 toward the patient Pa.
  • step SP35 the speech therapy processing unit 57a adds the audio data based on the voice of the patient Pa collected by the head microphone 40 and the torso microphone 32 to the recorded voice library in the patient folder determined in step SP22. It is stored in association with the recording time point indicating the number of times of audio data for today. Thereby, the robot 10a records the voice of the patient Pa.
  • step SP36 the speech therapy processing unit 57a determines whether or not a contact signal is received from the head touch sensor 42. If a positive result is obtained here, the speech therapy processing unit 57a proceeds to step SP41.
  • step SP36 the speech therapy processing unit 57a moves to step SP37, and determines whether or not 3 minutes have passed since the processing start time of step SP35 (that is, after recording is started).
  • step SP36 the speech therapy processing unit 57a moves to step SP36 and waits for an instruction to end recording.
  • step SP37 the input / output operation processing unit 58a moves to step SP38 and outputs “Please boil your head when finished” from the speaker 34, so that recording is completed for the patient.
  • the user is again prompted to touch the head touch sensor 42, and the process proceeds to step SP39.
  • step SP39 the speech therapy processing unit 57a determines whether or not a contact signal has been received from the head touch sensor. If a positive result is obtained here, the speech therapy processing unit 57a proceeds to step SP41.
  • step SP39 the speech therapy processing unit 57a has passed one minute from the time point when the processing of step SP38 is completed (that is, after prompting to touch the head touch sensor 42 when recording is completed). Determine whether or not.
  • the speech therapy processing unit 57a moves to step SP39 and waits for a recording end instruction.
  • step SP40 the input / output operation processing unit 58a does not give an instruction to end recording even after waiting for a certain period of time, so the process proceeds to step SP49 and outputs "Rokuon, End" from the speaker 34.
  • step SP50 the recording / reproducing processing procedure SRT1 is terminated.
  • step SP41 the input / output operation processing unit 58a outputs "Let's listen to the voice" from the speaker 34, so that the patient Pa hears the recorded voice of the patient Pa. Prompt and move to step SP42.
  • step SP42 the control unit 50 performs processing in accordance with the voice analysis presentation processing procedure SRT9 (details will be described later), displays the analysis result on the monitor 14a, and proceeds to step SP43.
  • step SP43 the input / output operation processing unit 58a selects the recorded voice data of the patient Pa itself from the recorded voice library and outputs it from the speaker 34, and then proceeds to step SP44.
  • the robot 10a immediately after the patient Pa utters, the robot 10a allows his / her voice to be heard by the patient Pa, thereby confirming his / her voice before forgetting how the patient Pa pronounced. Can do.
  • step SP44 the input / output operation processing unit 58a outputs from the speaker 34 "Please touch your stomach to listen again. Stroke your head to stop. Touch your back to go to the next example.” Then, the process proceeds to step SP45.
  • step SP45 the speech therapy processing unit 57a determines whether or not a contact signal is received from the abdominal touch sensor 26. If a positive result is obtained here, the input / output operation processing unit 58a moves to step SP43, and outputs the recorded voice from the speaker 34 again.
  • step SP45 the speech therapy processing unit 57a moves to step SP46 and determines whether or not a contact signal is received from the head touch sensor 42. If a positive result is obtained here, the speech therapy processing unit 57a moves to step SP50 via step SP49 and ends the recording / playback processing procedure SRT1.
  • step SP46 the speech therapy processing unit 57a moves to step SP47 and determines whether or not a contact signal is received from the left back touch sensor 28 or the right back touch sensor 30. If a positive result is obtained here, the speech therapy processing unit 57a moves to step SP32, selects one example sentence different from the previous one from the plurality of example sentences having the designated difficulty level “No. 1”, and, for example, example sentences from the speaker 34 output 2 of the "Hello".
  • step SP47 the speech therapy processing unit 57a moves to step SP48, and from the time point when the processing of step SP44 is completed (that is, the head touch sensor 42, the abdominal touch sensor 26, the left back touch sensor 28 or the right back). It is determined whether or not 3 minutes have passed since the contact with the touch sensor 30 was promoted.
  • the speech therapy processing unit 57a moves to step SP44, and waits again for an instruction to listen to the recorded voice, to end the recording / playback processing, or to proceed to the next example sentence.
  • step SP48 if an affirmative result is obtained in step SP48, since there is no instruction even after waiting for a certain time, the speech therapy processing unit 57a moves to step SP50 via step SP49 and ends the recording / playback processing procedure SRT1.
  • the robot 10a reads the example sentence to the patient Pa, causes the patient Pa to repeat the example sentence, records the voice of the patient Pa, and records the record. Audio can be played back.
  • control unit 50a functions as an analysis unit 82, a presentation object creation unit 84, and a determination unit 86, as shown in FIG.
  • the storage unit 66 stores model pronunciations as model voice data when the example sentences stored in the example sentence library L1 (FIG. 4) are pronounced.
  • FIG. 14A shows the signal waveform of the sound of “ga”
  • FIG. 14B shows the signal waveform of the sound of “na”.
  • Each sound has a consonant part having a relatively small amplitude and an amplitude. Is composed of a relatively large vowel part.
  • FIG. 14A is a signal waveform obtained by enlarging the consonant part of “GA” in FIG. 14A
  • FIG. 15A shows the waveform WG of “GA”
  • “NA” in FIG. 14B is enlarged.
  • a consonant waveform WN is shown in FIG.
  • the analysis unit 82 receives and analyzes audio signals (hereinafter also referred to as input audio signals) from the head microphone 40 and the torso microphone 32. At this time, it is assumed that the analysis unit 82 receives the voice signal “NA” shown in FIG. 14A despite the fact that the correct pronunciation is “GA”.
  • the analysis unit 82 obtains the “na” consonant waveform WN shown in FIG. 15B from the “na” speech signal, and obtains the maximum amplitude GA (that is the absolute value of the maximum amplitude in the first analysis section AA1. 0.17V) is detected.
  • the presenter creation unit 84 generates image data of a bar graph BG (FIG. 16) having a vertical length corresponding to the maximum amplitude GA in the first analysis section AA1 detected by the analysis unit 82. That is, the length of the bar graph BG increases as the maximum amplitude GA in the first analysis section AA1 of the input speech increases.
  • the analysis unit 82 determines whether or not a muddy sound feature waveform exists in the second analysis section AA2 of the “na” consonant waveform WN. When the analysis unit 82 determines that the muddy sound feature waveform does not exist, the presentation object creation unit 84 generates a red bar graph BG.
  • the presentation object creation unit 84 when the analysis unit 82 determines that the muddy sound feature waveform exists, the presentation object creation unit 84 generates a green bar graph BG.
  • the presentation body creation unit 84 For the input voice of “NA”, the presentation body creation unit 84 generates a bar graph BG1 shown in FIG.
  • the bar graph BG1 is red and has a long length.
  • the analysis unit 82 analyzes the model voice of “GA”.
  • the analysis unit 82 obtains the “ga” consonant waveform WG shown in FIG. 15A from the voice signal “ga”, and detects the maximum amplitude GA (0.1 V) in the first analysis section AA1.
  • the presenter creation unit 84 generates an appropriate range line LC with a broken line by overlapping with the bar graph BG according to the maximum amplitude GA in the first analysis section AA1 of the “GA” consonant waveform WG detected by the analysis unit 82.
  • This appropriate range line LC indicates whether or not the pronunciation is appropriate.
  • the determination unit 86 Determine that the patient's pronunciation was appropriate.
  • the determination unit 86 calculates how close the length of the bar graph BG is to the appropriate range line LC, that is, the appropriateness of the input sound with respect to the model sound, and stores it as the degree of matching in the recorded sound library of the patient folder. .
  • the presentation object creation unit 84 when “NA” is input when the appropriate pronunciation is “GA”, the presentation object creation unit 84 has a length exceeding the appropriate range line LC as shown in FIG. A red bar graph BG1 is created.
  • the presenter creation unit 84 approaches the “ga”, which is a more appropriate pronunciation than “na”, but does not include the component of the muddy sound. As shown in FIG. 6, a green bar graph BG2 is created which is equal in length to the bar graph BG1.
  • the presentation object creation unit 84 when the pronunciation is between “ka” and “ga”, the presentation object creation unit 84 is green as shown in FIG. 16C, and is shorter than the bar graph BG2. BG3 is created. At this time, the presentation object creation unit 84 sets the length of the bar graph BG3 based on the maximum amplitude GA of the first analysis section AA1 of the input speech.
  • the presentation object creation unit 84 creates a bar graph BG4 that is green and has a length that is equal to or less than the appropriate range line LC, as shown in FIG.
  • control unit 50a expresses the appropriate degree of pronunciation of the patient by the length and color of the bar graph BG, and displays the appropriate range line LC over the bar graph BG, thereby displaying the patient with respect to the patient. You can see at a glance how much your pronunciation is correct for the model data.
  • the maximum amplitude GA in the first analysis section AA1 tends to increase as the “na” sound approaches the “ga” sound. For this reason, the presentation object creation unit 84 can generate the bar graph BG that becomes shorter as the pronunciation becomes appropriate only based on the maximum amplitude GA of the input voice detected by the analysis unit 82.
  • Speech Analysis Presentation Processing Procedure The control unit 50a starts the speech analysis presentation processing procedure SRT9 (FIG. 17), and proceeds to step SP51.
  • step SP51 the control unit 50a analyzes the first analysis section AA1 of the model voice by the analysis unit 82 to detect the maximum amplitude GA, and proceeds to step SP52.
  • step SP52 the control unit 50a sets the appropriate range line LC by the presenter creation unit 84 based on the maximum amplitude GA in the first analysis section AA1 of the model voice, and proceeds to step SP53.
  • step SP53 the control unit 50a analyzes the first analysis section AA1 of the input voice by the analysis unit 82 to detect the maximum amplitude GA, and proceeds to step SP54.
  • step SP54 the control unit 50a sets the length of the bar graph BG by the presentation object creation unit 84 based on the maximum amplitude GA in the first analysis section AA1 of the input speech, and proceeds to step SP55.
  • step SP55 the control unit 50a determines whether or not the muddy sound feature waveform is present in the second analysis section AA2 of the input voice by the analysis unit 82. If a negative result is obtained here, this means that the patient P has not been able to produce muffled sound. At this time, the control unit 50a moves to step SP58, and the presentation object creation unit 84 changes the color of the bar graph BG to red. Then, the process proceeds to step SP59.
  • step SP55 if an affirmative result is obtained in step SP55, this means that the patient P was able to pronounce the muddy sound.
  • the control unit 50a moves to step SP57, and the presentation object creation unit 84 changes the color of the bar graph BG. Change to green and go to step SP59.
  • step SP59 the control unit 50a displays the bar graph BG and the appropriate range line LC created by the presentation object creation unit 84 on the monitor 14a, and proceeds to step SP60.
  • step SP60 the control unit 50a determines whether or not the bar graph BG is within the appropriate range RC by the determination unit 86. If a positive result is obtained here, the control unit 50a proceeds to step SP61, and the determination unit 86 determines whether or not the bar graph BG is green.
  • step SP61 If an affirmative result is obtained in step SP61, this means that the pronunciation of the patient P was correct. At this time, the control unit 50a moves to step SP62 and outputs “ping pong” from the speaker 34, thereby generating a pronunciation. Is notified to the patient P, the process proceeds to step SP64, and the speech analysis presentation processing procedure SRT9 is terminated.
  • step SP60 if a negative result is obtained in step SP60 or step SP61, this means that the pronunciation of the patient P is inappropriate.
  • the control unit 50a moves to step SP63, and “Let's do our best again”. ”Is notified to the patient P that the pronunciation is inappropriate, the process proceeds to step SP64, and the speech analysis presentation processing procedure SRT9 is terminated.
  • the robot 10 can feed back training to the patient P.
  • the patient P can confirm his / her voice and can speed up the recovery of the dysarthria.
  • the hearing person T can check the information recorded in the robot 10 to grasp the state of articulation disorder of the patient P and know how much it has been improved, the efficiency of speech therapy can be improved. Can be increased.
  • the robot 10 takes actions that imitate humans.
  • the patient P is easy to have attachment and familiarity with the robot 10, and can perform training with emotion rather than performing speech therapy with a mere electronic device.
  • control unit 50 can visualize the analysis result of the pronunciation of the patient P instantaneously, thereby feeding back the training result to the patient P and the hearing person T, and providing an on-the-job training index. Can do.
  • the patient P can know the correctness of his / her pronunciation at a glance.
  • the robot 10 can input instructions by a simple operation such as uttering or touching the robot 10 while indicating what the patient P should do next and guiding the patient P.
  • the robot 10 shows the example sentence to the patient P by the speaker 34, acquires the utterance voice of the patient P reading the example sentence by the head microphone 40 and the torso microphone 32, and the model voice and the utterance voice. And a bar graph indicating the correctness of the uttered voice with respect to the model voice was created by the presenter creating unit 84, and the bar graph was presented to the patient P by the monitor 14a.
  • the robot 10 can clearly show the correctness of the utterance voice of the patient P with respect to the model voice to the patient P at a glance.
  • control unit 50a moves to step SP5 in the voice detection standby processing procedure RT1 (FIG. 9), it reads out the reproduction program from the ROM 54 and executes it to execute the reproduction process.
  • the control unit 50a executes the reproduction process, thereby decoding the audio data stored in the recording audio library in the storage unit 66 into an audio signal and outputting it to the speaker 34 to emit sound.
  • control unit 50a starts the reproduction process procedure SRT2 (FIG. 18), and proceeds to step SP71.
  • step SP71 the input / output operation processing unit 58a outputs “Saisei. Tell me your name” from the speaker 34, moves to step SP72, and waits.
  • step SP72 the speech therapy processing unit 57a determines a patient folder for reproducing voice data in the folder library L4 (FIG. 7) based on the patient's voice collected by the head microphone 40 and the torso microphone 32, and step SP73. Move on.
  • the speech therapy processing unit 57a recognizes “Mr. A” by voice.
  • step SP73 the input / output operation processing unit 58a outputs “You are Mr. A” from the speaker 34, moves to step SP74, and waits.
  • step SP74 the speech therapy processing unit 57a determines whether or not the voice recognition of “Yes” is recognized. If a negative result is obtained here, the speech therapy processing unit 57a returns to step SP71 and waits for the name of the patient P again.
  • step SP74 the input / output operation processing unit 58a moves to step SP75 and displays a list of recorded audio libraries in the patient folder determined in step SP72 on the monitor 14a.
  • step SP76 the input / output operation processing unit 58a outputs from the speaker 34 “when and how many times to make the file”, and moves to step SP77 and waits.
  • step SP77 for example, when the speech therapy processing unit 57a recognizes the voice “February 1, 2012 first”, the speech data at the designated recording time is selected from the recording voice library, and the process proceeds to step SP78.
  • step SP78 the input / output operation processing unit 58a outputs "the first time on February 1, 2012" indicating the recording time of the audio data designated in step SP77 from the speaker 34, and moves to step SP79 and waits. .
  • step SP79 the speech therapy processing unit 57a determines whether or not “Yes” is recognized by voice. If a negative result is obtained here, the speech therapy processing unit 57a returns to step SP75 and waits for the designation of audio data to be reproduced again.
  • step SP79 the input / output operation processing unit 58a moves to step SP80, and outputs the voice of “A1” (FIG. 7), which is designated voice data, from the speaker 34, and goes to step SP81. Move.
  • step SP81 the input / output operation processing unit 58a outputs "Do you say again?" From the speaker 34, and moves to step SP82 and waits.
  • step SP82 the speech therapy processing unit 57a determines whether or not “Yes” is recognized as a voice. If a positive result is obtained here, the input / output operation processing unit 58a returns to step SP80 and outputs the designated sound from the speaker 34 again.
  • step SP82 the input / output operation processing unit 58a moves to step SP83 and outputs “Saisei, End” from the speaker 34 to inform the patient that the playback function is to be terminated. Then, the process proceeds to step SP84 and the reproduction processing procedure SRT2 is ended.
  • the robot 10a not only reproduces the sound immediately after recording in the recording / reproducing function described above, but also reproduces the voice of the patient Pa recorded in advance for a certain period of time when the reproducing function is selected by the user's instruction. Even after the elapse of time, it can be played back by the playback function and told to the user.
  • the control unit 50a can display the image data of the question sentence in the question sentence library L2 (FIG. 5) in the storage unit 66 on the monitor 14a as necessary by executing the operation answer question process.
  • control unit 50a acquires an answer input by the patient Pa touching the monitor 14a as an operation signal, or acquires an answer answered verbally by the patient Pa as an audio signal.
  • step SP91 the input / output operation processing unit 58a outputs “What is it? Tell me your name” from the speaker 34, moves to step SP92, and waits.
  • step SP92 the speech therapy processing unit 57a determines a patient folder for storing the answer results in the folder library L4 (FIG. 7) based on the patient's voice collected by the head microphone 40 and the torso microphone 32, and step SP93. Move on.
  • the controller 50a performs the same processing from step SP23 to step SP31 in the recording / playback processing procedure SRT1 (FIGS. 11 and 12) from step SP93 to step SP101.
  • step SP96 a question sentence having a designated difficulty level (for example, “No. 1”) is selected from the question sentence library L2.
  • step SP102 the input / output operation processing unit 58a prompts the patient Pa to solve the problem by outputting “Problem start. Please” from the speaker 34, and proceeds to step SP103.
  • step SP103 the input / output operation processing unit 58a selects one question sentence from a plurality of question sentences of the designated difficulty level, and displays or displays an image indicating, for example, “Where is the capital of Japan?” On the monitor 14a. 34 is output as sound, and the process proceeds to step SP104. At this time, the input / output operation processing unit 58a displays an image showing the keyboard on the monitor 14a together with the problem as necessary.
  • step SP104 the speech therapy processing unit 57a starts a timing operation, and proceeds to step SP105.
  • step SP105 the input / output operation processing unit 58a directs the front of the torso unit 22 toward the patient Pa, moves to step SP106, and determines whether an operation signal is received from the touch panel 15 or whether the answer issued by the patient Pa is an audio signal. By waiting for the answer to the problem.
  • the patient Pa inputs the answer to the problem displayed on the monitor 14a by touching the keyboard screen displayed on the monitor 14a.
  • step SP106 If an affirmative result is obtained in step SP106, the speech therapy processing unit 57a moves to step SP107, ends the time measuring operation, measures the time required for the patient Pa to answer the problem, and moves to step SP109.
  • step SP106 the speech therapy processing unit 57a moves to step SP108 and determines whether or not 5 minutes have passed since the processing start time of step SP103 (that is, after the problem is presented to the patient Pa). judge.
  • step SP106 the speech therapy processing unit 57a moves to step SP106 and waits for the patient's answer.
  • step SP108 if a positive result is obtained in step SP108, this means that 5 minutes, which is the time set as the answering time, has elapsed, and at this time, the speech therapy processing unit 57a moves to step SP118.
  • step SP109 the speech therapy processing unit 57a determines whether or not the answer inputted by the patient Pa is correct by operating the keyboard, and the answer time, the question sentence, the correctness and the answer time are stored in the problem answer library.
  • step SP110 if the answer of patient Pa is correct, the input / output operation processing unit 58a proceeds to step SP111, outputs “correct!” From the speaker 34, and proceeds to step SP112.
  • step SP112 the input / output operation processing unit 58a causes the robot 10a to act in the pleasure mode. That is, the input / output operation processing unit 58a turns the robot 10a by driving the wheel actuator 60 and controls the LED 44 to show a smiling expression, thereby showing a happy attitude to the patient Pa. Control goes to step SP115.
  • step SP110 the input / output operation processing unit 58a moves to step SP113, outputs "Sorry! From the speaker 34, and moves to step SP114.
  • step SP114 the input / output operation processing unit 58a causes the robot 10a to act in the sadness mode. That is, the input / output operation processing unit 58a drives the head actuator 62 to reciprocate the head 20 to the left and right, and controls the LED 44 to show a disappointing expression. And move to step SP115.
  • the robot 10a informs the patient Pa whether or not the answer of the patient Pa is correct by speaking, changing the expression of the head 20 and changing the facial expression. Or incorrect answer can be determined at a glance.
  • step SP115 when the speech therapy processing unit 57a recognizes “next” by speech, the speech therapy processing unit 57a moves to step SP116 and then returns to step SP103 to select a question sentence other than the question sentence presented this time from the question sentences of the designated difficulty level. And ask questions.
  • step SP115 the speech therapy processing unit 57a proceeds to step SP117, calculates the correct answer rate of the designated difficulty level, stores it in the problem answer library, and proceeds to step SP118.
  • step SP118 the input / output operation processing unit 58a informs the patient that the operation answer problem function is to be terminated by outputting “mondai, end” from the speaker 34, and then proceeds to step SP119 to proceed to the operation answer problem processing procedure. SRT3 is terminated.
  • the robot 10a presents the sentence problem to the patient Pa, causes the touch panel 15 to answer the problem, and measures the answer time. Can do.
  • the robot 10 receives an operation signal while measuring the answer time of the patient P, determines whether or not the patient P has input the correct answer, and asks the user. In addition to outputting correct / incorrect voices, the pleasure mode or sadness mode is used.
  • the patient P can determine at a glance whether or not his / her answer is correct by the utterance and action of the robot 10.
  • the robot 10 stores the answer result and the correct answer rate in the storage unit 66, so that the user can grasp the long-term training course of the patient P.
  • the robot 10 since the hearing person T does not measure in front of the patient P, and the robot 10 does not directly understand the patient P, the psychological pressure of the patient P is reduced. And can be effectively trained.
  • the robot 10 simulating the shape of an animal stores the problem shown to the patient P in the storage unit 66 in advance, shows the problem to the patient P, acquires the patient P's answer to the problem, The answer time used as an index when determining the state of the language ability of the patient P was measured.
  • the robot 10 can provide a more useful function of measuring the time for the patient P to answer the problem.
  • the control unit 50a executes the utterance answer problem process, and outputs the problem sentence image data to the monitor 14a together with the problem in the problem sentence library L2 (FIG. 5) in the storage unit 66 as necessary. Display.
  • control unit 50a collects the answers uttered by the patient Pa using the head microphone 40 and the torso microphone 32.
  • the control unit 50a starts the utterance answering problem processing procedure SRT4 (FIG. 21), and proceeds to step SP121.
  • step SP121 the input / output operation processing unit 58a outputs “Shitsumoni. Tell me your name” from the speaker 34, and moves to step SP122 and waits.
  • the control unit 50a performs the same processing from step SP92 to step SP101 in the operation answer problem processing procedure SRT3 (FIG. 19) from step SP122 to step SP131.
  • step SP132 the input / output operation processing unit 58a outputs to the patient Pa the problem by outputting "Let's see the first problem. Please read and answer the problem. The user is prompted to speak the answer, and the process proceeds to step SP133.
  • the control unit 50a performs the same processing from step SP103 to step SP105 in the operation answer problem processing procedure SRT3 (FIG. 19) from step SP133 to step SP135.
  • step SP136 the input / output operation processing unit 58a receives the voice signal of the patient Pa collected by the head microphone 40 and the torso microphone 32, and waits for reception of the contact signal from the head touch sensor 42 in step SP137. .
  • the speech therapy processing unit 57a moves to step SP136 and waits for the patient's answer.
  • step SP137 if a positive result is obtained in step SP137, this means that the patient Pa has finished the answer, and the speech therapy processing unit 57a moves to step SP138, and the time measuring operation is finished, so that the patient Pa has a problem. Measure the time taken to answer.
  • the auditor Ta determines the correctness and touches the left back touch sensor 28 or the right back touch sensor 30 of the robot 10a. A correct answer or an incorrect answer is input to the robot 10a.
  • the speech therapy processing unit 57a determines whether or not the answer input by the voice of the patient Pa is the same as the correct answer, and stores the answer time, the question sentence, the correctness error, and the answer time in the question answer library. At this time, the speech therapy processing unit 57a determines that the answer is correct.
  • step SP139 the speech therapy processing unit 57a determines whether or not a contact signal has been received from the right back touch sensor 30. If an affirmative result is obtained here, since the answer of patient Pa is correct, the input / output operation processing unit 58a moves to step SP140 and outputs “correct answer” from the speaker 34, and moves to step SP141 and moves the robot 10a to the pleasure mode. And move to step SP145.
  • step SP139 the speech therapy processing unit 57a proceeds to step SP142 and determines whether or not a contact signal has been received from the left back touch sensor 28. If an affirmative result is obtained here, or the answer of patient Pa indicated by the audio signal acquired in step SP136 does not match the model answer stored in advance in the storage unit 66, the answer of patient Pa is not valid. Since the answer is correct, the input / output operation processing unit 58a moves to step SP143, outputs “Sorry!” From the speaker 34, moves to step SP144, moves the robot 10a in the sadness mode, and moves to step SP145.
  • step SP145 the speech therapy processing unit 57a stores the answer time, the question sentence, the correctness, and the answer time of the answer uttered by the patient Pa in the question answer library.
  • the control unit 50a performs the same processing from step SP116 to step SP118 in the operation answer problem processing procedure SRT3 (FIG. 20) from step SP146 to step SP148.
  • step SP 149 the input / output operation processing unit 58 a outputs “Shitsumon, End” from the speaker 34 to inform the user that the utterance answer problem function is to be ended, and then proceeds to step SP 150 to issue the utterance answer problem.
  • the processing procedure SRT4 is terminated.
  • the robot 10a presents the sentence problem to the patient Pa when the utterance answer problem function is selected according to the user's instruction, causes the answer to the problem to be uttered, and measures the answer time. Can do.
  • the robot 10 receives an audio signal while measuring the answer time of the patient P, and outputs correct / incorrect audio to the user based on the operation of the auditor T, The joy mode or the sadness mode was used.
  • the patient P can determine at a glance whether or not his / her answer is correct by the utterance and action of the robot 10.
  • the auditor 10 can grasp the sentence comprehension level of the patient P by causing the patient P to train the patient 10 to read and answer the question written as characters.
  • the robot 10 can record correct answers, incorrect answers, and answer times by a simple operation of the auditor H, calculate the correct answer rate, and improve speech therapy efficiency.
  • the robot 10 can achieve substantially the same operational effects as in the operation answer problem processing.
  • the control unit 50a collects predetermined words uttered by the patient Pa by the head microphone 40 and the torso microphone 32 by executing the utterance duration measurement process, measures the utterance duration, and stores the storage unit 66. In the utterance duration library.
  • the control unit 50a starts the utterance duration measuring processing procedure SRT5 (FIG. 23), and proceeds to step SP151.
  • step SP151 the input / output operation processing unit 58a outputs “Is it all right? Tell me your name” from the speaker 34, moves to step SP152 and waits.
  • the control unit 50a performs the same processing from step SP122 to step SP124 in the spoken answer question processing procedure SRT4 (FIG. 21) from step SP152 to step SP154.
  • step SP155 the input / output operation processing unit 58a outputs from the speaker 34 "Please continue to say” Ah "as long as breathing continues. Please touch your stomach when you are ready", and proceed to step SP156.
  • step SP156 the input / output operation processing unit 58a directs the front of the torso 22 toward the patient Pa, and determines whether or not a contact signal is received from the abdominal touch sensor 26 in step SP157.
  • step SP158 the input / output operation processing unit 58a moves to step SP158, and outputs “speaking time start” from the speaker 34, thereby making it possible to make a sound of “Ah” to the patient Pa.
  • the user is prompted to speak for as long as possible, and the process proceeds to step SP159.
  • step SP157 if a negative result is obtained in step SP157, the speech therapy processing unit 57a returns to step SP155 and waits until the patient Pa is ready.
  • step SP159 the speech therapy processing unit 57a starts a time counting operation, and proceeds to step SP160.
  • step SP160 the input / output operation processing unit 58a faces the front of the torso 22 and the head 20 toward the patient Pa, and proceeds to step SP161.
  • step SP161 the speech therapy processing unit 57a receives the voice signal of the patient Pa collected by the head microphone 40 and the torso microphone 32, and determines whether or not the word “a” is voice-recognized in step SP162. .
  • step SP162 if a negative result is obtained in step SP162, this means that the patient Pa has finished speaking, and the speech therapy processing unit 57a moves to step SP163 to end the timing operation, and moves to step SP164.
  • step SP164 the speech therapy processing unit 57a stores the utterance duration in which the utterance of the patient Pa continues in the utterance duration library in the patient folder determined in step SP152, and proceeds to step SP165.
  • step SP165 the input / output operation processing unit 58a outputs, for example, “this time was 10 seconds” from the speaker 34, thereby transmitting the measurement result of the utterance duration to the user, and proceeds to step SP166.
  • step SP166 the speech therapy processing unit 57a determines whether or not the utterance duration is 10 seconds or longer.
  • the speech therapy processing unit 57a determines that the patient Pa is healthy when the patient Pa can speak continuously for 10 seconds or more.
  • step SP168 the input / output operation processing unit 58a moves to step SP168 and outputs to the patient Pa that the utterance duration was normal by outputting “I did my best” from the speaker 34, Control goes to step SP169.
  • step SP166 the input / output operation processing unit 58a moves to step SP167 and outputs “Is it a little short” from the speaker 34, indicating that the utterance duration was not normal. And the process proceeds to step SP169.
  • step SP169 the input / output operation processing unit 58a outputs from the speaker 34 "Please stroke your head if you are finished", move to step SP170, and wait for reception of the contact signal from the head touch sensor 42, step SP171.
  • step SP172 To the end of the utterance duration measurement function to the user by outputting "Hasesejikan, End” from the speaker 34, and then proceeds to step SP172 to end the utterance duration measurement processing procedure SRT5. .
  • the robot 10 measures the utterance duration by performing voice recognition while receiving the voice signal, and the patient P pronounces the sound for a normal time. Judgment was made on whether or not it was sustained, and the result was reported to the user.
  • the robot 10 can save the trouble that the auditor T measures the utterance duration with a stopwatch or the like while listening to the utterance of the patient P.
  • the robot 10 stores the utterance duration in the storage unit 66, so that the user can grasp the long-term measurement progress of the utterance duration of the patient P. Thereby, the patient P can know that his / her voice duration has improved with the passage of time, and can keep motivation for speech therapy.
  • the robot 10 simulating the shape of an animal stores the words shown to the patient P in the storage unit 66 in advance, shows the words to the patient P, and the patient P responds to the words as much as possible.
  • the utterance voice uttered for a long time is acquired by the torso microphone 32 and the head microphone 40, and the utterance duration time used as an index when determining the state of the language ability of the patient P is measured.
  • the robot 10 can provide a more useful function of measuring the utterance duration.
  • the deatocokinesis function control unit 50a when moving to step SP13 in the voice detection standby processing procedure RT1 (FIG. 10), reads the diatocokinesis program from the ROM 54 and executes it, thereby executing the diatocokinesis processing.
  • the control unit 50a performs so-called oral diatocokinesis that evaluates the sophistication and movement speed of the oral organs by executing this diatocokinesis process.
  • the control unit 50a measures how many times the patient P can pronounce “pa” in 5 seconds.
  • control unit 50a starts the diatocokinesis processing procedure SRT6 (FIG. 24), and proceeds to step SP181.
  • step SP181 the input / output operation processing unit 58a outputs “Diatoco. Tell me your name” from the speaker 34, and moves to step SP182 and waits.
  • the control unit 50a performs the same processing from step SP152 to step SP154 in the utterance duration measurement processing procedure SRT5 (FIG. 23) from step SP182 to step SP184.
  • step SP185 the input / output operation processing unit 58a outputs from the speaker 34 "Please keep saying” Pa “for 5 seconds. Please touch your stomach when you are ready” ", and the process proceeds to step SP186.
  • the control unit 50a performs the same processing from the step SP156 to the step SP160 in the utterance duration measurement processing procedure SRT5 (FIG. 23) from the step SP186 to the step SP190.
  • step SP191 the speech therapy processing unit 57a receives the voice signal of “Pa” of the patient Pa collected by the head microphone 40 and the torso microphone 32, stores it as voice data in the storage unit 66, and proceeds to step SP192.
  • step SP192 the speech therapy processing unit 57a finishes the time counting operation for 5 seconds, and proceeds to step SP193.
  • step SP193 the speech therapy processing unit 57a recognizes the voice data stored in the storage unit 66, measures the number of sounds of “pa” received during 5 seconds, moves to step SP194, and performs the diatoco in the patient folder.
  • the number of utterances is stored in the number library, and the process proceeds to step SP195.
  • step SP195 the input / output operation processing unit 58a outputs the measurement result of the number of utterances to the user by outputting, for example, “This time was 10 times” from the speaker 34, and proceeds to step SP196.
  • step SP196 the speech therapy processing unit 57a determines whether or not the number of utterances is 20 or more.
  • the speech therapy processing unit 57a determines that the patient Pa is healthy when the patient Pa can speak 20 times or more.
  • step SP197 the input / output operation processing unit 58a moves to step SP197 and outputs “I did my best” from the speaker 34 to inform the patient Pa that the number of utterances was normal. Move to SP199.
  • step SP196 the input / output operation processing unit 58a moves to step SP198 and outputs “not a little less” from the speaker 34, thereby informing the patient that the number of occurrences was not normal. Then, the process proceeds to step SP199.
  • the control unit 50a performs the same processing from step SP169 to step SP170 in the utterance duration measurement processing procedure SRT5 (FIG. 23) from step SP199 to step SP200.
  • step SP201 the input / output operation processing unit 58a outputs “diatoco, end” from the speaker 34 to inform the user that the diatocokinesis function is to be terminated, and then proceeds to step SP202 to perform the diatocokinetic processing procedure. SRT6 is terminated.
  • the robot 10a During the measurement for 5 seconds, a voice signal was received, voice recognition was performed, the number of utterances was measured, it was determined whether patient Pa was able to pronounce a normal number of times, and the result was reported to the user. .
  • the robot 10a can perform oral diatomic cokinesis without performing the difficult task of measuring the number of utterances while the auditor T measures 5 seconds with a stopwatch or the like.
  • the robot 10a stores the number of utterances in the storage unit 66, so that the user can grasp the long-term measurement progress of the number of utterances of the patient Pa.
  • the patient Pa can know how the number of utterances has improved with the passage of time and can maintain motivation for speech therapy.
  • the robot 10 simulating the shape of an animal stores the words shown to the patient P in the storage unit 66 in advance, shows the words to the patient P, and the patient P responds to the words as much as possible.
  • a large amount of uttered speech is acquired by the torso microphone 32 and the head microphone 40, and a predetermined time as an index when the state of the language ability of the patient P is determined and the number of utterances are measured.
  • the robot 10 can provide a more useful function of measuring the number of utterances of the patient P within a predetermined time.
  • the control unit 50a executes the answer result presentation process to read out the answer result of the patient Pa stored in the question answer library in the storage unit 66, and outputs the result to the speaker 34 to emit sound.
  • the controller 50a starts the answer result presentation processing procedure SRT7 (FIG. 25), and proceeds to step SP211.
  • step SP211 the input / output operation processing unit 58a outputs "I'm confused. Tell me your name” from the speaker 34, and moves to step SP212 and waits.
  • the controller 50a performs the same processing from step SP72 to step SP79 in the reproduction processing procedure SRT2 (FIG. 18) from step SP212 to step SP219.
  • step SP215 the input / output operation processing unit 58a displays a list of problem answer libraries in the patient folder on the monitor 14a.
  • step SP220 the input / output operation processing unit 58a outputs, for example, “The first problem on February 1, 2012 was solved in 30 seconds” from the speaker 34, and proceeds to step SP221.
  • step SP221 to step SP222 the control unit 50a performs the same processing as that from step SP81 to step SP82 in the reproduction processing procedure SRT2 (FIG. 18), moves to step SP223, and outputs “Kaku, End” from the speaker 34.
  • step SP224 the answer result presenting process procedure SRT7.
  • the robot 10a when the answer result presenting function is selected according to the user's instruction, the robot 10a outputs the result of the patient Pa answering the problem in the above-described operation answer question function by the answer result presenting process. Can be presented.
  • control unit 50b of the robot 10b executes a remote communication process by reading and executing a remote communication program from the ROM 54.
  • control units 50a and 50b display the standard conversation sentences for the patient Pa using the robot 10a and the patient Pb using the robot 10b, and alternately display the patient Pa and the patient Pb. Have them read aloud and have a conversation.
  • the control unit 50a of the robot 10a starts a remote communication processing procedure SRT8 (FIG. 26), and proceeds to step SP231.
  • the controller 50b of the robot 10b starts the remote communication processing procedure SRT8 (FIG. 26), and proceeds to step SP263.
  • step SP231 the input / output operation processing unit 58a outputs “It's a group. Tell me your name” from the speaker 34, moves to step SP232, and waits.
  • step SP232 the speech therapy processing unit 57a stores the voice data in the folder library L4 (FIG. 7) based on the patient's voice signal ("Mr. A") collected by the head microphone 40 and the torso microphone 32.
  • the patient folder of Pa is selected, and the process proceeds to step SP233.
  • Input and output operation processing unit 58a in step SP233 is, from the speaker 34 "A's. Hi. You look for the person to practice the future together" with the output, and proceeds to step SP234.
  • step SP234 the speech therapy processing unit 57a transmits a patient information request to the management center 12.
  • the controller 50b of the robot 10b performs substantially the same processing from step SP231 to step SP234 in the controller 50a of the robot 10a from step SP263 to step SP266.
  • step SP264 when the patient name “Mr. B” is input, the speech therapy processing unit 57b selects the patient folder of the patient Pb that stores the voice data in the folder library L4 of the storage unit 66 of the robot 10b.
  • step SP256 the control unit 70 of the management center 12 receives the patient information request from the robots 10a and 10b, and searches the patient database in step SP257 to search for the patient P currently using the robot 10.
  • control unit 70 determines from the patient database that the patient Pa is using the robot 10a and the patient Pb is using the robot 10b, and transmits the patient information to the robot 10a and the robot 10b in step SP258.
  • control unit 70 transmits patient information indicating that the patient Pb is using the robot 10b to the robot 10a, and transmits patient information indicating that the patient Pa is using the robot 10a to the robot 10b. .
  • step SP235 the speech therapy processing unit 57a of the robot 10a receives from the management center 12 patient information indicating that the patient Pb is using the robot 10b.
  • step SP267 the speech therapy processing unit 57b of the robot 10b receives patient information indicating that the patient Pa is using the robot 10a from the management center 12.
  • step SP236 the speech therapy processing unit 57a of the robot 10a determines whether or not there is a patient P who is currently using the robot 10 other than the robot 10a based on the patient information.
  • step SP238 If a negative result is obtained here, it means that there is no other patient P who is currently using the robot 10, and therefore training by the remote communication function cannot be performed, and the input / output operation processing unit 58a moves to step SP238.
  • the speaker 34 outputs “Nobody is practicing now. Let's practice together again”, and the process proceeds to step SP289 to end the remote communication processing procedure SRT8.
  • step SP236 the input / output operation processing unit 58a moves to step SP237 and outputs from the speaker 34 "B is looking for a person to practice with. Do you want to do it together?" The process proceeds to step SP239 and waits.
  • step SP239 the speech therapy processing unit 57a determines whether or not “Yes” is recognized by voice. If a negative result is obtained here, the speech therapy processing unit 57a moves to step SP289 and ends the remote communication processing procedure SRT8.
  • step SP239 the input / output operation processing unit 58a moves to step SP240, and from the speaker 34, “Let's have a standard conversation. If this is the case, please say "End” ", and the process moves to step SP241 and waits.
  • step SP241 for example, when the input / output operation processing unit 58a recognizes “No. 1” as a voice, it outputs “No. 1?
  • control unit 50b of the robot 10b performs substantially the same processing from step SP238 to step SP243 in the control unit 50a of the robot 10a from step SP268 to step SP273.
  • step SP274 the speech therapy processing unit 57b determines whether or not “Yes” is recognized by voice. If a negative result is obtained here, the speech therapy processing unit 57b returns to step SP272 and waits for designation of the difficulty level of the standard conversation sentence from the patient Pb.
  • step SP274 the speech therapy processing unit 57a of the robot 10a moves to step SP242, selects the difficulty “No. 1” in the standard conversation sentence library L3 (FIG. 6), and moves to step SP243. .
  • step SP243 to step SP245 the input / output operation processing unit 58a receives the contact signal from the abdominal touch sensor 26 and directs the front of the torso 22 toward the patient Pa.
  • step SP246 the input / output operation processing unit 58a outputs "Please read from Mr. A" from the speaker 34, and moves to step SP247 to display the standard conversation sentence on the monitor 14a.
  • the control unit 50b of the robot 10b performs substantially the same processing as the processing from step SP242 to step SP247 in the control unit 50a of the robot 10a from step SP275 to step SP280 on the patient Pb.
  • step SP248 the speech therapy processing unit 57a of the robot 10a stores voice data based on the voice of the patient Pa collected by the head microphone 40 and the torso microphone 32 in the routine conversation voice library of the patient folder of the patient Pa.
  • step SP249 the control unit 50a corrects the recorded voice by performing processing according to the voice correction processing procedure SRT10 (described in detail later), and proceeds to step SP250.
  • step SP250 the speech therapy processing unit 57a transmits the corrected voice data to the management center 12 together with transmission destination information designating the robot 10b as a transmission destination.
  • step SP259 the control unit 70 of the management center 12 receives the audio data, moves to step SP260, and transmits the audio data to the robot 10b that is the transmission destination specified by the transmission destination information.
  • step SP281 the speech therapy processing unit 57b of the robot 10b receives the voice data, moves to step SP282, and outputs a voice “Good morning” based on the voice data from the speaker 34.
  • the speech therapy processing unit 57b stores voice data based on the voice of the patient Pb collected by the head microphone 40 and the torso microphone 32 in the routine conversation voice library of the patient folder in the robot 10b.
  • step SP284 the control unit 50b corrects the recorded voice by performing processing according to the voice correction processing procedure SRT10 (details will be described later), and proceeds to step SP285.
  • step SP285 the speech therapy processing unit 57b transmits the stored voice data to the management center 12 together with transmission destination information that designates the robot 10a as a transmission destination.
  • step SP261 the control unit 70 of the management center 12 receives the audio data, moves to step SP262, and transmits the audio data to the robot 10a that is the transmission destination specified by the transmission destination information.
  • step SP251 the speech therapy processing unit 57a of the robot 10a receives the voice data from the management center 12, moves to step SP252, and outputs the voice “Good morning” from the speaker 34.
  • step SP253 the speech therapy processing unit 57a determines whether or not “end” is recognized by voice. If a negative result is obtained here, this means that the patient Pa is willing to continue training.
  • the speech therapy processing unit 57a returns to step SP248, and the voice of the patient Pa who has collected the next conversation sentence “The weather is good today” in the standard conversation sentence library L3 by the head microphone 40 and the torso microphone 32. Is stored in the routine conversation voice library of the patient folder of the patient Pa, and the training is continued.
  • step SP286 the speech therapy processing unit 57b of the robot 10b determines whether or not “end” has been voice-recognized. If a negative result is obtained here, this means that the patient Pb intends to continue training.
  • the speech therapy processing unit 57b returns to step SP281, receives the voice data from the management center 12, outputs the voice “The weather is good today” from the speaker 34, and continues the training.
  • step SP253 if an affirmative result is obtained in step SP253, this means that patient Pa has no intention to continue training, so the input / output operation processing unit 58a will let the speaker 34 say "Now. Thank you, Mr. A and Mr. B. Please say hello to Mr. A and Mr. B ", prompt the patient Pa and the patient Pb to greet each other, and go to step SP255.
  • step SP255 the input / output operation processing unit 58a outputs "Let's practice together again" from the speaker 34, moves to step SP289, and ends the remote communication processing procedure SRT8.
  • step SP287 to step SP288, the control unit 50b of the robot 10b performs almost the same processing as the processing from step SP254 to step SP255 in the control unit 50a of the robot 10a, moves to step SP291, and ends the remote communication processing procedure SRT8. To do.
  • control units 50a and 50b display the standard conversation sentences for the patient Pa using the robot 10a and the patient Pb using the robot 10b by executing the remote communication process, and display them to the patient Pa and the patient Pb. Speak alternately and have a conversation while correcting the sound appropriately.
  • Audio Correction Function When the control unit 50 (50a and 50b) proceeds to step SP249 or SP284 in the remote communication processing procedure SRT8 (FIG. 28), the audio correction process is executed by reading and executing the audio correction program from the ROM 54. .
  • control unit 50 functions as a comparison unit 90 and a correction unit 92 as shown in FIG.
  • the storage unit 66 divides an exemplary pronunciation when the fixed conversation sentence stored in the fixed conversation sentence library L3 (FIG. 6) is pronounced for each word, and stores it as exemplary voice data that is the voice of the robot 10. ing.
  • the comparison unit 90 obtains voice data (hereinafter also referred to as input voice data) based on voice signals received from the head microphone 40 and the torso microphone 32, recognizes the input voice data one character at a time, Divide into words by morphological analysis.
  • the comparison unit 90 performs speech analysis for each word corresponding to the input voice data and the model voice data, that is, for example, “Today” of the input voice data and “Today” of the model voice data. The degree of coincidence is calculated by comparison.
  • the comparison unit 90 determines that the pronunciation of the patient P with respect to the determination target word currently being determined is appropriate when the degree of coincidence is greater than a predetermined threshold. On the other hand, the comparison unit 90 determines that the pronunciation of the patient P with respect to the determination target word is inappropriate when the matching degree is equal to or less than a predetermined threshold.
  • the correction unit 92 replaces the determination target word of the input voice data with the word of the model voice data corresponding to the determination target word. As a result, a word whose pronunciation is inappropriate in the input voice data is corrected to an exemplary voice of the voice of the robot.
  • the correction unit 92 does not replace the determination target word with the model voice data, and generates a character string of the determination target word based on the voice recognition result. Change to the voice of the robot.
  • the correction unit 92 generates a voice corresponding to the speed, volume, and pitch of the voice of the patient P as the voice of the robot.
  • step SP282 the control unit 50b outputs a standard conversation sentence in which inappropriate pronunciation is corrected from the speaker as a voice of the robot 10.
  • Audio Correction Processing Procedure The control unit 50 starts an audio correction processing procedure SRT10 (FIG. 32), and proceeds to step SP301.
  • step SP301 the control unit 50 determines whether or not the speed at which one conversation sentence in the input voice data (for example, “The weather is good today”) is spoken is equal to or higher than a predetermined threshold value.
  • control unit 50 proceeds to step SP302, and the correction unit 92 performs predetermined processing on the audio data, thereby reducing the speed or extending the audio for each syllable, and then proceeds to step SP303.
  • control unit 50 can make the voice easy for the patient P to hear by extending the voice for each syllable so as to obtain an appropriate conversation speed or delaying the voice.
  • step SP302 if a negative result is obtained in step SP302, the control unit 50 skips step SP302 and moves to step SP303.
  • step SP303 the control unit 50 selects “today” which is the first word of the input voice data, sets it as a determination target word, and proceeds to step SP304.
  • step SP304 the control unit 50 uses the comparison unit 90 to determine whether or not the volume of the determination target word is equal to or lower than a predetermined lower threshold.
  • control unit 50 proceeds to step SP305, and the correction unit 92 performs predetermined processing on the input voice data to increase the volume, and proceeds to step SP306.
  • step SP304 if a negative result is obtained in step SP304, the control unit 50 proceeds to step SP306, and the comparison unit 90 determines whether or not the volume of the determination target word is greater than or equal to a predetermined upper threshold.
  • control unit 50 proceeds to step SP307, and the correction unit 92 performs predetermined processing on the input voice data to attenuate the volume, and proceeds to step SP308.
  • the voice tends to be louder, while when the patient is sick or has a throat disorder, the voice may be low.
  • control unit 50 increases the sound volume when the sound has a volume equal to or lower than a predetermined lower threshold value, and decreases the sound volume when the sound has a sound volume equal to or higher than the predetermined upper threshold value. The sound can be easily heard.
  • step SP306 if a negative result is obtained in step SP306, the volume is within an appropriate range, so the control unit 50 moves to step SP308, and the comparison unit 90 causes the pitch of the determination target word to be equal to or higher than a predetermined threshold. It is determined whether or not.
  • control unit 50 proceeds to step SP309, and the correction unit 92 performs predetermined processing on the audio data to lower the pitch of the sound, and proceeds to step SP310.
  • control unit 50 can make the voice easy for the patient to hear by lowering the pitch of the sound so as to achieve an appropriate conversation speed.
  • step SP310 the control unit 50 performs voice analysis using the comparison unit 90, compares the model voice and the input voice, and determines whether or not the degree of coincidence of pronunciation is equal to or less than a predetermined threshold value.
  • control unit 50 proceeds to step SP311 and the correction unit 92 corrects the determination target word by replacing it with model voice data, and then proceeds to step SP312.
  • step SP310 if a negative result is obtained in step SP310, the control unit 50 moves to step SP313, changes the voice color of the determination target word based on the voice recognition result, and moves to step SP312.
  • control unit 50 converts the input voice data into the voice of the robot, not the voice of the patient himself, so that the patient of the conversation partner can hear.
  • the robot 10 enhances the atmosphere of training with the robot 10 for the patient P, and avoids a situation in which the patient is embarrassed and unable to practice when talking with another patient who does not know. it can.
  • step SP312 the control unit 50 determines whether or not all the words in the input voice have been determined, that is, whether or not the determination has been made up to “Ne”.
  • control unit 50 moves to step SP314, selects the next word, moves to step SP304, and makes a determination again.
  • step SP312 the control unit 50 stores the corrected voice data of the input voice in the storage unit 66, moves to step SP315, and ends the voice correction processing procedure SRT10.
  • the speech therapy system 1 allows the patients Pa and Pb to read a standard conversation sentence via the robots 10a and 10b to perform a conversation.
  • patients Pa and Pb can perform speech therapy in a situation where they talk to people, such as communicating with patients other than themselves.
  • the speech therapy system 1 allows the patient Pa and the patient Pb to perform training via the robots 10a and 10b without directly speaking with each other.
  • the robots 10a and 10b correct the voice and let the conversation partner hear it, so that the training can be established.
  • the robot 10 as a speech therapy robot imitating the shape of a human or a non-human animal stores in the storage unit 66 the standard conversation sentence shown to the patient P and the model voice of the standard conversation sentence in advance.
  • the routine conversation is stored and shown to the patient P by the monitor 14, and the utterance voice uttered by the patient P reading the routine conversation sentence is acquired by the torso microphone 32 and the head microphone 40.
  • the monitor 14 is provided outside the robot 10 .
  • the present invention is not limited to this, and for example, the monitor is built in the robot or the projector is installed in the robot. It may be built in and project an image around it.
  • the robot 10 is described as having a shape in which the truncated cone-shaped body 22 and the spherical head 20 are connected.
  • the present invention is not limited to this.
  • various shapes may be used as long as the shape is similar to a human being, such as a shape in which a spherical body 122 and a spherical head 20 are connected.
  • the shape of the robot 10 is a shape imitating a human.
  • the present invention is not limited to this, and for example, the shape of an animal such as a dog or a cat is imitated. Also good. In this case, it is desirable to have a shape that allows the patient to feel emotions and is easy to remember.
  • the trunk microphone 32 acquires the user's voice, for example.
  • the head microphone 40 may have different functions, such as acquiring surrounding sounds other than the user.
  • the emotion of the robot 10 is expressed by the two modes of the joy mode or the sadness mode.
  • the present invention is not limited to this, and the lighting pattern of the LED 44 and the head actuator 62 and The emotion of three or more modes of the robot 10 may be expressed by a combination with a driving method of the wheel actuator 60 or the like.
  • the voice input to the head microphone 40 and the torso microphone 32 and the contact with the abdominal touch sensor 26, the head touch sensor 42, the left back touch sensor 28, or the right back touch sensor 30 has been described.
  • the robot 10 may be provided with a physical numeric keypad and pressed, or a barcode reader may be provided to read a barcode, or an IC tag reader may be provided to read an IC card.
  • the robot 10 may receive an instruction command via the head microphone 40 and the torso microphone 32 even while the sound is being output from the speaker 34.
  • the robot 10 may output the same sound from the speaker 34 again when it recognizes “say again” while waiting after outputting the sound from the speaker 34.
  • the present invention is not limited to this, and for example, a pie graph or the like, a numerical value, or the like may be displayed.
  • the display may be performed in a display form that allows the user to recognize at a glance the degree of correctness of the patient's pronunciation.
  • the speech analysis presentation processing is performed for the first character, but the present invention is not limited to this, and the speech analysis presentation processing may be performed for a word at the end of a sentence.
  • the length of the bar graph BG is changed according to the maximum amplitude GA.
  • the present invention is not limited to this, and voice analysis of the input voice and the model voice is performed by various methods.
  • the degree of coincidence may be calculated, and the bar graph may be shortened as the degree of coincidence increases.
  • the bar graph BG is changed to red or green.
  • the present invention is not limited to this, and is changed to three or more colors according to the degree of coincidence between the input voice and the model voice. Also good.
  • the robot 10 may be operated in the joy mode or the sadness mode similarly to the operation answer problem process according to the degree of coincidence between the input voice and the model voice.
  • “ka” or “ta” line is “a” line or “na” line
  • “ga” line or “da” line is “na” line
  • “sa” line is “Sha” line, “za” line to “ja” line, “da” line to “na” line, “cha” line or “nya” line to “ya” line, “na” line
  • the “ha” or “ma” line changes to the “a” line
  • the “b” or “pa” line changes to the “ma” line
  • the “ra” line changes to the “a” line or the “ta” line, respectively. It can be considered.
  • the bar graph BG at the previous training is first displayed, and when the bar graph BG at the current training is displayed, the shape of the bar graph BG is the previous one. You may make it display a mode which changes from the state of training. Thereby, since the patient P can visually recognize the progress from the previous training, the patient P can maintain motivation.
  • the case where the voice data stored in the recording voice library in the storage unit 66 is played back has been described.
  • the audio data may be reproduced.
  • the bar graph is displayed in the voice analysis presentation process.
  • the present invention is not limited to this, and the bar graph may be displayed in the reproduction process.
  • the present invention is not limited to this, and the answer may be entered by writing on a paper with a pen, for example.
  • the auditory person T may visually check the answer written on the paper, make a correct / incorrect determination, and touch the left back touch sensor 28 or the right back touch sensor 30 of the robot 10 to input the correct / error to the robot 10.
  • the auditor may determine whether the answer is correct as in the utterance answer problem process, and the robot 10 may automatically determine whether the answer is correct in the utterance answer problem process.
  • the robot 10 may output from the speaker 34 that “5 seconds have passed” and “10 seconds have passed”, respectively, 5 seconds after and 10 seconds after the start of time measurement.
  • the present invention is not limited to this, and for example, the answer result is displayed on the monitor 14. Also good.
  • the present invention is not limited to this and is stored in the question answer library in the storage unit 66. You may replay the answer results.
  • a bar graph may be presented to the patient Pa, and when the patient Pb reads the standard conversation sentence, the bar graph is displayed to the patient Pb. May be presented.
  • the present invention is not limited to this, and the patient Pa reads the example sentence, and the patient Pb repeats it, You may write it down.
  • a corrected pronunciation may be output from the robot.
  • the robots 10a and 10b communicate using the management center 12 .
  • the present invention is not limited to this, and the robots 10a and 10b autonomously construct a network. So-called ad hoc communication may be performed.
  • the replacement process may be performed by determining one character at a time.
  • the robot 10 stores the example sentence library L1, the question sentence library L2, the standard conversation sentence library L3, and the folder library L4 in the storage unit 66 has been described, but the present invention is not limited thereto.
  • the management center 12 may store various libraries, and the robot 10 may store and reference the library while communicating with the management center 12.
  • the robot 10 performs the voice detection standby processing procedure RT1, the recording / reproduction processing procedure SRT1, the reproduction processing procedure SRT2, the operation answer problem processing procedure SRT3, the utterance answer question processing procedure SRT4, and the utterance duration measurement process procedure.
  • the SRT5 the diatocokinesis processing procedure SRT6, the answer result presentation processing procedure SRT7, the remote communication processing procedure SRT8, the voice analysis presentation processing procedure SRT9 and the voice correction processing procedure SRT10 are executed has been described, the present invention is not limited thereto.
  • the management center 12 may execute processing via the robot 10.
  • control unit 50 of the robot 10 has the voice detection standby program, the recording / playback program, the playback program, the operation answer problem program, the utterance answer problem program, and the utterance duration measurement stored in the ROM 54 in advance.
  • a voice detection standby processing procedure RT1 a recording / playback processing procedure SRT1, a playback processing procedure SRT2, an operation answer Problem processing procedure SRT3, Speech answer problem processing procedure SRT4, Speech duration measurement processing procedure SRT5, Diatocokinesis processing procedure SRT6, Answer result presentation processing procedure SRT7, Remote communication processing procedure SRT8, Speech analysis presentation processing procedure RT9 and was dealt with the case of performing various processes in accordance with the voice correction procedure SRT10 like.
  • control unit 50 of the robot 10 performs the above-described processes in accordance with an application program installed from a storage medium, an application program downloaded from the Internet, and other application programs installed through various acquisition routes. You may do it.
  • the storage unit 66 as the storage unit, the speaker 34 or the monitor 14 as the output unit, the head microphone 40 or the torso microphone 32 as the voice input unit, and the analysis as the analysis unit.
  • the robot 10 as the speech therapy robot is configured by the unit 82, the presentation body creation unit 84 as the presentation body creation unit, and the speaker 34 or the monitor 14 as the presentation unit has been described.
  • a speech therapy robot is configured by a storage unit, an output unit, a voice input unit, an analysis unit, a presentation body creation unit, and a presentation unit having various other configurations. May be.
  • the present invention can be applied to the field of rehabilitation, for example.
  • RAM random access memory
  • 57 Speech therapy processing unit
  • 58 Input / output operation processing unit
  • 60 Wheel actuator
  • 62 Head actuator
  • 64 Communication unit
  • 66 Storage unit
  • 70 Control unit
  • 72 ... ... communication department
  • 74 ... Part
  • 76 CPU
  • 78 ?? ROM
  • 80 RAM
  • P patient
  • T Chokakushi

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Manipulator (AREA)

Abstract

 より有用な機能を提供する。 ロボット10は、スピーカ34により例文を患者Pに示し、当該例文を読み上げた患者Pの発話音声を頭部マイク40及び胴体部マイク32により取得し、模範音声と発話音声とを比較し、模範音声に対する発話音声の正しさを示すバーグラフを提示体作成部により作成し、当該バーグラフをモニタ14により患者Pに提示するようにした。

Description

言語療法ロボット
 本発明は言語療法ロボットに関し、構音障害・失語症のリハビリテーションを行う言語療法ロボットに適用して好適なものである。
 従来、声を出し発語する際に障害が出る構音障害や高次脳機能障害の一つである失語症の患者のリハビリテーション(音声訓練)として、言語聴覚士による言語療法が行われている。
 そのような言語療法において、言語聴覚士における言語療法の補助を行う装置の開発が求められており、そのような装置として、正答の音声と患者の発声とを聞き比べる装置が提案されている(例えば特許文献1参照)。
特開2011-209471公報
 言語療法は、患者の構音障害や文字の意味付けを回復させるためのより効果的な訓練や、患者及び言語聴覚士の負担を軽減するためのより効率の良い訓練が望まれており、そのような言語療法に用いられる装置において、より有用な機能が望まれている。
 本発明は以上の点を考慮してなされたもので、一段と有用な機能を提供し得る言語療法ロボットを提案しようとするものである。
 かかる課題を解決するため本発明の言語療法ロボットにおいては、患者に示す言葉と、当該言葉の模範音声とを予め記憶する記憶部と、言葉を患者に示す出力部と、患者が言葉に応じて発声した発話音声を入力する音声入力部と、模範音声と、発話音声とを比較する分析部と、分析部による分析結果に基づき、模範音声に対する発話音声の正しさを示す提示体を作成する提示体作成部と、提示体を患者に提示する提示部とを設けるようにした。
 この言語療法ロボットは、模範音声に対する患者の発話音声の正しさを、一目瞭然にして患者に示すことができる。
 本発明によれば、言語療法ロボットは、模範音声に対する患者の発話音声の正しさを、一目瞭然にして患者に示すことができる。かくして本発明は、一段と有用な機能を提供し得る言語療法ロボットを実現できる。
言語療法システムの全体構成を示す略線図である。 ロボットの外観構成を示し、(a)は平面図、(b)は正面図、(c)は背面図である。 ロボットの制御構成を示す略線図である。 例文ライブラリの構成を示す略線図である。 問題文ライブラリの構成を示す略線図である。 定型会話文ライブラリの構成を示す略線図である。 フォルダライブラリの構成を示す略線図である。 サーバの回路構成を示す略線図である。 音声検出スタンバイ処理手順を示すフローチャートである。 音声検出スタンバイ処理手順を示すフローチャートである。 録音再生処理手順を示すフローチャートである。 録音再生処理手順を示すフローチャートである。 音声分析提示処理の実行時における制御部の機能ブロック構成を示す略線的ブロック図である。 音声信号波形を示す略線図である。 子音部波形を示す略線図である。 バーグラフを示す略線図である。 音声分析提示処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。 操作解答問題処理手順を示すフローチャートである。 操作解答問題処理手順を示すフローチャートである。 発声解答問題処理手順を示すフローチャートである。 発声解答問題処理手順を示すフローチャートである。 発声持続時間測定処理手順を示すフローチャートである。 ディアトコキネシス処理手順を示すフローチャートである。 解答結果提示処理手順を示すフローチャートである。 遠隔通信処理手順を示すシーケンスチャートである。 遠隔通信処理手順を示すシーケンスチャートである。 遠隔通信処理手順を示すシーケンスチャートである。 遠隔通信処理手順を示すシーケンスチャートである。 音声補正処理の実行時における制御部の機能ブロック構成を示す略線的ブロック図である。 音声が補正される様子を示す略線図である。 音声補正処理手順を示すフローチャートである。 音声補正処理手順を示すフローチャートである。 他の実施の形態によるロボットの外観構成を示し、(a)は平面図、(b)は正面図、(c)は背面図である。
 以下、図面について、本発明の一実施の形態を詳述する。
1.実施の形態
1-1.言語療法システムの構成
 図1に示すように、言語療法システム1は、1つのロボットと1人の患者との間で独立的に訓練を行うものであったり、複数のロボット10(ロボット10a及びロボット10b)と管理センタ12とを含んで構成されるものであったりしてもよい。
 ロボット10は、言語療法が行われる言語療法施設又は言語療法を実施する部屋(以下、言語療法施設と呼ぶ)2a及び2bそれぞれに1台ずつ設置される。
 言語療法施設2aに設置されたロボット10aは、1人又は複数人の患者P(患者Paのみ図示する)と、当該複数人の患者Pの言語療法を行う言語聴覚士(以下では聴覚士と呼ぶ)Taとにより使用される。
 言語療法施設2bに設置されたロボット10bは、1人又は複数人の患者P(患者Pbのみ図示する)と、当該複数人の患者Pの言語療法を行う聴覚士Tbとにより使用される。
 ロボット10a及び10bの管理情報は、ロボット10a及び10bの内部又は管理センタ12のサーバ13によって管理される。管理センタ12は、サーバ13を介しロボット10a及び10bを互いに通信させる。
1-2.ロボットの構成
 図2に示すように、ロボット10は全体として人間を模した構成を有し(これを言語療法ロボットと呼ぶ)、胴体部22と球体状の頭部20とが連結されることにより構成されている。なおロボットの外観形状はこのような円錐台形状に限る必要はなく、より人間に近いものであってもよく、人間以外の動物(例えば、患者Pがそれまで飼っていた犬や猫に似た外観形状の動物等)であっても良い。患者Pに対して愛着を感じさせる外観形状が望ましい。
 頭部20には頭部アクチュエータが内蔵されており、当該頭部20は胴体部22の垂直軸VAとその垂直軸VAに直交する水平軸HAに関して決められた範囲で回転する。かくして、頭部20は左右と上下の2自由度で、決められた範囲内で回転する。なお回転軸は、垂直方向及び水平方向だけでなく、当該垂直方向及び水平方向に対し傾斜する任意の斜めの軸に沿って回転しても構わない。
 胴体部22の下部には左右にそれぞれ車輪24L及び24Rが取り付けられており、当該車輪24L及び24Rは独立して前後に回転する。以下では車輪24L及び24Rをまとめて車輪24とも呼ぶ。これによりロボット10は、前進、後退、旋回、信地旋回、超信地旋回等の動作を行うことができる。
 胴体部22には、正面の中央部分に、人間が触れたことを感知する腹部タッチセンサ26が設けられている。当該腹部タッチセンサ26は、言語療法を行う際、患者Pの準備が完了して実際に言語療法を開始するために操作される。なお、操作は必ずしも腹部タッチセンサ26に限る必要はなく、あくまでも一例であり、その他に設置されたタッチセンサやテンキー、タッチパネル15、頭部マイク40及び胴体部マイク32から集音し得た音声信号など、外部の端末から入力信号によって操作されても構わない。
 また胴体部22には、背面の左右にそれぞれ左背中タッチセンサ28及び右背中タッチセンサ30が設けられている。当該左背中タッチセンサ28は、言語療法を行う際、患者Pが各種問題に解答した解答結果が正解であった場合に操作される。一方右背中タッチセンサ30は、患者Pの解答結果が不正解であった場合に操作される。なお、操作は必ずしも左背中タッチセンサ28及び右背中タッチセンサ30に限る必要はなく、あくまでも一例であり、その他に設置されたタッチセンサやテンキー、タッチパネル15、頭部マイク40及び胴体部マイク32から集音し得た音声信号など、外部の端末から入力信号によって操作されても構わない。以下では左背中タッチセンサ28と右背中タッチセンサ30とをまとめて背中タッチセンサとも呼ぶ。
 胴体部22における腹部タッチセンサ26の上部には、周囲の音声を集音する胴体部マイク32が設けられている。また胴体部22における腹部タッチセンサ26の下面には、音声を発生させるスピーカ34が左右に設けられている。
 胴体部22における背面の下部には、ケーブルが接続される端子36が設けられている。
 頭部20の上部には、人間が触れたことを感知する頭部タッチセンサ42が左右に設けられている。当該頭部タッチセンサ42は、言語療法が行われている際、当該言語療法の作業を終了するために操作される。なお操作は、必ずしも頭部タッチセンサ42に限る必要はなく、あくまでも一例であり、その他に設置されたタッチセンサやテンキー、タッチパネル15、頭部マイク40及び胴体部マイク32から集音し得た音声信号など、外部の端末から入力信号によって操作されても構わない。
 また頭部20には、右目及び左目に相当する位置において、周囲の状況を撮像するCCD(Charge Coupled Device)カメラ38が設けられている。
 CCDカメラ38の上部には、周囲の音声を集音する頭部マイク40が設けられている。
 またCCDカメラ38の下部であり、口に相当する位置には、複数のLED(Light Emitting Diode)44が二次元配列状に設けられている。また、頬に相当する位置にも複数のLED44が設けられている。
 図3に示すように、ロボット10は、胴体部22に設けられた制御部50を中心として各部が接続された構成となっており、当該制御部50によって頭部20及び胴体部22を統括制御する。
 制御部50は、CPU(Central Processing Unit)52が、各種プログラムが格納されたROM(Read Only Memory)54及びCPU52のワークエリアとして使用されるRAM(Random Access Memory)56にデータバス51を介して接続される。
 これにより制御部50は、ROM54に格納されたアプリケーションプログラムを言語療法処理部57及び入出力動作処理部58にそれぞれ取り込ませることにより、ロボット10を用いた言語療法機能を実行する。
 言語療法処理部57は、患者Pに示す問題情報を生成すると共に、問題に対し患者Pが解答した際、解答情報として取り込んで評価して記憶データを生成し、記憶部66に記憶させる。
 さらに言語療法処理部57は、通信部64を介して他のロボット10へ音声信号等を送信すると共に、他のロボット10からの音声信号等を受信し、音声データを生成する。
 入出力動作処理部58は、患者Pや聴覚士Tから指示命令が与えられたとき、対応する応答動作をロボット10が行う動作情報を生成する。また入出力動作処理部58は、入力情報がロボット10に与えられたとき、これを取り込んで対応する出力情報を生成する。
 頭部タッチセンサ42、腹部タッチセンサ26、左背中タッチセンサ28又は右背中タッチセンサ30は、使用者(患者P及び聴覚士T)によるタッチ操作に応じた接触信号を制御部50に送出する。
 頭部マイク40及び胴体部マイク32は、使用者からの指示命令を示す音声を含む周囲の音声を集音して得た音声信号を制御部50に送出する。
 入出力動作処理部58は、頭部マイク40及び胴体部マイク32から受信した音声信号をデジタル変換した後に所定の方式でエンコードすることにより音声データを得て、当該音声データを音声認識することにより、使用者が発声した内容を認識する。
 CCDカメラ38は、ロボット10周辺の人物や周囲の状況を撮像して得た画像信号を制御部50に送出する。
 入出力動作処理部58は、CCDカメラ38から得た画像信号を画像処理することにより画像データを得て、聴覚士T及び患者Pの位置を認識し、聴覚士T及び患者Pが誰なのかを認識する。
 胴体部22には、端子36を介してケーブルによりモニタ14が接続されている。入出力動作処理部58は、各種画像データをモニタ14に出力することにより表示させる。
 モニタ14にはタッチパネル15が組み込まれており、使用者は当該タッチパネル15が組み込まれたモニタ14を操作することにより、各種操作信号を制御部50に入力する。
 このように入出力動作処理部58は、接触信号、操作信号、音声信号及び画像信号を取得することにより、周囲の状況及び使用者の指令を判断する。入出力動作処理部58は判断結果に基づいて次の行動を決定し、各部を駆動させる。
 ロボット10自体を物理的に移動させる場合、入出力動作処理部58は、車輪アクチュエータ60を駆動することにより車輪24を回転させる。これにより入出力動作処理部58は、ロボット10を聴覚士Tや患者Pの方へ移動させ対面させたり、その場で回転させたりする。
 また、頷く等の動作をロボット10に行わせる場合、入出力動作処理部58は、頭部アクチュエータ62を駆動することにより、胴体部22に対し頭部20を上下左右に回転させる。
 さらに話す動作をロボット10に行わせる場合、入出力動作処理部58は、音声信号をスピーカ34に出力し音声を放音させる。
 また、ロボット10の表情を変化させる場合、入出力動作処理部58は、複数のLED44の点灯パターンを制御する。
 例えば、嬉しそうな態度を使用者に示す場合、入出力動作処理部58は、喜びモードでロボット10を行動させる。
 具体的には、入出力動作処理部58は、LED44の点灯パターンを制御することにより、人間が笑っているときの口の形を示すと共に、車輪アクチュエータ60を駆動しロボット10を超信地旋回させることにより、喜んでいる態度を使用者に示す。
 一方、悲しそう態度を使用者に示す場合、入出力動作処理部58は、悲しみモードでロボット10を行動させる。
 具体的には、入出力動作処理部58は、LED44の点灯パターンを制御することにより、人間が悲しんでいるときの口の形を示すと共に、頭部アクチュエータ62を駆動し頭部20を左右に小さく往復させることにより、悲しんでいる態度を使用者に示す。また入出力動作処理部58は、常にLED44の点灯パターンを制御することにより、ロボット10の表現を豊かにし、喜び又は悲しみ以外の態度を示すと共に、動いている様に感じさせる。
 このようにロボット10は、周囲の状況等に基づき、移動する、頭部20を回転させる、話す、表情を変化させる等の、人間に模した行動を行う。
 また言語療法処理部57は、管理センタ12を介し他者と会話する機能が使用者の指示により選択された場合、頭部マイク40及び胴体部マイク32から集音し得た音声信号をエンコードし、記憶部66に音声データとして記憶すると共に、当該音声データを通信部64へ送出する。
 それと共に言語療法処理部57は、管理センタ12から通信部64により受信信号を受信する。
 通信部64は、受信信号を所定の方式に従って復調等することにより受信データに変換し、これを言語療法処理部57へ送出する。言語療法処理部57は、当該受信データをデコードすることにより相手方の音声データを復元し、音声信号としてスピーカ34へ出力する。スピーカは音声信号を基に相手方の音声を出力する。
 記憶部66は例えばフラッシュメモリでなり、図4に示す、患者Pに話させる例文の音声データが、1番、2番及び3番の難易度毎にそれぞれ数種類ずつ格納された例文ライブラリL1を記憶している。
 例文は、難易度1の例文が「おはよう」等の1単語でなり、難易度2の例文が「おはようございます。本日は……。」等の数単語の文章でなり、難易度3の例文が「おはようございます。本日は……。……。」等の5~10の単語で構成される文章で構成されることにより、数字が大きくなるほど難易度が上がるように設定されている。
 また記憶部66は、例文ライブラリL1に記憶されている例文を発音する際の模範的な発音を示す模範音声データを予め記憶している。
 また記憶部66は、図5に示す、患者Pに解答させる問題文が、1番、2番及び3番の難易度毎にそれぞれ数種類ずつ格納された問題文ライブラリL2を記憶している。
 問題文は、難易度1の問題文が「水を飲む時に使う物は?」等の問題でなり、難易度2の問題文が「今の総理大臣は誰?」等の問題でなり、難易度3の問題文が「大化の改新は何年?」等の問題で構成されることにより、数字が大きくなるほど難易度が上がるように設定されている。問題は、クイズの様な問題でも構わないし、なぞなぞの様な問題でも構わないし、逆引き辞書の様に言葉の意味から言葉を連想させるものでも構わない。
 また記憶部66は、問題文ライブラリL2の問題文に対する解答を予め記憶している。
 さらに記憶部66は、図6に示す、複数の患者Pに対話形式で話させる定形会話文が、1番、2番及び3番の難易度毎にそれぞれ数種類ずつ格納された定型会話文ライブラリL3を記憶している。因みに、図6においては難易度1のみを示し、他は省略している。
 定型会話文は、例文ライブラリL1及び問題文ライブラリL2と同様に、難易度の数字が大きくなるほど難易度が上がるように設定されている。
 また記憶部66は、定型会話文ライブラリL3に記憶されている定型会話文を発音する際の模範的な発音を示す模範音声データを予め記憶している。
 さらに記憶部66は、図7に示す、ロボット10を使用する複数の患者Pの解答結果等の各種データが日にち毎に区切ってまとめられたフォルダライブラリL4を記憶している。フォルダライブラリL4は、患者P毎のデータがまとめられた患者フォルダを複数個有している。因みに図7においては、ロボット10aを使用する「患者Pa」の患者フォルダのみを示している。
 患者フォルダは、録音音声ライブラリ、問題解答ライブラリ、質問解答ライブラリ、発声持続時間ライブラリ、ディアトコ回数ライブラリ及び定型会話音声ライブラリにより構成されている。
 録音音声ライブラリは、ロボット10aを使用する患者Pの音声データを、それぞれ当該音声データが記録された際の記録時点と対応付けて記憶している。
 例えば録音音声ライブラリは、患者Paの「A1」というデータ名でなる音声データを、当該音声データが記録された日にち「2012年2月1日」と、当該日にち内での何回目の音声データかを示す「1回目」という記録時点と対応付けて記憶される。以下では、日にち及び当該日にち内での何回目かを示す情報を、記録時点と呼ぶ。
 また録音音声ライブラリは、録音された患者Pの音声と、予め記憶されている模範音声との一致度を記憶している。
 問題解答ライブラリは、ロボット10aが出題した問題に対しモニタ14をタッチして入力した患者Pの解答の正誤及び解答に要した時間を、それぞれ解答された際の日にち及び当該日にち内での何回目かを示す情報である解答時点と対応付けて記憶する。
 例えば問題解答ライブラリは、「2012年2月1日1回目」に行われた問題が「難易度1、問題文1」であって、当該問題に対する患者Paの解答の正誤が「正解」であり、問題が出題されてから解答するまでに患者Paが要した解答時間が「30秒」であることを示している。
 また問題解答ライブラリは、同一の日にちにおいて行われた難易度毎の問題の正答率を記憶する。図7においては、「2012年2月1日」に行われた「難易度1」の問題に対する正答率が「50%」であることを示している。
 質問解答ライブラリは、ロボット10aが出題した問題に対し発声することにより解答した患者Pの解答の正誤及び解答に要した時間を、それぞれ解答時点と対応付けて記憶する。
 また質問解答ライブラリは、同一の日にちにおいて行われた難易度毎の問題の正答率を記憶する。
 発声持続時間ライブラリは、患者Paが発声した所定の言葉の発声持続時間を測定した結果を記憶する。
 ディアトコ回数ライブラリは、患者Paが所定時間内に同じ言葉を発音した回数を計測して結果を記憶する。
 定形会話音声ライブラリは、ロボット10aを使用する患者Paが、ロボット10bを使用する患者Pbと対話形式で会話した際の音声データを、当該音声データが記録された際の記録時点と対応付けて記憶している。
 ロボット10は、使用者の操作指示に従って種々のプログラムを実行することにより、後述する録音再生機能、再生機能、操作解答問題機能、発声解答問題機能、発声持続時間測定機能、ディアトコ機能、解答結果提示機能及び遠隔通信機能、並びにアプリケーションプログラムによる種々の機能を実現するようになされている。
1-3.管理センタの構成
 図8に示すように、管理センタ12はサーバ13を有し、全体として言語療法システム1を使用するロボット10及び患者Pの情報を管理するようになされており、制御部70、通信部72及び記憶部74により構成されている。なお、患者Pの情報は、管理センタ12だけでなく、ロボット10の内部に管理されていても構わない。
 制御部70は、CPU76、ROM78及びRAM80が設けられており、管理センタ12全体を統括制御する。
 記憶部74は、言語療法システム1を使用するロボット10及び患者Pを管理する使用者データベース(図示しない)を記憶している。
 使用者データベースは、現在電源が投入されており使用されているロボット10と、当該ロボット10を使用している患者Pとを対応付けた情報となっている。
 制御部70は、通信部72を介してロボット使用開始通知をロボット10から受信することにより、当該ロボット10の電源が投入され使用されていることを認識し、ロボット10を使用者データベースに登録する。
 一方制御部70は、通信部72を介してロボット使用終了通知をロボット10から受信することにより、当該ロボット10の電源が切断され使用されていないことを認識し、ロボット10を使用者データベースから削除する。
 このように制御部70は、ロボット使用開始通知及びロボット使用終了通知を受信することにより、現在使用されているロボットを認識する。
 また通信部72は、ロボット10bを送信先と指定する送信先情報と音声データとをロボット10aから受信すると、ロボット10bへ当該音声データを送信する。
 一方通信部72は、ロボット10aを送信先と指定する送信先情報と音声データとをロボット10bから受信すると、ロボット10aへ当該音声データを送信する。
 このように管理センタ12は、ロボット10a及びロボット10bに対し、当該管理センタ12を介して互いに音声データを通信させる。
1-4.音声検出スタンバイ処理
 ロボット10aの制御部50aは、図9に示すフローチャートに従った処理を行う。因みに、ロボット10a及び10b(図1)は同じ構成であるため、以下ではロボット10aについてのみ説明する。
 言語療法処理部57aは、例えば聴覚士Taによりロボット10aの電源が投入されると、ROM54から音声検出スタンバイプログラムを読み出して実行することにより音声検出スタンバイ処理手順RT1を開始し、ステップSP1へ移る。
 この音声検出スタンバイ処理において言語療法処理部57aは、使用者からの指示命令となる音声を検出するまで待機する音声検出スタンバイ状態となる。
 ステップSP1において言語療法処理部57aは、ロボット10aの使用を開始したことを示すロボット使用開始通知を、当該ロボット10aを使用している患者Paを示す情報と対応付け、管理センタ12へ送信する。
 ステップSP2において入出力動作処理部58aは、「ろくおん」という言葉を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP3へ移り録音再生処理手順SRT1(詳しくは後述する)に従った処理を行い、ステップSP18(図10)へ移る。
 一方ステップSP2において否定結果が得られた場合、入出力動作処理部58aは、ステップSP4へ移り、「さいせい」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP5へ移り再生処理手順SRT2(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
 一方ステップSP4において否定結果が得られた場合、入出力動作処理部58aは、ステップSP6へ移り、「もんだい」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP7へ移り操作解答問題処理手順SRT3(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
 一方ステップSP6において否定結果が得られた場合、入出力動作処理部58aは、ステップSP8へ移り、「しつもん」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP9へ移り、発声解答問題処理手順SRT4(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
 一方ステップSP8において否定結果が得られた場合、入出力動作処理部58aは、ステップSP10へ移り、「はっせいじかん」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP11へ移り発声持続時間測定処理手順SRT5(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
 一方ステップSP10において否定結果が得られた場合、入出力動作処理部58aは、ステップSP12へ移り、「ディアトコ」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP13へ移りディアトコキネシス処理手順SRT6(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
 一方ステップSP12において否定結果が得られた場合、入出力動作処理部58aは、ステップSP14へ移り、「けっかみせて」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP15へ移り、解答結果提示処理手順SRT7(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
 一方ステップSP14において否定結果が得られた場合、入出力動作処理部58aは、ステップSP16へ移り、「グループ」を音声認識したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP17へ移り、遠隔通信処理手順SRT8(詳しくは後述する)に従った処理を行い、ステップSP18へ移る。
 ステップSP18において入出力動作処理部58aは、例えば聴覚士Taによりロボット10aの電源が切断されたか否かを判定する。ここで肯定結果が得られると、制御部50aは、ステップSP19へ移る。
 一方ステップSP18において否定結果が得られた場合、制御部50aは、ステップSP2へ戻り、再度使用者からの指示命令を待ち受ける。
 ステップSP19において言語療法処理部57aは、ロボット10aの使用を終了したことを示すロボット使用終了通知を、当該ロボット10aを使用している患者Paを示す情報と対応付けて管理センタ12へ送信し、ステップSP20へ移り音声検出スタンバイ処理手順RT1を終了する。
 このように制御部50aは、音声検出スタンバイ状態において、聴覚士Ta又は患者Paからの指示命令となる音声を検出し、当該指示命令に応じた機能を実行する処理を、それぞれのサブルーチンにおいて行う。
1-5.録音再生機能
 制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP3へ移ると、ROM54から録音再生プログラムを読み出して実行することにより、録音再生処理を実行する。
 制御部50aは、この録音再生処理を実行することにより、頭部マイク40及び胴体部マイク32により集音して得た音声信号をエンコードし、記憶部66における録音音声ライブラリに音声データとして記憶する。なお制御部50aは、頭部マイク40及び胴体部マイク32だけでなく、外部に接続したマイクから音声信号を集音しても構わない。
 それと共に制御部50aは、一旦録音音声ライブラリに記憶した音声データをデコードして音声信号とし、スピーカ34に出力することにより放音させる。なお制御部50aは、スピーカ34だけでなく、外部に接続したスピーカに音声信号を出力しても構わない。
1-5-1.録音再生処理手順
 制御部50aは、録音再生処理手順SRT1(図11)を開始し、ステップSP21へ移る。
 ステップSP21において入出力動作処理部58aは、スピーカ34から「ろくおんですね。名前を教えて」と出力し、ステップSP22へ移り待機する。
 ステップSP22において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者の音声に基づき、フォルダライブラリL4(図7)において音声データを記憶する患者フォルダを決定し、ステップSP23へ移る。
 具体的には言語療法処理部57aは、患者Paを示す「Aさん」を音声認識すると、フォルダライブラリL4の患者Paの患者フォルダにおける録音音声ライブラリに、この後の処理において受信する音声データを記憶すると決定する。
 ステップSP23において入出力動作処理部58aは、スピーカ34から「Aさんですね」と出力し、ステップSP24へ移り待機する。
 ステップSP24において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで例えば「いいえ」を音声認識することにより否定結果が得られると、言語療法処理部57aはステップSP21へ戻り、患者Pの名前を再度待ち受ける。
 一方ステップSP24において肯定結果が得られると、入出力動作処理部58aは、スピーカ34から「何番のレベルをやりますか」と出力し、ステップSP26へ移り待機する。
 ステップSP26において言語療法処理部57aは、例えば「1番」を音声認識すると、例文ライブラリL1における難易度「1番」を選択し、ステップSP27へ移る。
 ステップSP27において入出力動作処理部58aは、スピーカ34から「1番ですね」と出力し、ステップSP28へ移り待機する。
 ステップSP28において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで例えば「いいえ」を音声認識することにより否定結果が得られると、言語療法処理部57aはステップSP25へ戻り、例文の難易度の指定を再度待ち受ける。
 一方ステップSP28において肯定結果が得られると、入出力動作処理部58aはステップSP29へ移り、スピーカ34から「準備ができたらお腹を触ってください」と出力し、ステップSP30へ移る。
 ステップSP30において入出力動作処理部58aは、車輪アクチュエータ60を駆動することにより車輪24を回転させ、CCDカメラ38から得られた画像信号に基づき患者Paの方に胴体部22の正面を向ける。このようにロボット10aは、腹部タッチセンサ26を患者Paに向けることにより、患者Paに対し当該腹部タッチセンサ26に触りやすくすることができる。
 ステップSP31において言語療法処理部57aは、腹部タッチセンサ26から接触信号を受信したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP29へ戻り、患者Paの準備が整うまで待機する。
 一方ステップSP31において肯定結果が得られると、言語療法処理部57aはステップSP32へ移り、指定した難易度「1番」の複数の例文から1つの例文を選択して、スピーカ34から例えば例文1の「おはよう」を出力し、ステップSP33へ移る。
 ステップSP33において入出力動作処理部58aは、スピーカ34から「続けて言ってみてください。終わったら頭を撫でてください。どうぞ」と出力することにより、患者Paに対し音声を復唱することを促し、ステップSP34へ移る。
 ステップSP34において入出力動作処理部58aは、車輪アクチュエータ60を駆動することにより車輪24を回転させ、CCDカメラ38から得られた画像信号に基づき患者Paの方に胴体部22及び頭部20の正面を向ける。これによりロボット10aは、頭部マイク40及び胴体部マイク32を患者Paに向け、当該患者Paの音声を確実に集音することができる。
 ステップSP35において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声に基づく音声データを、ステップSP22において決定した患者フォルダにおける録音音声ライブラリに、現在の日にち及び本日における何回目の音声データかを示す記録時点と対応付け記憶する。これによりロボット10aは、患者Paの音声を録音する。
 ステップSP36において言語療法処理部57aは、頭部タッチセンサ42から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP41へ移る。
 一方ステップSP36において否定結果が得られると、言語療法処理部57aはステップSP37へ移り、ステップSP35の処理開始時点から(すなわち録音を開始してから)3分が経過したか否かを判定する。
 ここで否定結果が得られると、言語療法処理部57aはステップSP36へ移り、録音の終了指示を待ち受ける。
 一方ステップSP37において肯定結果が得られると、入出力動作処理部58aはステップSP38へ移り、スピーカ34から「終わったら頭を撫でてください」と出力することにより、患者に対し、録音が終了した場合頭部タッチセンサ42に触れることを再度促し、ステップSP39へ移る。
 ステップSP39において言語療法処理部57aは、頭部タッチセンサ42から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP41へ移る。
 一方ステップSP39において否定結果が得られると、言語療法処理部57aは、ステップSP38の処理完了時点から(すなわち録音が終了した場合頭部タッチセンサ42に触れることを再度促してから)1分が経過したか否かを判定する。
 ここで否定結果が得られると、言語療法処理部57aはステップSP39へ移り、録音の終了指示を待ち受ける。
 一方ステップSP40において肯定結果が得られると、入出力動作処理部58aは、一定時間待機しても録音の終了指示がないため、ステップSP49へ移りスピーカ34から「ろくおん、おしまい」と出力することにより、録音再生機能を終了することを患者に伝えた後、ステップSP50へ移り録音再生処理手順SRT1を終了する。
 これに対しステップSP41において入出力動作処理部58aは、スピーカ34から「では、音声を聞いてみましょう」と出力することにより、患者Paに対し、録音した患者Pa自身の音声を聞くことを促し、ステップSP42へ移る。
 ステップSP42において制御部50は、音声分析提示処理手順SRT9(詳しくは後述する)に従った処理を行って分析結果をモニタ14aに表示し、ステップSP43へ移る。
 ステップSP43において入出力動作処理部58aは、録音した患者Pa自身の音声データを録音音声ライブラリから選択してスピーカ34から出力し、ステップSP44へ移る。
 このようにロボット10aは、患者Paが発声した直後に、当該患者Paに対し自身の音声を聞かせることにより、患者Paがどのように発音したかを忘れないうちに自身の音声を確認させることができる。
 ステップSP44において入出力動作処理部58aは、スピーカ34から「もう一度聞く場合はお腹を触ってください。やめる場合は頭を撫でてください。次の例文に行く場合は背中を触ってください。」と出力しステップSP45へ移る。
 ステップSP45において言語療法処理部57aは、腹部タッチセンサ26から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、入出力動作処理部58aはステップSP43へ移り、録音した音声を再度スピーカ34から出力する。
 一方ステップSP45において否定結果が得られると、言語療法処理部57aはステップSP46へ移り、頭部タッチセンサ42から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP49を介してステップSP50へ移り録音再生処理手順SRT1を終了する。
 一方ステップSP46において否定結果が得られると、言語療法処理部57aはステップSP47へ移り、左背中タッチセンサ28又は右背中タッチセンサ30から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、言語療法処理部57aはステップSP32へ移り、指定した難易度「1番」の複数の例文から前回とは異なる1つの例文を選択して、スピーカ34から例えば例文2の「こんにちは」を出力する。
 一方ステップSP47において否定結果が得られると、言語療法処理部57aはステップSP48へ移り、ステップSP44の処理完了時点から(すなわち頭部タッチセンサ42、腹部タッチセンサ26、左背中タッチセンサ28又は右背中タッチセンサ30への接触を促してから)3分が経過したか否かを判定する。
 ここで否定結果が得られると、言語療法処理部57aはステップSP44へ移り、録音音声を聞くか、録音再生処理を終了するか、又は次の例文に進むかの指示を再度待ち受ける。
 一方ステップSP48において肯定結果が得られると、一定時間待機しても指示がないため、言語療法処理部57aはステップSP49を介してステップSP50へ移り録音再生処理手順SRT1を終了する。
 このようにロボット10aは、使用者の指示により録音再生機能が選択された場合、例文を患者Paに対し読み上げて、当該例文を患者Paに復唱させ、患者Paの音声を記録し、当該記録した音声を再生することができる。
1-5-2.音声分析提示機能
 制御部50aは、録音再生処理手順SRT1(図12)においてステップSP42へ移ると、ROM54から音声分析提示プログラムを読み出して実行することにより、音声分析提示処理を実行する。
 このとき制御部50aは、図13に示すように、分析部82、提示体作成部84及び判定部86として機能する。
 上述したように、記憶部66は、例文ライブラリL1(図4)に記憶されている例文を発音する際の模範的な発音を模範音声データとして記憶している。
 ところで構音障害の患者は、例えば「がく」という言葉を発音しようとした際、「が」行が、実際の発音としては「な」行になってしまい、「なく」と発音してしまうなど、ある特定の子音が発音しにくくなる場合がある。
 図14(a)に「が」の音の信号波形を、図14(b)に「な」の音の信号波形を示すように、それぞれの音は、振幅が比較的小さい子音部と、振幅が比較的大きい母音部とから構成されている。
 図14(a)における「が」の子音部を拡大した信号波形である「が」子音部波形WGを図15(a)に、図14(b)における「な」の子音部を拡大した「な」子音部波形WNを図15(b)に示す。
 「が」子音部波形WGには、中央やや左側に位置する第1分析区間AA1において、「か」の音の特徴となる波形が現れている。
 また、「が」子音部波形WGの子音部の最終部分(右端)に位置する第2分析区間AA2には、濁音の特徴となる波形である濁音特徴波形が現れている。
 一方、「な」子音部波形WN(図15(b))には、中央やや左側に位置する第1分析区間AA1において、「な」の音の特徴となる波形が現れているが、第2分析区間AA2には、濁音特徴波形が現れていない。
 分析部82(図13)は、頭部マイク40及び胴体部マイク32から音声信号(以下、入力音声信号とも呼ぶ)を受信し分析を行う。このとき分析部82は、正しい発音としては「が」であるにもかかわらず、図14(a)に示した「な」の音声信号を受信したとする。
 分析部82は、「な」の音声信号から、図15(b)に示した「な」子音部波形WNを得て、第1分析区間AA1における最大の振幅の絶対値である最大振幅GA(0.17V)を検出する。
 提示体作成部84は、分析部82により検出した第1分析区間AA1における最大振幅GAに応じた上下方向の長さでなるバーグラフBG(図16)の画像データを生成する。すなわち、入力音声の第1分析区間AA1における最大振幅GAが大きいほどバーグラフBGの長さは長くなる。
 また分析部82は、「な」子音部波形WNの第2分析区間AA2において濁音特徴波形が存在するか否かを判定する。分析部82により濁音特徴波形が存在しないと判定されると、提示体作成部84は、赤色のバーグラフBGを生成する。
 一方分析部82により濁音特徴波形が存在すると判定されると、提示体作成部84は、緑色のバーグラフBGを生成する。
 「な」の入力音声に対し、提示体作成部84は、図16(a)に示すバーグラフBG1を生成する。バーグラフBG1は、赤色でなり、長さが長く構成されている。
 さらに分析部82は、「が」の模範音声の分析を行う。分析部82は、「が」の音声信号から、図15(a)に示した「が」子音部波形WGを得て、第1分析区間AA1における最大振幅GA(0.1V)を検出する。
 提示体作成部84は、分析部82により検出した「が」子音部波形WGの第1分析区間AA1における最大振幅GAに応じ、バーグラフBGと重ねて、適正範囲線LCを破線で生成する。
 この適正範囲線LCは、発音が適切であったか否かを示すものであり、バーグラフBGの長さが短くなり、適正範囲線LCを下回って適正範囲RCに収まった場合、判定部86は、患者の発音が適切であったと判定する。
 また判定部86は、適正範囲線LCに対しバーグラフBGの長さがどれだけ近づいているか、すなわち模範音声に対する入力音声の適切さを算出し、患者フォルダの録音音声ライブラリにおける一致度として記憶する。
 かかる構成において、適切な発音が「が」である場合に「な」が入力されると、提示体作成部84は、図16(a)に示すように、長さが適正範囲線LCを超えてしまっており、かつ赤色のバーグラフBG1を作成する。
 また、「か」が入力されると、「な」よりは適切な発音である「が」に近づいたが濁音の成分が含まれていないため、提示体作成部84は、図16(b)に示すように、長さはバーグラフBG1と等しいが緑色のバーグラフBG2を作成する。
 さらに、「か」と「が」との間の発音である場合、提示体作成部84は、図16(c)に示すように、緑色であり、長さがバーグラフBG2よりも短いバーグラフBG3を作成する。このとき提示体作成部84は、入力音声の第1分析区間AA1の最大振幅GAに基づきバーグラフBG3の長さを設定する。
 さらに、「が」が入力された場合、提示体作成部84は、図16(d)に示すように、緑色であり、かつ長さが適正範囲線LC以下であるバーグラフBG4を作成する。
 このように制御部50aは、患者の発音の適正度合いを、バーグラフBGの長さ及び色で表現すると共に、適正範囲線LCをバーグラフBGと重ねて表示することにより、患者に対し、患者自身の発音が模範データに対しどの程度正しいかを、一目瞭然にして示すことができる。
 第1分析区間AA1における最大振幅GAは、「な」の音から「が」の音に近づくに連れて大きくなる傾向がある。このため提示体作成部84は、分析部82により検出された入力音声の最大振幅GAに基づくだけで、適切な発音になるに連れて短くなるバーグラフBGを生成できる。
1-5-3.音声分析提示処理手順
 制御部50aは、音声分析提示処理手順SRT9(図17)を開始し、ステップSP51へ移る。
 ステップSP51において制御部50aは、分析部82により模範音声の第1分析区間AA1を分析して最大振幅GAを検出し、ステップSP52へ移る。
 ステップSP52において制御部50aは、模範音声の第1分析区間AA1における最大振幅GAに基づき、提示体作成部84により適正範囲線LCを設定し、ステップSP53へ移る。
 ステップSP53において制御部50aは、分析部82により入力音声の第1分析区間AA1を分析して最大振幅GAを検出し、ステップSP54へ移る。
 ステップSP54において制御部50aは、入力音声の第1分析区間AA1における最大振幅GAに基づき、提示体作成部84によりバーグラフBGの長さを設定し、ステップSP55へ移る。
 ステップSP55において制御部50aは、分析部82により入力音声の第2分析区間AA2に濁音特徴波形が存在するか否かを判定する。ここで否定結果が得られると、このことは患者Pが濁音を発音できなかったことを意味し、このとき制御部50aはステップSP58へ移り、提示体作成部84によりバーグラフBGの色を赤色にし、ステップSP59へ移る。
 一方ステップSP55において肯定結果か得られると、このことは患者Pが濁音を発音できたことを意味し、このとき制御部50aはステップSP57へ移り、提示体作成部84によりバーグラフBGの色を緑色にし、ステップSP59へ移る。
 ステップSP59において制御部50aは、提示体作成部84により作成したバーグラフBG及び適正範囲線LCをモニタ14aに表示し、ステップSP60へ移る。
 ステップSP60において制御部50aは、判定部86によりバーグラフBGが適正範囲RC内であるか否かを判定する。ここで肯定結果が得られると、制御部50aはステップSP61へ移り、判定部86によりバーグラフBGが緑色であるか否かを判定する。
 ステップSP61において肯定結果が得られると、このことは、患者Pの発音が正しかったことを意味し、このとき制御部50aはステップSP62へ移り、スピーカ34から「ピンポーン」と出力することにより、発音が正しかったことを患者Pに伝え、ステップSP64へ移り、音声分析提示処理手順SRT9を終了する。
 一方ステップSP60又はステップSP61において否定結果が得られると、このことは患者Pの発音が不適切であったことを意味し、このとき制御部50aはステップSP63へ移り、スピーカ34から「もう一度頑張ろう」と出力することにより、発音が不適切であったことを患者Pに伝え、ステップSP64へ移り、音声分析提示処理手順SRT9を終了する。
1-5-4.録音再生機能の動作及び効果
 以上の構成において、ロボット10は、患者Pが発声した音声を録音して再生する。
 このためロボット10は、患者Pに訓練のフィードバックをすることができる。これにより患者Pは、自身の声を確認することができ、構音障害の回復を早くすることができる。
 また聴覚士Tは、ロボット10に記録されている情報を確認することにより、患者Pの構音障害の状況を把握し、どの程度改善されているかを知ることができるため、言語療法の作業効率を高めることができる。
 またロボット10は、人間を模した行動を取るようにした。これにより患者Pは、ロボット10に対し愛着や親しみを持ちやすく、単なる電子機器を相手に言語療法を行うよりも、感情を伴った訓練を行うことができる。
 また従来、言語療法の現場ではカセットテープが使用されていたため、録音後の頭出し等が不便であった。これに対しロボット10においては、フラッシュメモリでなる記憶部66に音声データを記憶するため、極めて簡便に音声データを再生することができる。
 また制御部50は、音声分析提示処理において、患者Pの発音の分析結果を瞬時に可視化することにより、患者P及び聴覚士Tに訓練結果をフィードバックでき、その場の訓練の指標を提供することができる。
 例えば、単純に模範音声と録音音声の波形を並べて表示しただけでは、患者Pは自分の音声が正しいのか理解しにくい。
 これに対し本実施の形態においては、バーグラフBGと共に適正範囲線LCを表示するため、患者Pは自分の発音の正しさを一目瞭然にして知ることができる。
 また、構音障害の患者の多くは高齢者であったり、半身マヒがあったりするために、細かい動作を行うことが難しい。
 これに対しロボット10は、次に患者Pが何を行えば良いかを示して患者Pを誘導しながら、発声させたりロボット10を触らせたり等のシンプルな動作により指示入力させることができる。
 以上の構成によれば、ロボット10は、スピーカ34により例文を患者Pに示し、当該例文を読み上げた患者Pの発話音声を頭部マイク40及び胴体部マイク32により取得し、模範音声と発話音声とを比較し、模範音声に対する発話音声の正しさを示すバーグラフを提示体作成部84により作成し、当該バーグラフをモニタ14aにより患者Pに提示するようにした。
 これによりロボット10は、模範音声に対する患者Pの発話音声の正しさを、一目瞭然にして患者Pに示すことができる。
1-6.再生機能
 制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP5へ移ると、ROM54から再生プログラムを読み出して実行することにより、再生処理を実行する。
 制御部50aは、この再生処理を実行することにより、記憶部66における録音音声ライブラリに記憶された音声データをデコードして音声信号とし、スピーカ34に出力することにより放音させる。
1-6-1.再生処理手順
 制御部50aは、再生処理手順SRT2(図18)を開始し、ステップSP71へ移る。
 ステップSP71において入出力動作処理部58aは、スピーカ34から「さいせいですね。名前を教えて」と出力し、ステップSP72へ移り待機する。
 ステップSP72において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者の音声に基づき、フォルダライブラリL4(図7)において音声データを再生する患者フォルダを決定し、ステップSP73へ移る。ここで言語療法処理部57aは、「Aさん」を音声認識したとする。
 ステップSP73において入出力動作処理部58aは、スピーカ34から「Aさんですね」と出力し、ステップSP74へ移り待機する。
 ステップSP74において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP71へ戻り、患者Pの名前を再度待ち受ける。
 一方ステップSP74において肯定結果が得られると、入出力動作処理部58aはステップSP75へ移り、ステップSP72において決定した患者フォルダにおける録音音声ライブラリをモニタ14aに一覧表示する。
 ステップSP76において入出力動作処理部58aは、スピーカ34から「いつの何回目のファイルにしますか」と出力し、ステップSP77へ移り待機する。
 ステップSP77において言語療法処理部57aは、例えば「2012年2月1日1回目」を音声認識すると、当該指定された記録時点における音声データを録音音声ライブラリから選択し、ステップSP78へ移る。
 ステップSP78において入出力動作処理部58aは、スピーカ34から、ステップSP77において指定された音声データの記録時点を示す「2012年2月1日1回目ですね」と出力し、ステップSP79へ移り待機する。
 ステップSP79において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP75へ戻り、再生する音声データの指定を再度待ち受ける。
 一方ステップSP79において肯定結果が得られると、入出力動作処理部58aはステップSP80へ移り、スピーカ34から、指定された音声データである「A1」(図7)の音声を出力し、ステップSP81へ移る。
 ステップSP81において入出力動作処理部58aは、スピーカ34から「もう一度言いますか?」と出力し、ステップSP82へ移り待機する。
 ステップSP82において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで肯定結果が得られると、入出力動作処理部58aはステップSP80へ戻り、指定された音声をスピーカ34から再度出力する。
 一方ステップSP82において否定結果が得られると、入出力動作処理部58aはステップSP83へ移り、スピーカ34から「さいせい、おしまい」と出力することにより、再生機能を終了することを患者に伝えた後、ステップSP84へ移り再生処理手順SRT2を終了する。
 このようにロボット10aは、上述した録音再生機能において録音直後に音声を再生するだけでなく、使用者の指示により再生機能が選択された場合には、予め記録した患者Paの音声を、ある程度時間が経った後にも再生機能により再生し、使用者に聞かせることができる。
1-7.操作解答問題機能
 制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP7へ移ると、ROM54から操作解答問題プログラムを読み出して実行することにより、操作解答問題処理を実行する。
 制御部50aは、この操作解答問題処理を実行することにより、必要に応じて、記憶部66における問題文ライブラリL2(図5)の問題文の画像データをモニタ14aに表示させることができる。
 それと共に制御部50aは、患者Paがモニタ14aをタッチすることにより入力した解答を操作信号として取得、又は患者Paが口頭で解答した答えを音声信号として取得する。
1-7-1.操作解答問題処理手順
 制御部50aは、操作解答問題処理手順SRT3(図19)を開始し、ステップSP91へ移る。
 ステップSP91において入出力動作処理部58aは、スピーカ34から「もんだいですね。名前を教えて」と出力し、ステップSP92へ移り待機する。
 ステップSP92において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者の音声に基づき、フォルダライブラリL4(図7)において解答結果を記憶する患者フォルダを決定し、ステップSP93へ移る。
 制御部50aは、ステップSP93からステップSP101までは、録音再生処理手順SRT1(図11及び図12)におけるステップSP23からステップSP31までと同様の処理を行う。但し、ステップSP96においては、指定された難易度(例えば「1番」)の問題文を問題文ライブラリL2から選択する。
 ステップSP102において入出力動作処理部58aは、スピーカ34から「では問題スタート。どうぞ」と出力することにより、患者Paに対し問題を解くことを促し、ステップSP103へ移る。
 ステップSP103において入出力動作処理部58aは、指定された難易度の複数の問題文から1つの問題文を選択して、例えば「日本の首都はどこ?」を示す画像をモニタ14aに表示又はスピーカ34から音声として出力し、ステップSP104へ移る。このとき入出力動作処理部58aは、必要に応じて、問題と共に、キーボードを示す画像をモニタ14aに表示する。
 ステップSP104において言語療法処理部57aは計時動作を開始し、ステップSP105へ移る。
 ステップSP105において入出力動作処理部58aは、患者Paの方に胴体部22の正面を向け、ステップSP106へ移り、タッチパネル15から操作信号を受信したか否か又は、患者Paが発する解答を音声信号として受信したか否かを判定することにより、問題の解答を待ち受ける。
 このとき患者Paは、モニタ14aに表示された問題に対し、モニタ14aに表示されたキーボード画面をタッチすることにより、解答を入力する。
 ステップSP106において肯定結果が得られると言語療法処理部57aはステップSP107へ移り、計時動作を終了することにより、患者Paが問題の解答に要した時間を測定し、ステップSP109へ移る。
 一方ステップSP106において否定結果が得られると、言語療法処理部57aはステップSP108へ移り、ステップSP103の処理開始時点から(すなわち問題を患者Paに提示してから)5分が経過したか否かを判定する。
 ここで否定結果が得られると、言語療法処理部57aはステップSP106へ移り、患者の解答を待ち受ける。
 一方ステップSP108において肯定結果が得られると、このことは解答する時間として設定された時間である5分間を経過したことを意味し、このとき言語療法処理部57aはステップSP118へ移る。
 これに対しステップSP109において言語療法処理部57aは、キーボードを操作することにより患者Paが入力した解答が正解であったか否かを判定し、解答時点、問題文、正誤及び解答時間を問題解答ライブラリに記憶する。
 ステップSP110において入出力動作処理部58aは、患者Paの解答が正解であった場合、ステップSP111へ移り、スピーカ34から「正解!」と出力し、ステップSP112へ移る。
 ステップSP112において入出力動作処理部58aは、ロボット10aを喜びモードで行動させる。すなわち入出力動作処理部58aは、車輪アクチュエータ60を駆動することによりロボット10aを超信地旋回させると共に、LED44を制御して笑顔の表情を示すことにより、嬉しそうな態度を患者Paに示し、ステップSP115へ移る。
 一方ステップSP110において患者Paの解答が不正解であった場合、入出力動作処理部58aはステップSP113へ移り、スピーカ34から「残念!」と出力し、ステップSP114へ移る。
 ステップSP114において入出力動作処理部58aは、ロボット10aを悲しみモードで行動させる。すなわち入出力動作処理部58aは、頭部アクチュエータ62を駆動することにより、頭部20を左右に小さく往復させると共に、LED44を制御して落胆の表情を示すことにより、悲しそうな態度を患者Paに示し、ステップSP115へ移る。
 このようにロボット10aは、患者Paの解答が正解か否かを、発声、頭部20の回転及び表情の変化により患者Paに伝えることにより、患者Paは、ロボット10aの行動を見て、正解か不正解かを一目瞭然に判断できる。
 ステップSP115において言語療法処理部57aは、「次」を音声認識すると、ステップSP116へ移った後にステップSP103へ戻り、指定された難易度の問題文から、今回出題した問題文以外の問題文を選択して出題する。
 ステップSP115において「次」を音声認識しなかった場合、言語療法処理部57aはステップSP117へ移って指定された難易度の正答率を算出し、問題解答ライブラリに記憶してステップSP118へ移る。
 ステップSP118において入出力動作処理部58aは、スピーカ34から「もんだい、おしまい」と出力することにより、操作解答問題機能を終了することを患者に伝えた後、ステップSP119へ移り操作解答問題処理手順SRT3を終了する。
 このようにロボット10aは、使用者の指示により操作解答問題機能が選択された場合、文章問題を患者Paに対し提示し、当該問題の解答をタッチパネル15により解答させると共に、解答時間を測定することができる。
1-7-2.操作解答問題機能の動作及び効果
 以上の構成において、ロボット10は、患者Pの解答時間を計測しながら操作信号を受信し、患者Pが正解を入力したか否かを判定し、使用者に対し正誤を音声出力すると共に、喜びモード又は悲しみモードで伝えるようにした。
 これにより患者Pは、自分の解答が正解か否かを、ロボット10の発声及び行動により一目瞭然に判断できる。
 またロボット10は、解答結果及び正答率を記憶部66に記憶することにより、使用者は、患者Pの長期的な訓練経過を把握できる。
 従来は、聴覚士Tがストップウォッチを用いて解答時間を測定していたため、非常に煩雑であった。
 これに対しロボット10においては、ロボット10が自動的に解答時間を測定すると共に記録するため、聴覚士Tの負担を軽減させ、言語療法の効率を向上させることができる。
 また従来は、聴覚士Tが患者Pの目の前で解答時間を測定していたため、患者Pに心理的なプレッシャーを与えてしまい、このような訓練を実施しにくかった。
 これに対しロボット10においては、聴覚士Tが患者Pの目の前で計測せずに、ロボット10が患者Pに直接分からないように計測しているため、患者Pは心理的なプレッシャーが軽減され、効果的に訓練を実施することができる。
 以上の構成によれば、動物の形状を模したロボット10は、患者Pに示す問題を予め記憶部66に記憶し、当該問題を患者Pに示し、当該問題に対する患者Pの解答を取得し、患者Pの言語能力の状態を判定する際に指標となる解答時間を計測するようにした。
 これによりロボット10は、患者Pが問題に解答する時間を測定するという一段と有用な機能を提供することができる。
1-8.発声解答問題機能
 制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP9へ移ると、ROM54から発声解答問題プログラムを読み出して実行することにより、発声解答問題処理を実行する。
 制御部50aは、この発声解答問題処理を実行することにより、必要に応じて、記憶部66における問題文ライブラリL2(図5)の問題と共に、問題文の画像データをモニタ14aに出力することにより表示させる。
 それと共に制御部50aは、患者Paが発声した解答を頭部マイク40及び胴体部マイク32により集音する。
1-8-1.発声解答問題処理手順
 制御部50aは、発声解答問題処理手順SRT4(図21)を開始し、ステップSP121へ移る。
 ステップSP121において入出力動作処理部58aは、スピーカ34から「しつもんですね。名前を教えて」と出力し、ステップSP122へ移り待機する。
 制御部50aは、ステップSP122からステップSP131までは、操作解答問題処理手順SRT3(図19)におけるステップSP92からステップSP101までと同様の処理を行う。
 ステップSP132において入出力動作処理部58aは、スピーカ34から「では、1番の問題を見てみましょう。問題を読んで答えてください。どうぞ」と出力することにより、患者Paに対し問題に対する解答を発声することを促し、ステップSP133へ移る。
 制御部50aは、ステップSP133からステップSP135までは、操作解答問題処理手順SRT3(図19)におけるステップSP103からステップSP105までと同様の処理を行う。
 ステップSP136において入出力動作処理部58aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声信号を受信し、ステップSP137において頭部タッチセンサ42からの接触信号の受信を待機する。
 ここで否定結果が得られると、患者Paは解答中であるため、言語療法処理部57aはステップSP136へ移り、患者の解答を待ち受ける。
 一方ステップSP137において肯定結果が得られると、このことは患者Paが解答を終了したことを意味し、言語療法処理部57aはステップSP138へ移り、計時動作を終了することにより、患者Paが問題の解答に要した時間を測定する。
 この発声解答問題機能においては、患者Paが問題に対し発声して解答すると、聴覚士Taがその正誤を判定し、ロボット10aの左背中タッチセンサ28又は右背中タッチセンサ30にタッチすることにより、正解又は不正解をロボット10aに入力する。若しくは、言語療法処理部57aは、患者Paが音声入力した解答が、正解の解答と同じか否かを判定し、解答時点、問題文、正誤及び解答時間を問題解答ライブラリに記憶する。このとき言語療法処理部57aは、正解であると判定する。
 また、ステップSP139において言語療法処理部57aは、右背中タッチセンサ30から接触信号を受信したか否かを判定する。ここで肯定結果が得られると、患者Paの解答が正解であったため、入出力動作処理部58aはステップSP140へ移りスピーカ34から「正解!」と出力し、ステップSP141へ移りロボット10aを喜びモードで行動させてステップSP145へ移る。
 一方ステップSP139において否定結果が得られると、言語療法処理部57aは、ステップSP142へ移り、左背中タッチセンサ28から接触信号を受信したか否かを判定する。ここで肯定結果が得られる又は、ステップSP136において取得した音声信号により示される患者Paの解答と、記憶部66に予め記憶されている模範解答とが一致していない場合、患者Paの解答が不正解であったため、入出力動作処理部58aはステップSP143へ移りスピーカ34から「残念!」と出力し、ステップSP144へ移りロボット10aを悲しみモードで行動させてステップSP145へ移る。
 ステップSP145において言語療法処理部57aは患者Paが発声した解答の解答時点、問題文、正誤及び解答時間を質問解答ライブラリに記憶する。
 制御部50aは、ステップSP146からステップSP148までは、操作解答問題処理手順SRT3(図20)におけるステップSP116からステップSP118までと同様の処理を行う。
 ステップSP149において入出力動作処理部58aは、スピーカ34から「しつもん、おしまい」と出力することにより、発声解答問題機能を終了することを使用者に伝えた後、ステップSP150へ移り発声解答問題処理手順SRT4を終了する。
 このようにロボット10aは、使用者の指示により発声解答問題機能が選択された場合、文章問題を患者Paに対し提示し、当該問題の解答を発声させて解答させると共に、解答時間を測定することができる。
1-8-2.発声解答問題機能の動作及び効果
 以上の構成において、ロボット10は、患者Pの解答時間を計測しながら音声信号を受信し、聴覚士Tの操作に基づき使用者に対し正誤を音声出力すると共に、喜びモード又は悲しみモードで伝えるようにした。
 これにより患者Pは、自分の解答が正解か否かを、ロボット10の発声及び行動により一目瞭然に判断できる。
 ロボット10が、文字として書かれた質問を読み解答するという訓練を患者Pに行わせることにより、聴覚士Tは、患者Pの文章理解度を把握することができる。
 従来は、聴覚士Tが紙に書かれた問題を患者Pに読ませ、その場で問題に答えてもらっていたため、どの程度正答率があったのか、どの位のスピードで解答できたのかは記録できなかった。
 これに対しロボット10においては、聴覚士Tの簡易な動作により、正解、不正解及び解答時間を記録し、正答率を算出することができ、言語療法の効率を高めることができる。
 その他発声解答問題処理においてロボット10は、操作解答問題処理の場合とほぼ同様の作用効果を奏し得る。
1-9.発声持続時間測定機能
 制御部50aは、音声検出スタンバイ処理手順RT1(図9)においてステップSP11へ移ると、ROM54から発声持続時間測定プログラムを読み出して実行することにより、発声持続時間測定処理を実行する。
 制御部50aは、この発声持続時間測定処理を実行することにより、患者Paが発声した所定の言葉を頭部マイク40及び胴体部マイク32により集音し、発声持続時間を測定して記憶部66における発声持続時間ライブラリに記憶する。
1-9-1.発声持続時間測定処理手順
 制御部50aは、発声持続時間測定処理手順SRT5(図23)を開始し、ステップSP151へ移る。
 ステップSP151において入出力動作処理部58aは、スピーカ34から「はっせいじかんですね。名前を教えて」と出力し、ステップSP152へ移り待機する。
 制御部50aは、ステップSP152からステップSP154までは、発声解答問題処理手順SRT4(図21)におけるステップSP122からステップSP124までと同様の処理を行う。
 ステップSP155において入出力動作処理部58aは、スピーカ34から「息の続く限り『あー』と言い続けてください。準備ができたらお腹を触ってください」と出力し、ステップSP156へ移る。
 ステップSP156において入出力動作処理部58aは、患者Paの方に胴体部22の正面を向け、ステップSP157において腹部タッチセンサ26から接触信号を受信したか否かを判定する。
 ここで肯定結果が得られると、入出力動作処理部58aはステップSP158へ移り、スピーカ34から「では、発声時間スタート」と出力することにより、患者Paに対し、『あー』と言う音を可能な限り長い時間発声することを促し、ステップSP159へ移る。
 一方ステップSP157において否定結果が得られると、言語療法処理部57aはステップSP155へ戻り、患者Paの準備が整うまで待機する。
 ステップSP159において言語療法処理部57aは、計時動作を開始し、ステップSP160へ移る。
 ステップSP160において入出力動作処理部58aは、患者Paの方に胴体部22及び頭部20の正面を向け、ステップSP161へ移る。
 ステップSP161において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声信号を受信し、ステップSP162において『あ』という言葉を音声認識したか否かを判定する。
 ここで肯定結果が得られると、このことは患者Paが未だ言葉を発声し続けていることを意味し、言語療法処理部57aはステップSP161へ移り、再度音声信号を受信する。
 一方ステップSP162において否定結果が得られた場合、このことは患者Paが発声を終えたことを意味し、言語療法処理部57aはステップSP163へ移って計時動作を終了し、ステップSP164へ移る。
 ステップSP164において言語療法処理部57aは、ステップSP152において決定した患者フォルダにおける発声持続時間ライブラリに、患者Paの発声が持続した発声持続時間を記憶し、ステップSP165へ移る。
 ステップSP165において入出力動作処理部58aは、スピーカ34から例えば「今回は10秒でした」と出力することにより、使用者に対し発声持続時間の計測結果を伝え、ステップSP166へ移る。
 ステップSP166において言語療法処理部57aは、発声持続時間が10秒以上であったか否かを判定する。言語療法処理部57aは、患者Paが10秒以上連続して発声できた場合、健常と判断する。
 ここで肯定結果が得られると、入出力動作処理部58aはステップSP168へ移り、スピーカ34から「頑張りましたね」と出力することにより、発声持続時間が正常であったことを患者Paに伝え、ステップSP169へ移る。
 一方ステップSP166において否定結果が得られると、入出力動作処理部58aはステップSP167へ移り、スピーカ34から「少し短かったかな」と出力することにより、発声持続時間が正常ではなかったことを患者Paに伝え、ステップSP169へ移る。
 ステップSP169において入出力動作処理部58aは、スピーカ34から「終了する場合は頭を撫でてください」と出力し、ステップSP170へ移り頭部タッチセンサ42からの接触信号の受信を待機し、ステップSP171へ移りスピーカ34から「はっせいじかん、おしまい」と出力することにより、発声持続時間測定機能を終了することを使用者に伝えた後、ステップSP172へ移り発声持続時間測定処理手順SRT5を終了する。
 このようにロボット10は、使用者の指示により発声持続時間測定機能が選択された場合、音声信号を受信しながら音声認識を行って発声持続時間を測定し、患者Pが正常な時間だけ発音を持続できているか否かを判定し、使用者に結果を伝えるようにした。
 これによりロボット10は、患者Pの発声を聞きながら聴覚士Tがストップウォッチ等で発声持続時間を計測するといった手間を省くことができる。
 またロボット10は、発声持続時間を記憶部66に記憶することにより、使用者は、患者Pの発声持続時間の長期的な測定経過を把握できる。これにより患者Pは、自身の発声持続時間が日時の経過に連れて改善している様子を知ることができ、言語療法に対するモチベーションを保つことができる。
 以上の構成によれば、動物の形状を模したロボット10は、患者Pに示す言葉を予め記憶部66に記憶し、当該言葉を患者Pに示し、患者Pが当該言葉に応じて可能な限り長い時間発声した発話音声を胴体部マイク32と頭部マイク40とにより取得し、患者Pの言語能力の状態を判定する際に指標となる発声持続時間を計測するようにした。
 これによりロボット10は、発声持続時間を測定するという一段と有用な機能を提供することができる。
1-10.ディアトコキネシス機能
 制御部50aは、音声検出スタンバイ処理手順RT1(図10)においてステップSP13へ移ると、ROM54からディアトコキネシスプログラムを読み出して実行することにより、ディアトコキネシス処理を実行する。
 制御部50aは、このディアトコキネシス処理を実行することにより、口腔器官の巧緻性や運動速度を評価する、いわゆるオーラルディアトコキネシスを行う。本実施の形態においては、制御部50aは患者Pが5秒間に何回「パ」を発音できるかを計測する。
1-10-1.ディアトコキネシス処理手順
 制御部50aは、ディアトコキネシス処理手順SRT6(図24)を開始し、ステップSP181へ移る。
 ステップSP181において入出力動作処理部58aは、スピーカ34から「ディアトコですね。名前を教えて」と出力し、ステップSP182へ移り待機する。
 制御部50aは、ステップSP182からステップSP184までは、発声持続時間測定処理手順SRT5(図23)におけるステップSP152からステップSP154までと同様の処理を行う。
 ステップSP185において入出力動作処理部58aは、スピーカ34から「5秒間『パ』と言い続けてください。準備ができたらお腹を触ってください」と出力し、ステップSP186へ移る。
 制御部50aは、ステップSP186からステップSP190までは、発声持続時間測定処理手順SRT5(図23)におけるステップSP156からステップSP160までと同様の処理を行う。
 ステップSP191において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの『パ』の音声信号を受信し、音声データとして記憶部66に記憶しステップSP192へ移る。
 ステップSP192において言語療法処理部57aは、5秒間の計時動作を終了し、ステップSP193へ移る。
 ステップSP193において言語療法処理部57aは、記憶部66に記憶した音声データを音声認識して5秒間の間に受信した『パ』の音の回数を計測し、ステップSP194へ移り、患者フォルダにおけるディアトコ回数ライブラリに発声回数を記憶し、ステップSP195へ移る。
 ステップSP195において入出力動作処理部58aは、スピーカ34から例えば「今回は10回でした」と出力することにより、使用者に対し発声回数の計測結果を伝え、ステップSP196へ移る。
 ステップSP196において言語療法処理部57aは、発声回数が20回以上であったか否かを判定する。言語療法処理部57aは、患者Paが20回以上発声できた場合、健常と判断する。
 ここで肯定結果が得られると、入出力動作処理部58aはステップSP197へ移り、スピーカ34から「頑張りましたね」と出力することにより、発声回数が正常であったことを患者Paに伝え、ステップSP199へ移る。
 一方ステップSP196において否定結果が得られると、入出力動作処理部58aはステップSP198へ移り、スピーカ34から「少し少なかったかな」と出力することにより、発生回数が正常ではなかったことを患者に伝え、ステップSP199へ移る。
 制御部50aは、ステップSP199からステップSP200までは、発声持続時間測定処理手順SRT5(図23)におけるステップSP169からステップSP170までと同様の処理を行う。
 ステップSP201において入出力動作処理部58aは、スピーカ34から「ディアトコ、おしまい」と出力することにより、ディアトコキネシス機能を終了することを使用者に伝えた後、ステップSP202へ移りディアトコキネシス処理手順SRT6を終了する。
 このようにロボット10aは、使用者の指示によりディアトコ機能が選択された場合、
5秒間測定している間音声信号を受信し、音声認識を行って発声回数を測定し、患者Paが正常な回数だけ発音できているか否かを判定し、使用者に結果を伝えるようにした。
 これによりロボット10aは、聴覚士Tがストップウォッチ等で5秒間を測定しつつ、発声回数を計測するといった困難な作業を行わずにオーラルディアトコキネシスを行うことができる。
 またロボット10aは、発声回数を記憶部66に記憶することにより、使用者は、患者Paの発声回数の長期的な測定経過を把握できる。これにより患者Paは、自身の発声回数が日時の経過に連れて改善している様子を知ることができ、言語療法に対するモチベーションを保つことができる。
 以上の構成によれば、動物の形状を模したロボット10は、患者Pに示す言葉を予め記憶部66に記憶し、当該言葉を患者Pに示し、患者Pが当該言葉に応じて可能な限り多く発声した発話音声を胴体部マイク32と頭部マイク40とにより取得し、患者Pの言語能力の状態を判定する際に指標となる所定時間と、発話回数とを計測するようにした。
 これによりロボット10は、患者Pの所定時間内の発声回数を計測するという一段と有用な機能を提供することができる。
1-11.解答結果提示機能
 制御部50aは、音声検出スタンバイ処理手順RT1(図10)においてステップSP15へ移ると、ROM54から解答結果提示プログラムを読み出して実行することにより、解答結果提示処理を実行する。
 制御部50aは、この解答結果提示処理を実行することにより、記憶部66における問題解答ライブラリに記憶された患者Paの解答結果を読み出し、スピーカ34に出力することにより放音させる。
1-11-1.解答結果提示処理手順
 制御部50aは、解答結果提示処理手順SRT7(図25)を開始し、ステップSP211へ移る。
 ステップSP211において入出力動作処理部58aは、スピーカ34から「けっかみせてですね。名前を教えて」と出力し、ステップSP212へ移り待機する。
 制御部50aは、ステップSP212からステップSP219までは、再生処理手順SRT2(図18)におけるステップSP72からステップSP79までと同様の処理を行う。
 但し、ステップSP215において入出力動作処理部58aは、患者フォルダにおける問題解答ライブラリをモニタ14aに一覧表示する。
 ステップSP220において入出力動作処理部58aは、スピーカ34から例えば「2012年2月1日第1回の問題は、30秒で解けました」と出力しステップSP221へ移る。
 制御部50aは、ステップSP221からステップSP222までは、再生処理手順SRT2(図18)におけるステップSP81からステップSP82までと同様の処理を行い、ステップSP223へ移りスピーカ34から「けっか、おしまい」と出力することにより、解答結果提示機能を終了することを使用者に伝えた後、ステップSP224へ移り解答結果提示処理手順SRT7を終了する。
 このようにロボット10aは、使用者の指示により解答結果提示機能が選択された場合、上述した操作解答問題機能において患者Paが問題に解答した結果を、その後解答結果提示処理により出力し、使用者に提示することができる。
1-12.遠隔通信機能
 ロボット10aの制御部50aは、音声検出スタンバイ処理手順RT1(図10)においてステップSP17へ移ると、ROM54から遠隔通信プログラムを読み出して実行することにより、遠隔通信処理を実行する。
 同様にロボット10bの制御部50bは、音声検出スタンバイ処理手順RT1(図10)においてステップSP17へ移ると、ROM54から遠隔通信プログラムを読み出して実行することにより、遠隔通信処理を実行する。
 制御部50a及び50bは、この遠隔通信処理を実行することにより、ロボット10aを使用する患者Pa及びロボット10bを使用する患者Pbに対し定型会話文を表示して、患者Pa及び患者Pbに交互に読み上げさせ、会話をさせる。
1-12-1.遠隔通信処理手順
 ロボット10aの制御部50aは、遠隔通信処理手順SRT8(図26)を開始し、ステップSP231へ移る。
 同様にロボット10bの制御部50bは、遠隔通信処理手順SRT8(図26)を開始し、ステップSP263へ移る。
 ステップSP231において入出力動作処理部58aは、スピーカ34から「グループですね。名前を教えて」と出力し、ステップSP232へ移り待機する。
 ステップSP232において言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者の音声信号(「Aさん」)に基づき、フォルダライブラリL4(図7)において音声データを記憶する患者Paの患者フォルダを選択し、ステップSP233へ移る。
 ステップSP233において入出力動作処理部58aは、スピーカ34から「Aさん。こんにちは。これから一緒に練習する人を探します」と出力し、ステップSP234へ移る。
 ステップSP234において言語療法処理部57aは、患者情報要求を管理センタ12へ送信する。
 ロボット10bの制御部50bは、ステップSP263からステップSP266までは、ロボット10aの制御部50aにおけるステップSP231からステップSP234までの処理とほぼ同様の処理を行う。
 但し、ステップSP264において言語療法処理部57bは、患者名「Bさん」が入力されると、ロボット10bの記憶部66のフォルダライブラリL4において音声データを記憶する患者Pbの患者フォルダを選択する。
 ステップSP256において管理センタ12の制御部70は、ロボット10a及び10bから患者情報要求を受信し、ステップSP257において患者データベースを検索することにより、現在ロボット10を使用している患者Pを探索する。
 ここで制御部70は、ロボット10aを患者Paが、ロボット10bを患者Pbがそれぞれ使用中であることを患者データベースから判定し、ステップSP258において、患者情報をロボット10a及びロボット10bへ送信する。
 具体的に制御部70は、患者Pbがロボット10bを使用中であることを示す患者情報をロボット10aに、患者Paがロボット10aを使用中であることを示す患者情報をロボット10bにそれぞれ送信する。
 ステップSP235においてロボット10aの言語療法処理部57aは、患者Pbがロボット10bを使用中であること示す患者情報を管理センタ12から受信する。
 一方ステップSP267においてロボット10bの言語療法処理部57bは、患者Paがロボット10aを使用中であることを示す患者情報を管理センタ12から受信する。
 ステップSP236においてロボット10aの言語療法処理部57aは、患者情報に基づき、ロボット10a以外のロボット10を使用している患者Pが現在存在するか否かを判定する。
 ここで否定結果が得られると、現在ロボット10を使用している患者Pが他に存在しないために遠隔通信機能による訓練ができないことを意味し、入出力動作処理部58aは、ステップSP238へ移り、スピーカ34から「今、練習している人がいないみたいです。また一緒に練習しましょうね」と出力し、ステップSP289へ移り遠隔通信処理手順SRT8を終了する。
 一方ステップSP236において肯定結果が得られると、入出力動作処理部58aはステップSP237へ移り、スピーカ34から「Bさんが一緒に練習する人を探しています。一緒にやりますか?」と出力し、ステップSP239へ移り待機する。
 ステップSP239において言語療法処理部57aは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57aはステップSP289へ移り遠隔通信処理手順SRT8を終了する。
 一方ステップSP239において肯定結果が得られると、入出力動作処理部58aはステップSP240に移り、スピーカ34から「では、定型会話をしてみましょう。Aさん何番の会話をしますか。やめたい場合は、『おしまい』と言ってください」と出力し、ステップSP241へ移り待機する。
 ステップSP241において入出力動作処理部58aは、例えば「1番」を音声認識すると、スピーカ34から「1番ですね。Bさんいいですか」と出力し待機する。
 一方ロボット10bの制御部50bは、ステップSP268からステップSP273までは、ロボット10aの制御部50aにおけるステップSP238からステップSP243までの処理とほぼ同様の処理を行う。
 ステップSP274において言語療法処理部57bは、「はい」を音声認識したか否かを判定する。ここで否定結果が得られると、言語療法処理部57bはステップSP272へ戻り、定型会話文の難易度の指定を患者Pbから待ち受ける。
 一方ステップSP274において肯定結果が得られると、ロボット10aの言語療法処理部57aは、ステップSP242へ移り、定型会話文ライブラリL3(図6)における難易度「1番」を選択し、ステップSP243へ移る。
 ステップSP243からステップSP245において入出力動作処理部58aは、腹部タッチセンサ26から接触信号を受信し、患者Paの方に胴体部22の正面を向ける。
 ステップSP246において入出力動作処理部58aは、スピーカ34から「では、Aさんから読み上げてください」と出力し、ステップSP247に移り定型会話文をモニタ14aに表示する。
 ロボット10bの制御部50bは、患者Pbに対し、ステップSP275からステップSP280までは、ロボット10aの制御部50aにおけるステップSP242からステップSP247までの処理とほぼ同様の処理を行う。
 ステップSP248においてロボット10aの言語療法処理部57aは、頭部マイク40及び胴体部マイク32により集音した患者Paの音声に基づく音声データを、患者Paの患者フォルダの定型会話音声ライブラリに記憶する。
 ステップSP249において制御部50aは、音声補正処理手順SRT10(詳しくは後述する)に従った処理を行うことにより、録音した音声を補正し、ステップSP250へ移る。
 ステップSP250において言語療法処理部57aは、補正した音声データを、ロボット10bを送信先と指定する送信先情報と共に管理センタ12へ送信する。
 ステップSP259において管理センタ12の制御部70は音声データを受信し、ステップSP260へ移り、送信先情報により指定された送信先であるロボット10bへ音声データを送信する。
 ステップSP281においてロボット10bの言語療法処理部57bは音声データを受信し、ステップSP282へ移り、スピーカ34から当該音声データに基づく音声「おはようございます」を出力する。
 患者Pbは、当該音声を聞くと、モニタ14bに表示された定型会話文を見ながら、当該音声の返答となる、「おはようございます」を発音する。
 ステップSP283において言語療法処理部57bは、頭部マイク40及び胴体部マイク32により集音した患者Pbの音声に基づく音声データを、ロボット10bにおける患者フォルダの定型会話音声ライブラリに記憶する。
 ステップSP284において制御部50bは、音声補正処理手順SRT10(詳しくは後述する)に従った処理を行うことにより、録音した音声を補正し、ステップSP285へ移る。
 ステップSP285において言語療法処理部57bは、記憶した音声データを、ロボット10aを送信先と指定する送信先情報と共に管理センタ12へ送信する。
 ステップSP261において管理センタ12の制御部70は音声データを受信し、ステップSP262へ移り、送信先情報により指定された送信先であるロボット10aへ音声データを送信する。
 ステップSP251においてロボット10aの言語療法処理部57aは、音声データを管理センタ12から受信してステップSP252へ移り、スピーカ34から音声「おはようございます」を出力する。
 ステップSP253において言語療法処理部57aは、「おしまい」を音声認識したか否かを判定する。ここで否定結果が得られると、このことは患者Paが訓練を継続する意思があることを意味する。
 このとき言語療法処理部57aはステップSP248へ戻り、定型会話文ライブラリL3における次の会話文「本日は天気がいいですね」を頭部マイク40及び胴体部マイク32により集音した患者Paの音声に基づく音声データを、患者Paの患者フォルダの定型会話音声ライブラリに記憶し、引き続き訓練を継続する。
 一方ステップSP286においてロボット10bの言語療法処理部57bは、「おしまい」を音声認識したか否かを判定する。ここで否定結果が得られると、このことは、患者Pbは訓練を継続する意思があることを意味する。
 このとき言語療法処理部57bはステップSP281へ戻り、音声データを管理センタ12から受信し、スピーカ34から音声「本日は天気がいいですね」を出力し、引き続き訓練を継続する。
 これに対しステップSP253において肯定結果が得られると、このことは、患者Paは訓練を継続する意思がないことを意味するため、入出力動作処理部58aは、スピーカ34から「そろそろおしまいにしましょう。Aさん、Bさん、ありがとうございました。Aさん、Bさんあいさつをどうぞ」と出力し、患者Pa及び患者Pbに互いに挨拶することを促し、ステップSP255へ移る。
 ステップSP255において入出力動作処理部58aは、スピーカ34から「また一緒に練習しましょうね」と出力し、ステップSP289へ移り遠隔通信処理手順SRT8を終了する。
 ロボット10bの制御部50bは、ステップSP287からステップSP288までは、ロボット10aの制御部50aにおけるステップSP254からステップSP255までの処理とほぼ同様の処理を行い、ステップSP291へ移り遠隔通信処理手順SRT8を終了する。
 このように制御部50a及び50bは、遠隔通信処理を実行することにより、ロボット10aを使用する患者Pa及びロボット10bを使用する患者Pbに対し定型会話文を表示して、患者Pa及び患者Pbに交互に読み上げさせ、音声を適宜補正しつつ会話をさせる。
1-12-2.音声補正機能
 制御部50(50a及び50b)は、遠隔通信処理手順SRT8(図28)においてステップSP249又はSP284へ移ると、ROM54から音声補正プログラムを読み出して実行することにより、音声補正処理を実行する。
 このとき制御部50は、図30に示すように、比較部90及び補正部92として機能する。
 また記憶部66は、定型会話文ライブラリL3(図6)に記憶されている定型会話文を発音する際の模範的な発音を単語毎に区切り、ロボット10の声色である模範音声データとして記憶している。
 比較部90は、頭部マイク40及び胴体部マイク32から受信した音声信号に基づく音声データ(以下、入力音声データとも呼ぶ)を得て、当該入力音声データを1文字ずつ音声認識して、例えば形態素解析により単語毎に分割する。
 さらに比較部90は、入力音声データと模範音声データとを対応する単語毎に、すなわち例えば入力音声データの「本日は」と、模範音声データの「本日は」とを、音声分析を行うことにより比較し、一致度を算出する。
 比較部90は、一致度が所定の閾値よりも大きい場合、現在判定の対象となっている判定対象単語に対する患者Pの発音は適切であると判定する。一方比較部90は、一致度が所定の閾値以下であった場合、判定対象単語に対する患者Pの発音は不適切と判定する。
 補正部92は、比較部90により患者Pの発音が不適切であると判定された場合、入力音声データの判定対象単語を、当該判定対象単語に対応する模範音声データの単語と置換する。これにより入力音声データにおける発音が不適切な単語は、ロボットの声色の模範的な音声に補正される。
 一方補正部92は、比較部90により患者Pの発音が適切であると判定された場合、判定対象単語を模範音声データと置換せず、音声認識結果に基づく判定対象単語の文字列を発音するロボットの声色に変更する。
 すなわち補正部92は、患者Pの音声の速度、音量、音の高さに対応した音声を、ロボットの声色として生成する。
 このため図31に示すように、入力音声データにおいて、構音障害の患者Pが発音しにくい単語である「が」が、「か」と不適切に発音されてしまった場合においても、当該「か」は、模範音声データの「が」に置換される。
 これにより、制御部50bはステップSP282(図28)において、また制御部50aはステップSP252において、不適切な発音が補正された定型会話文を、ロボット10の声色としてスピーカから出力する。
1-12-3.音声補正処理手順
 制御部50は、音声補正処理手順SRT10(図32)を開始し、ステップSP301へ移る。
 ステップSP301において制御部50は、入力音声データにおける1つの会話文(例えば「本日は天気がいいですね」)が話される速度が、所定の閾値以上であるか否かを判定する。
 ここで肯定結果が得られると、制御部50はステップSP302へ移り、補正部92により音声データに所定の処理を施すことにより、速度を低下又は音節ごとに音声を延長させ、ステップSP303へ移る。
 一般的に、構音障害やパーキンソン病の患者は会話速度が速くなる傾向にある。このため会話相手が音声を聞き取りにくくなる場合がある。また、失語症の患者は、会話速度が遅くないと聞き取れない場合がある。
 これに対し制御部50は、適切な会話速度となるように音節ごとに音声を延長させたり、音声を遅延させたりすることにより患者Pが聞き取りやすい音声にすることができる。
 一方ステップSP302において否定結果が得られると、制御部50はステップSP302をスキップしてステップSP303へ移る。
 ステップSP303において制御部50は、入力音声データの1つ目の単語である「本日」を選択して判定対象単語として設定し、ステップSP304へ移る。
 ステップSP304において制御部50は、比較部90により、判定対象単語の音量が所定の下側閾値以下であるか否かを判定する。
 ここで肯定結果が得られると、制御部50はステップSP305へ移り、補正部92により入力音声データに所定の処理を施すことにより、音量を増大させ、ステップSP306へ移る。
 一方ステップSP304において否定結果が得られると、制御部50はステップSP306へ移り、比較部90により、判定対象単語の音量が所定の上側閾値以上であるか否かを判定する。
 ここで肯定結果が得られると、制御部50はステップSP307へ移り、補正部92により入力音声データに所定の処理を施すことにより、音量を減衰させ、ステップSP308へ移る。
 一般的に、患者が難聴気味の場合、声が大きくなる傾向にあり、一方患者が病み上がりであったり、喉に障害があったりする場合、声が小さい可能性がある。
 これに対し制御部50は、所定の下側閾値以下の音量の音声であった場合、音量を大きくする一方、所定の上側閾値以上の音量の音声であった場合、音量を小さくすることにより、聞き取りやすい音声にすることができる。
 一方ステップSP306において否定結果が得られると、音量は適正な範囲内に収まっているため、制御部50はステップSP308へ移り、比較部90により、判定対象単語の音の高さが所定の閾値以上であるか否かを判定する。
 ここで肯定結果が得られると、制御部50はステップSP309へ移り、補正部92により音声データに所定の処理を施すことにより、音の高さを下げ、ステップSP310へ移る。
 構音障害の患者は高齢者が多く、高い周波数の音声、すなわち高い声が聞き取りにくい傾向にある。
 これに対し制御部50は、適切な会話速度となるように音の高さを下げることにより、患者が聞き取りやすい音声にすることができる。
 ステップSP310において制御部50は、比較部90により音声分析を行い、模範音声と入力音声とを比較し、発音の一致度が所定の閾値以下であるか否かを判定する。
 ここで肯定結果が得られると、制御部50はステップSP311へ移り、補正部92により判定対象単語を模範音声データで置き換えることにより補正し、ステップSP312へ移る。
 一方ステップSP310において否定結果が得られると、制御部50はステップSP313へ移り、音声認識結果に基づいて判定対象単語の声色を変更し、ステップSP312へ移る。
 このように制御部50は、入力音声データを、患者本人の音声ではなく、ロボットの声色に変換し、会話相手の患者に聞かせるようにした。
 これによりロボット10は患者Pに対し、ロボット10と一緒に訓練している雰囲気を高め、知らない他の患者と会話をする際に、患者が恥ずかしがって練習できないという状態を回避することができる。
 ステップSP312において制御部50は、入力音声の全ての単語の判定が終了したか、すなわち、「ね」まで判定したか否かを判定する。
 ここで否定結果が得られると、制御部50はステップSP314へ移り、次の単語を選択し、ステップSP304へ移って再度判定を行う。
 一方ステップSP312において肯定結果が得られると、制御部50は補正した入力音声の音声データを記憶部66に記憶し、ステップSP315へ移り音声補正処理手順SRT10を終了する。
1-12-4.遠隔通信機能の動作及び効果
 以上の構成において、言語療法システム1は、ロボット10a及び10bを介して患者Pa及びPbに定型会話文を読ませることで会話を行わせるようにした。
 このため患者Pa及びPbは、自分以外の患者とコミュニケーションを取るような、人と話すという状況における言語療法を行うことができる。
 また、言語療法システム1は、患者Pa及び患者Pbを互いに直接話させることなく、ロボット10a及び10bを介して訓練を行わせるようにした。
 これにより、患者Pa及びPbの発音が正しくなかったり、聞き取りにくかったりする場合であっても、ロボット10a及び10bが音声を補正した上で会話相手に聞かせるため、訓練を成立させることができる。
 以上の構成によれば、人間や人間以外の動物の形状を模した言語療法ロボットとしてのロボット10は、患者Pに示す定型会話文と、当該定型会話文の模範音声とを予め記憶部66に記憶し、定型会話文をモニタ14により患者Pに示し、患者Pが定型会話文を読んで発声した発話音声を胴体部マイク32と頭部マイク40とにより取得し、模範音声と、発話音声とを、対応する所定分割単位である単語に区切って比較し、当該単語毎に一致度を比較部90により算出し、一致度が所定の閾値以下である単語における発話音声を、対応する単語の模範音声に置き換え補正音声を生成するようにした。
 これによりロボット10は、患者Pの発音が適切でなかった場合に音声を補正した上で訓練相手の患者Pに聞かせることができる。
2.他の実施の形態
 なお上述した実施の形態においては、モニタ14をロボット10の外部に設ける場合について述べたが、本発明はこれに限らず、例えばモニタをロボットに内蔵したり、プロジェクターをロボットに内蔵して周囲に画像を投影するようにしたりしても良い。
 また上述した実施の形態においては、ロボット10を、円錐台形状の胴体部22と球体状の頭部20とが連結された形状とする場合について述べたが、本発明はこれに限らず、例えば図34に示すロボット110のように、球体状の胴体部122と球体状の頭部20とが連結された形状等、人間を模した形状であれば種々の形状としても良い。
 さらに上述した実施の形態においては、ロボット10の形状を、人間を模した形状とする場合について述べたが、本発明はこれに限らず、例えば犬や猫等の動物の形状を模していても良い。この場合、患者が感情を通わせることができると感じ、親しみを覚えやすい形状が望ましい。
 さらに上述した実施の形態においては、胴体部マイク32と頭部マイク40との機能を分けない場合について述べたが、本発明はこれに限らず、例えば胴体部マイク32は使用者の音声を取得し、頭部マイク40は使用者以外の周囲の音声を取得する等、機能を分けても良い。
 さらに上述した実施の形態においては、喜びモード又は悲しみモードの2種類のモードによりロボット10の感情を表現するようにしたが、本発明はこれに限らず、LED44の点灯パターンと頭部アクチュエータ62及び車輪アクチュエータ60の駆動方法との組み合わせ等により、ロボット10の3種類以上のモードの感情を表現しても良い。
 さらに上述した実施の形態においては、頭部マイク40及び胴体部マイク32に対する音声入力、並びに腹部タッチセンサ26、頭部タッチセンサ42、左背中タッチセンサ28又は右背中タッチセンサ30に接触することによる操作入力によりロボット10に情報を入力する場合について述べた。
 本発明はこれに限らず、ロボット10に物理的なテンキーを設け押下したり、バーコードリーダを設けバーコードを読み取らせたり、ICタグリーダを設けICカードを読み取らせたりしても良い。
 さらにロボット10は、スピーカ34から音声を出力している途中においても、頭部マイク40及び胴体部マイク32を介し指示命令を受け付けるようにしても良い。
 さらにロボット10は、スピーカ34から音声を出力した後待機している際に、「もう一度言って」を音声認識した場合、再度スピーカ34から同じ音声を出力しても良い。
 さらに上述した音声分析提示処理においては、バーグラフを表示する場合について述べたが、本発明はこれに限らず、例えば円グラフ等や、数値等を表示しても良い。要は使用者が、患者の発音の正しさの度合いを一目で認識できる表示形態で表示すれば良い。
 さらに上述した音声分析提示処理においては、先頭の一文字目について音声分析提示処理を行う場合について述べたが、本発明はこれに限らず、文中、文末の言葉について行なっても良い。
 さらに上述した音声分析提示処理においては、最大振幅GAに応じてバーグラフBGの長さを変化させたが、本発明はこれに限らず、入力音声と模範音声との音声分析を種々の方法により行い、一致度を算出し、一致度が高いほどバーグラフを短くするようにしても良い。
 さらに上述した音声分析提示処理においては、バーグラフBGを赤色又は緑色に変化させたが、本発明はこれに限らず、入力音声と模範音声との一致度に応じて3色以上に変化させても良い。
 さらに上述した音声分析提示処理においても、入力音声と模範音声との一致度に応じて、操作解答問題処理と同様に、ロボット10を喜びモード又は悲しみモードで行動させて良い。
 さらに上述した音声分析提示処理においては、「が」行を「な」行に患者が言い間違えた場合について述べたが、本発明はこれに限らず、それ以外の患者が発音し難い言葉としても良い。
 そのような言葉としては、例えば「か」行又は「た」行が「あ」行又は「な」行に、「が」行又は「だ」行が「な」行に、「さ」行が「しゃ」行に、「ざ」行が「じゃ」行に、「だ」行が「な」行に、「ちゃ」行又は「ぢゃ」行が「や」行に、「な」行、「は」行又は「ま」行が「あ」行に、「ば」行又は「ぱ」行が「ま」行に、「ら」行が「あ」行又は「た」行にそれぞれ変化してしまうことが考えられる。
 さらに上述した音声分析提示処理においては、繰り返し訓練を行う場合、前回の訓練時のバーグラフBGをまず表示し、今回の訓練時のバーグラフBGを表示する際にバーグラフBGの形状が前回の訓練の状態から変化する様子を表示するようにしても良い。これにより患者Pは、前回の訓練からの上達具合を視認することができるため、モチベーションを保つことができる。
 さらに上述した再生処理においては、記憶部66における録音音声ライブラリに記憶された音声データを再生する場合について述べたが、本発明はこれに限らず、記憶部66における定型会話文音声ライブラリに記憶された音声データを再生しても良い。
 さらに上述した実施の形態においては、音声分析提示処理においてバーグラフを表示する場合について述べたが、本発明はこれに限らず、再生処理においてバーグラフを表示しても良い。
 さらに上述した操作解答問題処理においては、患者Pがモニタ14をタッチすることにより解答する場合について述べたが、本発明はこれに限らず、例えば紙にペンで記入して解答しても良い。
 その場合、紙に記入された解答を聴覚士Tが目視して正誤判定し、ロボット10の左背中タッチセンサ28又は右背中タッチセンサ30をタッチすることにより正誤をロボット10に入力すれば良い。
 さらに上述した操作解答問題処理においては、発声解答問題処理のように聴覚士が正誤判定し、発声解答問題処理において操作解答問題処理のようにロボット10が自動的に正誤判定しても良い。
 さらに上述した発声解答問題処理においては、ロボット10は、時間測定開始から5秒後、10秒後にそれぞれ、「5秒経過」、「10秒経過」とスピーカ34から出力しても良い。
 さらに上述したディアトコキネシス処理においては、『パ』に限らず、『タ』、『カ』、『パタカ』等を発音させても良い。
 さらに上述した解答結果提示処理においては、解答結果を音声により患者P及び聴覚士Tに提示する場合について述べたが、本発明はこれに限らず、例えばモニタ14に解答結果を表示するようにしても良い。
 さらに上述した解答結果提示処理においては、記憶部66における問題解答ライブラリに記憶された解答結果を再生する場合について述べたが、本発明はこれに限らず、記憶部66における質問解答ライブラリに記憶された解答結果を再生しても良い。
 さらに上述した遠隔通信処理においては、患者Paが定型会話文を読み上げる際、患者Paに対しバーグラフを提示しても良く、また患者Pbが定型会話文を読み上げる際、患者Pbに対しバーグラフを提示しても良い。
 さらに上述した遠隔通信処理においては、患者PaとPbとが定型会話文を読み上げる場合について述べたが、本発明はこれに限らず、患者Paが例文を読み上げ、患者Pbが復唱したり、紙に書き取りをするようにしたりしても良い。
 また、例えば患者Pa及び患者Pbの脳波を測定器により測定することにより、患者Pa及び患者Pbが話そうとしている発音を検出し、患者Pa及び患者Pbが自由に対話している最中に、患者Pa及び患者Pbが話そうとしている発音から、実際の発音が一定以上異なる場合、補正した発音をロボットから出力するようにしても良い。
 さらに上述した遠隔通信処理においては、管理センタ12を用いてロボット10aと10bとが通信する場合について述べたが、本発明はこれに限らず、ロボット10aと10bとが自律的にネットワークを構築し、いわゆるアドホック通信を行うようにしても良い。
 さらに上述した音声補正処理においては、入力音声データ及び模範音声データを単語毎に分割して処理する場合について述べたが、1文字ずつ判定して置換処理を行っても良い。
 さらに上述した実施の形態においては、ロボット10が例文ライブラリL1、問題文ライブラリL2、定型会話文ライブラリL3及びフォルダライブラリL4を記憶部66に記憶する場合について述べたが、本発明はこれに限らず、管理センタ12が各種ライブラリを記憶し、ロボット10は当該管理センタ12と通信しながら当該ライブラリに対し記憶及び参照を行っても良い。
 さらに上述した実施の形態においては、ロボット10が音声検出スタンバイ処理手順RT1、録音再生処理手順SRT1、再生処理手順SRT2、操作解答問題処理手順SRT3、発声解答問題処理手順SRT4、発声持続時間測定処理手順SRT5、ディアトコキネシス処理手順SRT6、解答結果提示処理手順SRT7、遠隔通信処理手順SRT8、音声分析提示処理手順SRT9及び音声補正処理手順SRT10を実行する場合について述べたが、本発明はこれに限らず、ロボット10を介して、管理センタ12が処理を実行するようにしても良い。
 さらに上述した実施の形態においては、管理センタ12にロボット10a及び10bが無線接続される場合について述べたが、本発明はこれに限らず、それ以上の台数のロボットが無線接続されても良い。
 さらに上述した実施の形態においては、ロボット10の制御部50が、予めROM54に格納されている音声検出スタンバイプログラム、録音再生プログラム、再生プログラム、操作解答問題プログラム、発声解答問題プログラム、発声持続時間測定プログラム、ディアトコキネシスプログラム、解答結果提示プログラム、遠隔通信プログラム、音声分析提示プログラム及び音声補正プログラムを実行することにより、音声検出スタンバイ処理手順RT1、録音再生処理手順SRT1、再生処理手順SRT2、操作解答問題処理手順SRT3、発声解答問題処理手順SRT4、発声持続時間測定処理手順SRT5、ディアトコキネシス処理手順SRT6、解答結果提示処理手順SRT7、遠隔通信処理手順SRT8、音声分析提示処理手順SRT9及び音声補正処理手順SRT10等に従った種々の処理を行うようにした場合について述べた。
 本発明はこれに限らず、ロボット10の制御部50が、記憶媒体からインストールしたアプリケーションプログラムや、インターネットからダウンロードしたアプリケーションプログラム、その他種々の入手経路を経てインストールしたアプリケーションプログラムに従って上述した各処理を行うようにしても良い。
 さらに上述した実施の形態においては、記憶部としての記憶部66と、出力部としてのスピーカ34又はモニタ14と、音声入力部としての頭部マイク40又は胴体部マイク32と、分析部としての分析部82と、提示体作成部としての提示体作成部84と、提示部としてのスピーカ34又はモニタ14とによって、言語療法ロボットとしてのロボット10を構成する場合について述べた。
 本発明はこれに限らず、その他種々の構成でなる記憶部と、出力部と、音声入力部と、分析部と、提示体作成部と、提示部とによって、言語療法ロボットを構成するようにしても良い。
 本発明は、例えばリハビリテーション分野に適用することができる。
 1……言語療法システム、2……言語療法施設、10……ロボット、12……管理センタ、13……サーバ、14……モニタ、15……タッチパネル、20……頭部、22……胴体部、24……車輪、26……腹部タッチセンサ、28……左背中タッチセンサ、30……右背中タッチセンサ、32……胴体部マイク、34……スピーカ、36……端子、38……CCDカメラ、40……頭部マイク、42……頭部タッチセンサ、44……LED、50……制御部、51……データバス、52……CPU、54……ROM、56……RAM、57……言語療法処理部、58……入出力動作処理部、60……車輪アクチュエータ、62……頭部アクチュエータ、64……通信部、66……記憶部、70……制御部、72……通信部、74……記憶部、76……CPU、78……ROM、80……RAM、P……患者、T……聴覚士

Claims (7)

  1.  患者に示す言葉と、当該言葉の模範音声とを予め記憶する記憶部と、
     前記言葉を前記患者に示す出力部と、
     前記患者が前記言葉に応じて発声した発話音声を入力する音声入力部と、
     前記模範音声と、前記発話音声とを比較する分析部と、
     前記分析部による分析結果に基づき、前記模範音声に対する前記発話音声の正しさを示す提示体を作成する提示体作成部と、
     前記提示体を前記患者に提示する提示部と
     を有する言語療法ロボット。
  2.  前記提示体作成部は、前記模範音声に対する前記発話音声の適正さに応じて形状が変化する前記提示体を作成する
     請求項1に記載の言語療法ロボット。
  3.  前記提示体作成部は、前記模範音声に対し前記発話音声が適正であるほど縮まるバーグラフでなる前記提示体を作成する
     請求項2に記載の言語療法ロボット。
  4.  前記提示体作成部は、前記模範音声に対する前記発話音声の適正さに応じて色が変化する前記提示体を作成する
     請求項1に記載の言語療法ロボット。
  5.  前記提示部は、前記模範音声の適正さを示す適正範囲線を前記提示体と共に提示する
     請求項1に記載の言語療法ロボット。
  6.  前記提示部が前記提示体を提示する際に前記発話音声を前記患者に対し出力する音声出力部
     をさらに有する請求項1に記載の言語療法ロボット。
  7.  前記模範音声に対する前記発話音声の適正さに応じて、前記言語療法ロボットを異なる態様で可動させる可動部
     をさらに有する請求項1に記載の言語療法ロボット。
PCT/JP2013/002583 2012-05-09 2013-04-17 言語療法ロボット WO2013168364A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014514366A JP6360435B2 (ja) 2012-05-09 2013-04-17 言語療法ロボット

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-107439 2012-05-09
JP2012107439 2012-05-09

Publications (1)

Publication Number Publication Date
WO2013168364A1 true WO2013168364A1 (ja) 2013-11-14

Family

ID=49550433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002583 WO2013168364A1 (ja) 2012-05-09 2013-04-17 言語療法ロボット

Country Status (2)

Country Link
JP (1) JP6360435B2 (ja)
WO (1) WO2013168364A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014087571A1 (ja) * 2012-12-07 2014-06-12 テルモ株式会社 情報処理装置および情報処理方法
CN106388994A (zh) * 2016-11-30 2017-02-15 天津健康家园科技有限公司 一种语音播放口吃矫正器
CN110728995A (zh) * 2019-09-19 2020-01-24 中国康复研究中心 应用于卒中后失语症的语音及音乐能力评估系统
CN111730608A (zh) * 2019-03-25 2020-10-02 卡西欧计算机株式会社 控制装置、机器人、控制方法以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03172886A (ja) * 1989-12-01 1991-07-26 Fujitsu Ltd 自動発音練習装置
JP3036077U (ja) * 1996-09-20 1997-04-08 株式会社アメニテック 発声練習機
JP2003186379A (ja) * 2001-12-13 2003-07-04 Animo:Kk 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム
JP2003340166A (ja) * 2002-05-29 2003-12-02 Nec Corp ロボット装置、ロボット装置の制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03172886A (ja) * 1989-12-01 1991-07-26 Fujitsu Ltd 自動発音練習装置
JP3036077U (ja) * 1996-09-20 1997-04-08 株式会社アメニテック 発声練習機
JP2003186379A (ja) * 2001-12-13 2003-07-04 Animo:Kk 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム
JP2003340166A (ja) * 2002-05-29 2003-12-02 Nec Corp ロボット装置、ロボット装置の制御方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014087571A1 (ja) * 2012-12-07 2014-06-12 テルモ株式会社 情報処理装置および情報処理方法
US9928830B2 (en) 2012-12-07 2018-03-27 Terumo Kabushiki Kaisha Information processing apparatus and information processing method
CN106388994A (zh) * 2016-11-30 2017-02-15 天津健康家园科技有限公司 一种语音播放口吃矫正器
CN111730608A (zh) * 2019-03-25 2020-10-02 卡西欧计算机株式会社 控制装置、机器人、控制方法以及存储介质
CN110728995A (zh) * 2019-09-19 2020-01-24 中国康复研究中心 应用于卒中后失语症的语音及音乐能力评估系统

Also Published As

Publication number Publication date
JP6360435B2 (ja) 2018-07-18
JPWO2013168364A1 (ja) 2016-01-07

Similar Documents

Publication Publication Date Title
KR101743230B1 (ko) 가상현실 및 음성인식 기반의 실감 어학학습 콘텐츠 제공 장치 및 방법
JP6360435B2 (ja) 言語療法ロボット
JP6267634B2 (ja) 言語療法ロボット
JP4622384B2 (ja) ロボット、ロボット制御装置、ロボットの制御方法およびロボットの制御用プログラム
US20210043106A1 (en) Technology based learning platform for persons having autism
JP6046913B2 (ja) 言語療法ロボット及び言語療法システム
JP2012516463A (ja) コンピュータ実行方法
JP6756130B2 (ja) 学習支援装置、ロボット、学習支援システム、学習支援方法及びプログラム
CN104537925A (zh) 语障儿童语言训练辅助系统及方法
WO2021174144A1 (en) Systems and methods for interactive, multimodal book reading
WO2004084183A1 (ja) 音声対話装置及び方法並びにロボット装置
Hahner et al. Speaking clearly: Improving voice and diction
JP2004034273A (ja) ロボット発話中の動作プログラム生成装置及びロボット
US9928830B2 (en) Information processing apparatus and information processing method
US11386920B2 (en) Interactive group session computing systems and related methods
CN110866434B (zh) 一种针对自闭症患者的表情识别训练方法及系统
Ljunglöf et al. Lekbot: A talking and playing robot for children with disabilities
WO2024054714A1 (en) Avatar representation and audio generation
Fernando et al. Automatic recognition of child speech for robotic applications in noisy environments
Tapus et al. Socially Assistive Robotic Music Therapist for Maintaining Attention of Older Adults with Cognitive Impairments.
US10109217B2 (en) Speech assessment device and method for a multisyllabic-word learning machine, and a method for visualizing continuous audio
JP2016009133A (ja) 言語リハビリテーション支援装置及びその制御方法
JP2006163269A (ja) 語学学習装置
Beňuš et al. Teaching L1 and L2 communication skills with a robotic head
TWI406202B (zh) Leadership Robotics System, its control methods, computer program products and computer-readable recording media

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13788393

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014514366

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13788393

Country of ref document: EP

Kind code of ref document: A1