WO2015114824A1 - 発話訓練システム及び発話訓練方法 - Google Patents

発話訓練システム及び発話訓練方法 Download PDF

Info

Publication number
WO2015114824A1
WO2015114824A1 PCT/JP2014/052392 JP2014052392W WO2015114824A1 WO 2015114824 A1 WO2015114824 A1 WO 2015114824A1 JP 2014052392 W JP2014052392 W JP 2014052392W WO 2015114824 A1 WO2015114824 A1 WO 2015114824A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
user
voice
persuasion
environmental
Prior art date
Application number
PCT/JP2014/052392
Other languages
English (en)
French (fr)
Inventor
北原　義典
平林　由紀子
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/052392 priority Critical patent/WO2015114824A1/ja
Publication of WO2015114824A1 publication Critical patent/WO2015114824A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Definitions

  • the present invention relates to a training system for training speeches, presentations, and lectures.
  • an evaluation index is calculated based on at least one of acoustic information of a speaker's voice and physical movement image information. And there is a device that provides feedback to the speaker.
  • a physical motion evaluation index such as speech rate, how to make a difference, etc.
  • acoustic information related to an acoustic evaluation index is disclosed as acoustic information related to an acoustic evaluation index.
  • an index relating to the relationship between the acoustic evaluation index and the physical motion evaluation index is not disclosed, and it is not yet sufficient as a speech training apparatus.
  • the feedback method of the calculated evaluation index is not specifically disclosed.
  • it is not a realistic training device, it is not a training device that overcomes tension.
  • Patent Document 1 it is disclosed that the presentation is evaluated based on the voice of the speaker and the presentation is trained by feedback.
  • the training is performed in a space or a desk where the speaker himself / herself is separated. Therefore, it is difficult to make use of the training results in the presentation in an unfamiliar environment.
  • an utterance training system includes a display unit that displays an environment video that is an image of an environment spoken by a user, and a user utters A voice recognition unit that recognizes the user voice, an imaging unit that captures the user's movement, a gaze detection unit that detects a gaze point locus that is a movement of the user's gaze from the video captured by the imaging unit, It has a calculation part which calculates an utterance persuasion degree using a gaze point locus, and a control part which controls an environmental picture based on an utterance persuasion degree.
  • the 1st step which displays the environmental picture which is the picture of the environment which a user utters on a display part
  • the 2nd step which recognizes the user voice which the user uttered
  • photography of a user's movement A third step of detecting a speech persuasion degree using the user voice and the gaze point trajectory, and a fourth step of detecting a gaze point trajectory that is a movement of the user's line of sight from the video imaged in the third step.
  • the utterance training system of the present invention makes it possible to learn a persuasive way of speaking.
  • 7 is a flowchart showing an example of the operation of a persuasion index 4 level setting means 74.
  • 5 is a flowchart showing an example of the operation of a persuasion index 5 level setting means 75.
  • FIG. 1 is a block diagram showing an embodiment of the speech training system of the present invention, in which 1 is a central processing unit, 2 is an environmental video display control unit, 3 is an environmental sound output control unit, 4 is an audio input device, Reference numeral 5 is a main memory, 6 is speaker information extraction means, 7 is utterance persuasion degree calculation means, 8 is a gaze point detection device, 9 is a sound output device, and 10 is a display device.
  • FIG. 2 is a conceptual flowchart illustrating one embodiment of the speech training system of the present invention.
  • the speech training system of the present invention operates according to the following flow.
  • Step s11 The environmental image of the audience group is displayed on the display device 10.
  • Step s12 The current time is obtained from the system built-in clock or the like and stored in the variable TLAST.
  • Step s13 The current time is obtained from the system built-in clock or the like and stored in the variable TNEW.
  • TNEW variable
  • the value of TNEW-TLAST is stored in the variable T.
  • the speaker speaks while viewing the displayed environmental image.
  • Step s16 It is determined whether or not the elapsed time T has exceeded a predetermined evaluation section length T0. If not, the process returns to step s13, and if it exceeds, the process proceeds to step s17.
  • Step s17 The system automatically calculates the utterance persuasion level at the time of the utterance from the voice information and the line-of-sight information.
  • Step s18 The system feeds back the calculated utterance persuasion as a video expression to the speaker.
  • Step s19 It is determined whether or not all utterances have been completed. If not completed, the process returns to step s12, and if completed, the process is completed.
  • Fig. 3 shows the relationship between the gazing point trajectory of a speaker with strong persuasiveness and the speech interval.
  • the gazing point locus is a locus indicating how the gazing point, which is the point that the speaker is gazing at, has moved.
  • Reference numeral 15 denotes a horizontal trajectory of the gazing point
  • reference numeral 16 denotes a section indicating a spoken voice section and a silent section among spoken voices.
  • a speaker with strong persuasion tends to stop the movement of the line of sight for a certain period of time facing right and then stop moving the line of sight for a certain period of time facing left. This tendency is not so common with less persuasive speakers.
  • the voice section 16 there is a tendency that a certain silent section exists between the voices. This tendency is not so common for speakers with low persuasiveness. Furthermore, a speaker with strong persuasiveness tends to utter during the time when the movement of the line of sight is stopped, as can be seen from the comparison of the locus 15 of the gazing point and the voice section 16. For less persuasive speakers, the trend is less common. Therefore, in this embodiment, the utterance persuasion level indicating the strength of utterance persuasion is calculated based on this tendency using the gaze point locus and the speaker's speech recognition result.
  • FIG. 4 is a block diagram showing an embodiment of the environmental video display control unit 2.
  • Reference numeral 21 denotes video display control means
  • reference numeral 22 denotes environmental video data. Only portions corresponding to the environmental video display control unit 2 in FIG.
  • seats, listeners, etc. are displayed as environmental images, such as the actual environment, so that training can be performed in a situation close to the environment where the speaker actually speaks, and the display is persuaded to speak.
  • the speech training is performed by making the speaker realize whether or not his speech is persuasive.
  • FIG. 5 shows an example of the video data structure in the environmental video data 22 displayed on the display means as the environmental video.
  • Reference numeral 31 denotes a data address
  • reference numeral 32 denotes image time-series data.
  • the image time-series data 32 stores in advance image time-series data in which the state of the audience group in the auditorium or the environment corresponding thereto is known.
  • the image data 32 corresponding to the address 00 of 31 all listeners listened seriously to the speech, such as standing vertically, facing front, opening their eyes, closing their mouths, etc.
  • video which shows that is shown is stored.
  • the time-series data of the environmental video may be a real video or an image generated by computer graphics. The same applies hereinafter.
  • the training effect is higher when using real images because it gives a more realistic feeling.
  • the image data 32 corresponding to the address value 01 of 31 about 10% of the listeners randomly among all the listeners, the neck is inclined, the line of sight is directed sideways, or the eyes are closed.
  • an image constituting an image in which at least one of the states in which the mouth is greatly opened, that is, an environment image indicating that the listener has lost interest in the speech is stored.
  • the image data 32 corresponding to the value 02 of the address 31 about 20% of all the listeners randomly, the neck is inclined, the line of sight is directed sideways, or the eyes are closed. Or, at least one of the states in which the mouth is greatly opened is changed, that is, an image constituting an environmental video indicating that the listener has lost interest in the speech is stored.
  • image data 32 of address value 09 of 31 the number of listeners who have lost interest in the speech is randomly set to about 10% of all the listeners at random.
  • the image data 32 corresponding to the address value 10 of 31 includes at least one of a state in which all the listeners tilt their necks, or their eyes look sideways, their eyes are closed, or their mouths are opened wide.
  • video which changed the above, ie, shows that the listener has lost interest in speech is stored.
  • image data generation methods are merely examples, and the image data 32 from the address value 01 to the address value 10 of 31 has a visual appearance that the degree of boredom of the listener increases stepwise.
  • Real video or computer graphics video can be used.
  • the stage of boredom is not limited to 10 and can be arbitrarily set.
  • FIG. 6 is a block diagram showing an embodiment of the environmental sound output control unit 3.
  • Reference numeral 41 denotes an audio output control means, and 42 denotes environmental audio data. Only portions corresponding to the environmental audio output control means 3 in FIG. Similar to FIG. 5, the environmental sound data is also calculated by accumulating environmental sounds, such as voices in which the listener is listening to the speech seriously and voices in which the listener is bored. Based on the utterance persuasion level, the voice output control means 41 appropriately outputs it.
  • FIG. 7 is an example of an acoustic data structure in the environmental sound data 42.
  • 51 is the address of the data
  • 52 is the sound data, and if the sound stored therein is sequentially transferred to the sound output device 9 via the main memory 5, the environmental sound corresponding to the utterance persuasion is output.
  • the acoustic data 52 stores in-situ acoustic data acquired in advance in an auditorium or an environment close thereto.
  • the acoustic data 52 corresponding to the address value 10 of 51 stores acoustic data of a silent environment of about 35 dB.
  • the acoustic data may be real sound, or may be sound generated by a voice editing system or a voice synthesis system. The same applies hereinafter.
  • the acoustic data 52 corresponding to the address value 11 includes about 40 decibels made up of at least one of the voices of the listeners, yawning sounds, or the rattling sounds of the chairs. Store acoustic data.
  • the acoustic data 52 corresponding to the address value 12 to the address value 20 is sequentially stored with the acoustic data with the noise level increased by about 3 dB.
  • the generation method of these acoustic data is only an example, and in the image data 52 from the address value 11 to the address value 20, the sound that can be heard audibly shows that the roughness of the auditorium increases step by step.
  • any acoustic data can be used.
  • the stage of roughness is not limited to 10 and can be arbitrarily set.
  • the environmental sound duration stored in the acoustic data 52 is stored in accordance with the time required for one training. For example, in the case of 15 minutes of training, 15-minute duration acoustic data is stored. Of course, short acoustic data may be repeatedly displayed according to the time required for the lecture.
  • the time-series data of the image whose address value 31 is 00 is read to the main memory 5 and transferred to the display device 10.
  • the display device 10 can be an arbitrary display device such as a display, a head-mounted display, or a projection projector. In any case, the speaker can refer to it while speaking.
  • the environmental sound output control means 41 in the environmental sound output control unit 3 is activated, and the data in the environmental sound data 42 is read into the main memory 5.
  • time-series data of an image having an address value 51 of 10 is read into the main memory 5 and transferred to the sound output device 9.
  • any output device such as a speaker or headphones can be used. In any case, the speaker can listen while speaking.
  • the speaker can practice utterance with a sense of reality by using the environmental image displayed on the video display device 10 and the environmental sound of the auditorium output from the sound output device 9.
  • the process of displaying the environmental video of the audience group on the display device 10 corresponds to step s15 of the conceptual flowchart in FIG.
  • step s17 of the conceptual flowchart in FIG. 2 when the speaker starts speaking using the voice input device 4, the speaker information extracting means 6 is activated. Thereafter, as shown in step s17 of the conceptual flowchart in FIG. 2, the system automatically calculates the utterance persuasion level when the speaker speaks from the voice information and the line-of-sight information.
  • the speech persuasion degree calculating operation will be further described with reference to the drawings.
  • FIG. 8 is a block diagram showing an embodiment of the speaker information extraction means 6.
  • 61 is an acoustic signal reading means
  • 62 is a voice section detecting means
  • 63 is a fundamental frequency extracting means
  • 64 is a fundamental frequency average value calculating means
  • 65 is a fundamental frequency dynamic range calculating means
  • 66 is a gaze point locus extracting means.
  • the acoustic signal reading means 61 is activated, and the acoustic signal is fetched from the voice input device 4 and stored in the main memory 5 at a certain time interval T0.
  • the fetch time interval T0 is the evaluation section length.
  • the evaluation section length T0 can be arbitrarily set, but is set to a time length including a plurality of utterances, for example, 30 seconds. Then, the following processing is performed for each evaluation section length T0 until all utterances are completed.
  • the acoustic signal captured W 1, W 2, and ... W n is stored in the main memory 5, ... to W n, for example, method Ya determines the threshold time, summing the absolute value of the audio power Then, the speech section is obtained by using a method of counting the number of zero crossings and judging with a threshold value.
  • the speech section detection method is not limited to these methods, and some other known methods can also be used.
  • SP 1 SP 2 a voice section, ... and SP m, to the voice section SP 1, the start time SPS (1), end time SPE (1), to the voice section SP 2, the start time SPS (2), the end time SPE (2), ..., to the speech section SP m, start time SPS (m), and stores the end time SPE (m) to each of the main memory 5.
  • the unit of the start time and the end time of the voice section is “second (s)”.
  • a variable SP is set in the main memory 5 and a value m is stored in the variable SPCOUNT.
  • the SPCOUNT is the total number of voice sections. Between each of the speech sections is a silent section, and there are m ⁇ 1 in total.
  • the silent periods are PA 1 , PA 2 ,..., PA m ⁇ 1, and the start times SPS (1), SPS (2),..., SPS (m) of the respective voice sections stored in the main memory 5 , end time SPE of each speech segment (1), SPE (2) , ..., using a SPE (m), duration Dur (1) of the silent section PA 1, duration of the silence section PA 1 Dur ( 2)...
  • the duration length Dur (m ⁇ 1) of the silent section PA 1 is calculated by the respective equations of Equation 1.
  • Dur (1) SPS (2) -SPE (1)
  • Dur (2) SPS (3) -SPE (2) :
  • Dur (m-1) SPS (m) -SPE (m-1) (Formula 1)
  • the silence duration duration dynamic range DRangeDurPA is calculated from the m-1 silence duration durations Dur (1), Dur (2),..., Dur (m-1) and Equation 2. .
  • DRangeDurPA MAX (Dur (1), Dur (2), ..., Dur (m-1))-MIN (Dur (1), Dur (2), ..., Dur (m-1)) (Formula 2)
  • MAX (Dur (1), Dur (2),..., Dur (m ⁇ 1)) is the maximum value of Dur (1), Dur (2),.
  • (Dur (1), Dur (2),..., Dur (m ⁇ 1)) is the minimum value of Dur (1), Dur (2),.
  • the calculated silent duration duration dynamic range DrangeDurPA is stored in the main memory 5.
  • the unit of silence duration duration dynamic range DrangeDurPA is “second (s)”.
  • the fundamental frequency extracting means 63 extracts the fundamental frequency while cutting out a short section (frame) from the speech sections SP 1 , SP 2 ,... SP m stored in the main memory 5.
  • Basic frequency for a short interval w 1, w 2, the audio signal in ... w p, for example using the autocorrelation method, Equation 3 gamma tau can be obtained as the inverse to tau maximized.
  • the fundamental frequency calculation method is not limited to the autocorrelation method, and a known method such as a modified correlation method or an average amplitude difference function method can also be used.
  • speech segment SP 1, SP 2, ... SP m relative to a fundamental frequency sequence F0 (1), F0 (2 ), ..., F0 (n) is extracted.
  • the basic frequency sequences F0 (1), F0 (2),..., F0 (n) are stored in the main memory 5.
  • the units of the basic frequency sequences F0 (1), F0 (2),..., F0 (n) are “Hz”.
  • the basic frequency average value calculating means 64 is activated to calculate the average basic frequency MeanF0 from the basic frequency sequences F0 (1), F0 (2),..., F0 (n) stored in the main memory 5.
  • the average fundamental frequency MeanF0 may be a simple addition average, or another average calculation method such as a geometric average may be used.
  • the calculated average fundamental frequency MeanF0 is stored in the main memory 5.
  • the unit of the average fundamental frequency MeanF0 is “Hz”.
  • the fundamental frequency dynamic range calculation means 65 is activated, and the fundamental frequency dynamic range DRangeF0 is calculated from the fundamental frequency trains F0 1 , F0 2 ,..., F0 n stored in the main memory 5.
  • the fundamental frequency dynamic range DrangeF0 is calculated using Equation 4.
  • DRangeF0 MAX (F0 (1), F0 (2), ..., F0 (n))-MIN (F0 (1), F0 (2), ..., F0 (n)) (Formula 4)
  • MAX (F0 (1), F0 (2),..., F0 (n)) is the maximum value among F0 (1), F0 (2),..., F0 (n)
  • MIN (F0 (1 , F0 (2),..., F0 (n)) are the minimum values of F0 (1), F0 (2),.
  • the calculated fundamental frequency dynamic range DRangeF0 is stored in the main memory 5.
  • the unit of the fundamental frequency dynamic range DrangeF0 is “Hz”.
  • the gazing point locus extraction unit 66 is activated, and the gazing point detection device 8 is used to extract the movement of the speaker's gazing point.
  • the gazing point detection device 8 uses the gazing point detection sampling frequency GPSamplatingRATE to indicate the movement of the speaker's gazing point as a time series of two-dimensional coordinates (GPX (1), GPY) on the environmental video display control unit 2. (1)), (GPX (2), GPY (2)),... (GPX (l), GPY (l)) are detected and stored in the main memory 5. l is determined by the gazing point detection sampling frequency GPSamplatingRATE and the speech duration time.
  • the gazing point sampling frequency GPSamplingRATE may be a unique value by the gazing point detection device 8 or may be set by the user. The processing operation related to speaker information extraction has been described above.
  • FIG. 9 is a block diagram showing an embodiment of the utterance persuasion degree calculating means 7.
  • 71 is a persuasion index 1 level setting means
  • 72 is a persuasion index 2 level setting means
  • 73 is a persuasion index 3 level setting means
  • 74 is a persuasion index 4 level setting means
  • 75 is a persuasion index 5 level setting means
  • 76 is a general speech persuasion.
  • the degree calculation means is shown.
  • the persuasion index 1 level setting means 71 is activated, and the average fundamental frequency MeanF0 is read from the main memory 5.
  • the value of INDEX1, which is a persuasion index 1 is calculated for the average fundamental frequency MeanF0 using the following formula 5.
  • the determination formula is an example, and can be freely determined as long as the level from 2 to 0 can be set in descending order according to the magnitude of the value of the fundamental frequency MeanF0.
  • the calculated persuasion index 1 INDEX 1 is stored in the main memory 5. Subsequently, the persuasion index 2 level setting means 72 is activated to read out the fundamental frequency dynamic range DrangeF0 from the main memory 5.
  • the value of INDEX2, which is a persuasion index 2 is calculated for the fundamental frequency dynamic range DRangeF0 using the following equation (6).
  • the setting of the threshold value condition in Expression 6 is based on the fact that the average dynamic range of the fundamental frequency of the sound at the time of calm is approximately between 200 Hz and 300 Hz.
  • the determination formula is an example, and can be freely determined as long as the level from 2 to 0 can be set in descending order according to the magnitude of the value of the fundamental frequency dynamic range DRangeF0.
  • the calculated conviction index 2 INDEX 2 is stored in the main memory 5.
  • the persuasion index 3 level setting means 73 is activated, and the silent section duration dynamic range DRangeDurPA is read from the main memory 5.
  • the value of INDEX3, which is a persuasion index 3 is calculated using Equation 7 below.
  • the persuasion index 4 level setting means 74 is activated, and from the main memory 5, the number of gazing points GPCOUNT, and the gazing point time series (GPX (1), GPY (1)), (GPX (2), GPY (2) )), ..., (GPX (GPCOUNT), GPY (GPCOUNT)).
  • INDEX4 which is a persuasion index 4 is calculated according to the following procedure.
  • Step s100 A variable i is set in the main memory 5, and a value 1 is stored in i.
  • the variable GPCOUNT is set in the main memory 5, and the value 0 is stored in GPCOUNT.
  • Step s102 The variable GPTOTAL is set in the main memory 5, and the value 1 is stored in GPTOTAL.
  • the variable GPBASEX is set in the main memory 5, and the value of GPX (i) is stored in GPBASEX.
  • Step s104 The variable GPBASEY is set in the main memory 5, and the value of GPY (i) is stored in GPBASEY.
  • Step s105 The variable j is set in the main memory 5, and the value 0 is stored in j.
  • Step s106 The value of i is incremented.
  • Step s107 Whether ⁇ (GPX (i) ⁇ GPBASEX) ⁇ (GPX (i) ⁇ GPBASEX) + (GPY (i) ⁇ GPBASEY) ⁇ (GPY (i) ⁇ GPBASEY) ⁇ ⁇ r0 ⁇ r0 If YES, the process proceeds to step s108, and if NO, the process proceeds to step s113.
  • r0 is a width that allows the point of interest to be considered to be stationary, and is a predetermined constant.
  • Step s108 The value of j is incremented.
  • Step s110 The variable GPSTART is set in the main memory 5, and the value i is stored in the GPSTART.
  • Step s111 The value of GPX (i) is stored in GPBASEX.
  • Step s112 The value of GPY (i) is stored in GPBASEY.
  • Step s113 It is determined whether or not j / GPSamplingRATE> TMIN.
  • Step s114 It is determined whether or not j / GPSamplingRATE ⁇ TMAX. If YES, the process proceeds to Step s115, and if NO, the process proceeds to Step s119.
  • Step s115 The value of GPCOUNT is incremented.
  • Step s116 The array GPS (•) is set in the main memory 5, and the value GPSTART / GPSamplingRATE is stored in GPS (GPCOUNT).
  • Step s117 The array GPE (•) is set in the main memory 5, and the value i / GPSamplingRATE is stored in GPE (GPCOUNT).
  • Step s118 GPTOTAL + j is stored in GPTOTAL.
  • Step s119 It is determined whether j ⁇ l. If YES, the process proceeds to Step s120, and if NO, the process returns to Step s105.
  • Step s120 The variable GPRATE is set in the main memory 5, and the value of the gaze rate GPRATE is calculated by the equation (8).
  • GPRATE GPTOATL / l (Formula 8) (Step s121)
  • INDEX4 which is the persuasion index 4
  • the persuasion index 5 level setting means 75 is activated, and from the main memory 5, the number of gazing points GPCOUNT and the gazing point time series (GPX (1), GPY (1)), (GPX (2), GPY (2) )),..., (GPX (GPCOUNT), GPY (GPCOUNT)), further, the number of speech sections SPCOUNT, and a set of viewpoints and end points of speech sections (SPS (1), SPE (1)), (SPS) (2), SPE (2)), ..., (SPS (SPCOUNT), SPE (SPCOUNT)) are read.
  • SPS (1), SPE (1)), (SPS) (2), SPE (2)), ..., (SPS (SPCOUNT), SPE (SPCOUNT) are read.
  • INDEX5 that is a persuasion index 5 is calculated according to the following procedure.
  • Step s201 The variable SGOVERLAPCOUNT is set in the main memory 5, and the value 0 is stored in SGOVERLAPCOUNT.
  • Step s202 The variable i is set in the main memory 5, and the value 0 is stored in i.
  • Step s203 The value of i is incremented.
  • Step s204 The variable j is set in the main memory 5, and the value 0 is stored in j.
  • Step s205 The value of j is incremented.
  • Step s206 It is determined whether SPS (i) ⁇ GPS (j).
  • Step s207 It is determined whether or not SPE (i) ⁇ GPE (j). If YES, the process proceeds to Step s208, and if NO, the process proceeds to Step s209.
  • Step s208 The value of SGOVERLAPCOUNT is incremented. (Step s209) It is determined whether j ⁇ GPCOUNT. If YES, the process returns to Step s205, and if NO, the process proceeds to Step s210. (Step s210) It is determined whether i ⁇ SPCOUNT.
  • Step s211 The variable SGOVERLAPRATE is set in the main memory 5, and the value SGOVERLAPCOUNT / GPCOUNT is stored in SGOVERLAPRATET.
  • the SGOVERLAPRATE is an overlap rate between the voice section and the gaze point locus.
  • Step s212 The value of INDEX5, which is a persuasion index 5, is calculated using Equation 10 for the voice gazing point overlap rate SGOVERLAPRATE.
  • the comprehensive utterance persuasion degree calculation means 76 is activated, and the overall utterance persuasion degree is calculated using INDEX1 which is the persuasion index 1 to INDEX5 which is the persuasion index 5.
  • INDEX1 which is the persuasion index 1 to INDEX5 which is the persuasion index 5.
  • the variable DPERSUATION indicating the total utterance persuasion is set in the main memory 5, and the value of DPERSUATION is calculated by Equation 11.
  • DPERSUATION INDEX1 + INDEX2 + INDEX3 + INDEX4 + INDEX5 (Formula 11)
  • the evaluation formula is an example, and any evaluation formula can be used as long as it can determine the degree of comprehensive utterance persuasion using INDEX1, INDEX2, ..., INDEX5 as parameters.
  • the maximum value of the total speech persuasion level is 10 and the minimum value is 0.
  • the operation for calculating the total speech persuasion degree corresponds to step s17 in the conceptual flowchart in FIG.
  • step s18 of the conceptual flowchart in FIG. 2 feedback is given to the speaker by controlling the environmental video using the total speech persuasion level as video expression. That is, the video display control means 21 in the environmental video display control unit 2 is activated again. Subsequently, the total speech persuasion level DPERSUATION is read from the main memory 5, and the video data of the environmental video data 22 is transferred to the display device 10 and displayed according to the value.
  • the address value is 00
  • the address value is 01
  • the time-series data of the image at each address is The data is read out to the main memory 5 and transferred to the display device 10 for display. Subsequently, the comprehensive utterance persuasion level is fed back to the speaker as a voice expression. That is, the environmental sound output control means 41 in the environmental sound output control unit 3 is also activated again. Subsequently, the sound data of the environmental sound data 42 is transferred to the sound output device 9 and output as sound according to the value of the total speech persuasion DPERSUATION read from the main memory 5.
  • the total utterance persuasion is a maximum value of 10 and a minimum value of 0 in the evaluation formula, but depending on the maximum value and the minimum value of the evaluation formula, The reading method can be freely set.
  • an environmental video that can visually understand how the degree of boredom of the listener increases step by step is stored in advance. Instead, the environment video corresponding to each stage can be generated in real time using computer graphics, and transferred to the display device 10 for display.
  • voice or acoustic data that can be audibly understood in a way that the roughness of the venue increases stepwise is stored in advance. Instead, the acoustic data corresponding to each stage can be generated in real time, transferred to the acoustic output device 9, and output.
  • the above processing is repeated for every evaluation section length T0 until all the utterances of the speaker are completed. Although it is determined that all utterances have ended when a speech section cannot be detected for a certain period of time or longer, a speaker or another user may input a signal indicating the end of all utterances.
  • the speech training system described in the present embodiment includes a display unit 10 that displays an environmental video that is a video of an environment spoken by the user, a voice recognition unit 4 that recognizes a user voice spoken by the user, An utterance using an imaging unit 8 that captures a user's movement, a gaze detection unit 66 that detects a gaze point trajectory that is a motion of the user's gaze from video captured by the imaging unit, and a user voice and a gaze point trajectory It has the calculation part 7 which calculates persuasion degree, and the control part 2 which controls an environmental image

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

　説得性のあるスピーチを行なうための、話し方及び視線の動かし方とのタイミングに関するトレーニングができない問題およびと緊張感を克服するトレーニングができない問題を解決する。　話者が、ディスプレイもしくはヘッドマウントディスプレイに表示された聴講者のコンピュータグラフィクス映像もしくは実映像を見ながら発話し、システムが、話者の音声の音響的特徴もしくは注視点の動かし方、もしくは、音声区間と注視点軌跡のオーバーラップの度合いの情報から、その発話説得度を評価し、聴講者の態度に係る映像や発する音情報として、話者にフィードバックする。

Description

発話訓練システム及び発話訓練方法
　本発明は、スピーチ、プレゼンテーション、講演の訓練を行なう訓練システムに関するものである。
　発話の訓練を目的としたトレーニングシステムには、発音訓練装置と話し方訓練装置とがある。前者には、聴覚障害者や非母語話者を対象として、自分自身の音声の高さに関係する基本周波数や、音韻の明瞭性に関係するフォルマントを表示し、これらを見ながら発声矯正していくものが多く、その他、口形や発話に関連する筋肉の緊張度を見せることにより発話訓練させるもの、合成音声を反復して聞かせ発話訓練させるもの、音声認識技術を用いて認識結果を表示させるものなどいろいろなものがある。ビジネスマンを対象とした後者については、看護師を目指す学生向けの対話シミュレータなどがある程度で、ほとんどは装置ではなく訓練セミナー形式のサービスである場合が多い。
　しかしながら、人前でのスピーチが苦手なビジネスマンが多い昨今、時間がないなどの理由で、そのようなサービスを受けるよりも、後者の話し方訓練装置へのニーズは高い。
　説得性のある話し方訓練においては、音声の発声の仕方のみならず、視線の配り方、顔の向きなども重要なトレーニング要素となる。さらには、これらの組み合わせ手法も説得性の強度に大きな影響を与える。加えて、話し方を向上させるためには、緊張感を克服することも重要なトレーニング要素である。また、こういったトレーニングの結果としての効果を話者にフィードバックすることが、学習を促進する。
　このようなトレーニング要素を考慮した話し方やプレゼンテーションの支援装置として、特許文献１のように、話し手の音声の音響情報と、身体的動作の画像情報との少なくともいずれか一方に基づいた評価指標を算出し、話し手にフィードバックする装置がある。該装置では、音響的評価指標に係る音響情報として、発話速度、間の取り方等、身体的動作評価指標に係る画像情報として、アイコンタクト、顔の向き等を用いることが開示されている。
特開２００８－１３９７６２号公報
　しかしながら、音響的評価指標および身体的動作評価指標の関連性に関する指標については開示しておらず、スピーチのトレーニング装置としてはまだ充分でない。また、該算出した評価指標のフィードバック方法については具体的に開示されていない。さらに、臨場感のあるトレーニング装置ではないため、緊張感を克服するトレーニング装置ではない。
　特許文献１では、話者の音声に基づいてプレゼンテーションの評価を行い、フィードバックすることでプレゼンテーションの訓練を行うことは開示されているが、話者自身がなれた空間や机上で訓練を行うものであるため、本番の慣れない環境での発表に訓練成果を生かすことが困難である。
　上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、発話訓練システムであって、ユーザの発話する環境の映像である環境映像を表示する表示部と、ユーザが発話したユーザ音声を認識する音声認識部と、ユーザの動きを撮影する撮像部と、撮像部で撮影された映像からユーザの視線の動きである注視点軌跡を検出する視線検出部と、ユーザ音声と注視点軌跡とを用いて発話説得度を算出する算出部と、発話説得度に基づいて環境映像を制御する制御部と、を有することを特徴とする。
　または、発話訓練方法であって、ユーザの発話する環境の映像である環境映像を表示部に表示する第１ステップと、ユーザが発話したユーザ音声を認識する第２ステップと、ユーザの動きを撮影する第３ステップと、第３ステップで撮影された映像からユーザの視線の動きである注視点軌跡を検出する第４ステップと、ユーザ音声と注視点軌跡とを用いて発話説得度を算出する第５ステップと、発話説得度に基づいて環境映像を制御する第６ステップと、を有することを特徴とする。
　本発明の発話訓練システムによれば、説得性のある話し方を習得でるようになる。
本発明のスピーチトレーニングシステムの一実施形態を示すブロック図である。 本発明のスピーチトレーニングシステムの一実施形態を示す概念フローチャートである。 説得性の強い話者における注視点軌跡と音声区間の関係を示す図である。 環境映像表示制御部の一実施例のブロック図である。 環境映像データ構造の例である。 環境音出力制御部の一実施例のブロック図である。 環境音データ構造の例である。 話者情報抽出手段の一実施例のブロック図である。 発話説得度算手段の一実施例のブロック図である。 説得指標４レベル設定手段７４の動作の一例を示すフローチャートである。 説得指標５レベル設定手段７５の動作の一例を示すフローチャートである。
　発明の実施の形態について図面を参照しながら説明する。図１は、本発明のスピーチトレーニングシステムの一実施形態を示すブロック図であって、１は中央演算装置、２は環境映像表示制御部、３は環境音出力制御部、４は音声入力装置、５はメインメモリ、６は話者情報抽出手段、７は発話説得度算出手段、８は注視点検出装置、９は音響出力装置、１０は表示装置である。
　図２は、本発明のスピーチトレーニングシステムの一実施形態を示す概念のフローチャートである。本発明のスピーチトレーニングシステムは、以下の流れにしたがって動作する。
（ステップｓ１１）表示装置１０に聴講者集団の環境映像を表示する。
（ステップｓ１２）システム内臓クロックなどから現在時刻を入手し、変数ＴＬＡＳＴに格納する。
（ステップｓ１３）システム内臓クロックなどから現在時刻を入手し、変数ＴＮＥＷに格納する。
（ステップｓ１４）ＴＮＥＷ－ＴＬＡＳＴの値を変数Ｔに格納する。
（ステップｓ１５）話者は、表示された環境映像を見ながら発話する。
（ステップｓ１６）経過時間Ｔが所定の評価区間長Ｔ０を超えたかどうかを判定する。もし超えていなければステップｓ１３に戻り、超えていればステップｓ１７に遷移する。
（ステップｓ１７）システムは、前記発話時の発話説得度を音声情報及び視線情報から自動的に算出する。
（ステップｓ１８）システムは、前記算出された発話説得度を話者に映像表現としてフィードバックする。
（ステップｓ１９）全発話が終了したかどうかを判定する。もし終了していなければステップｓ１２に戻り、終了していれば全てを終了する。
　図３は、説得性の強い話者の注視点軌跡と音声区間の関係を示したものである。注視点軌跡とは、話者が注視している先の点である注視点がどのように移動したかを示す軌跡である。１５は注視点の水平方向の軌跡、１６は発話した音声のうち、発話した音声区間と無音の区間とを示す区間である。説得性の強い話者においては、注視点の軌跡１５からわかるように、右を向きある一定時間視線の動きを止め、次に左を向きある一定時間視線の動きを止める傾向にある。説得性の弱い話者では、この傾向はあまり見られない。また、音声区間１６からわかるように、音声と音声の間に、ある一定の無音区間が存在する傾向にある。説得性の弱い話者では、前記傾向はあまり見られない。さらに、説得性の強い話者においては、注視点の軌跡１５および音声区間１６の比較からわかるように、視線の動きを止めている時間内に発話する傾向にある。説得性の弱い話者では、傾向はあまり見られない。従って、本実施例では、この傾向に基づいて発話の説得性の強弱を示す発話説得度を、注視点軌跡と話者の音声認識結果とを用いて算出する構成としている。
　図４は、環境映像表示制御部２の一実施例を示すブロック図である。２１は映像表示制御手段、２２は環境映像データであり、図１の環境映像表示制御部２に該当する部分のみ抜粋して図示する。本実施例では、話者が実際にスピーチする環境に近い状況で訓練を行うことができるよう、実際の環境のように、環境映像として、座席や聴講者等を表示し、その表示を発話説得度に基づいて変化させることで、話者に自らのスピーチに説得性があるか否かを実感させることにより発話訓練を行う構成としている。このように、聴講者の映像を表示することで、机上で原稿を読む訓練に比べ、本番のような緊張感を与えることで臨場感のある訓練を行うことができ、訓練効率が向上する。
　図５は、環境映像として表示手段に表示される環境映像データ２２の中の映像データ構造の例である。３１はデータのアドレス、３２は画像の時系列データでありここに格納されている画像をメインメモリ５経由で順次表示装置１０に転送すれば、動画像が表示される。画像の時系列データ３２にはあらかじめ聴講会場やこれに相当する環境における聴講者群の様子がわかる画像の時系列データを格納しておく。
　３１のアドレスの値００に対応する画像データ３２には、全ての聴講者が、首を垂直に立て、正面を向き、目を開き、口を閉じている等といった、スピーチに対して真剣に聞き入っていることを示す環境映像を構成する画像を格納しておく。環境映像の時系列データは実映像でもいいし、コンピュータグラフィクスにより生成した画像でもよい。以下、同様である。実映像を用いた場合の方が、より臨場感が出るため、訓練効果は高い。
　３１のアドレスの値０１に対応する画像データ３２には、全聴講者のうちランダムに約１０％の人数の聴講者について、首を傾斜させる、もしくは、視線が横を向く、もしくは、目を閉じる、もしくは、口を大きく開く様子の少なくとも一つ以上を変化させた映像、すなわち、聴講者がスピーチに対して興味を失っていることを示す環境映像を構成する画像を格納しておく。
　３１のアドレスの値０２に対応する画像データ３２には、全聴講者のうちランダムに約２０％の人数の聴講者について、首を傾斜させる、もしくは、視線が横を向く、もしくは、目を閉じる、もしくは、口を大きく開く様子の少なくとも一つ以上を変化させた、すなわち、聴講者がスピーチに対して興味を失っていることを示す環境映像を構成する画像を格納しておく。
　以下同様に、３１のアドレスの値０９の画像データ３２まで、全聴講者のうちランダムに約２０％の人数の聴講者について、スピーチに対して興味を失っている聴講者の人数をランダムに１０％ずつ増加させた様子の映像を構成する画像を格納しておく。３１のアドレスの値１０に対応する画像データ３２には、全聴講者について、首を傾斜させる、もしくは、視線が横を向く、もしくは、目を閉じる、もしくは、口を大きく開く様子の少なくとも一つ以上を変化させた、すなわち、聴講者がスピーチに対して興味を失っていることを示す環境映像を構成する画像を格納しておく。
　もちろん、これらの画像データの生成法は一例であり、３１のアドレスの値０１からアドレスの値１０までの画像データ３２には、聴講者の退屈の度合いが段階的に増加する様子が視覚的に分かる実映像もしくはコンピュータグラフィクス映像を使用することができる。また、退屈の段階も１０には限定することなく、任意に設定できる。
　画像の時系列データ３２に格納されている画像の枚数は、一つの訓練に要する時間に合わせて格納しておく。例えば１秒あたり３０枚の画像を表示するとすれば、１５分の訓練の場合には、３０枚×６０秒×１５分＝２７０００枚の画像を格納しておく。もちろん、訓練演所要時間に合わせて、少ない枚数の画像を繰り返し表示するようにしてもよい。なお、聴講者の退屈の度合いが１０段階ではない場合は，増加率も１０％刻みではなく，様々な段階数に応じて連続的に変化させてもよい。
　図６は、環境音声出力制御部３の一実施例を示すブロック図である。４１は音声出力制御手段、４２は環境音声データであり、図１の環境音声出力制御手段３に該当する部分のみ抜粋して図示する。この、環境音データにも図５と同様に、聴講者がスピーチに対して真剣に聞き入っている状態の音声や、聴講者が退屈している状態の音声などの、環境音を蓄積し、算出された発話説得度に基づき、音声出力制御手段４１から適宜出力される。
　図７は、環境音データ４２の中の音響データ構造の例である。５１はデータのアドレス、５２は音響データでありここに格納されている音響をメインメモリ５経由で順次音響出力装置９に転送すれば、発話説得度に応じた環境音が出力される。音響データ５２にはあらかじめ聴講会場やそれに近い環境で取得しておいた場内音響データを格納しておく。５１のアドレスの値１０に対応する音響データ５２には、およそ３５デシベル程度の静音環境の音響データを格納しておく。音響データは実音響でもいいし、音声編集システムや音声合成システムにより生成した音響でもよい。以下、同様である。
　アドレスの値１１に対応する音響データ５２には、数人の聴講者の話し声、もしくは、あくび音、もしくは、椅子をがたがたさせるなど聴講者が発する音の少なくとも一つ以上からなるおよそ４０デシベル程度の音響データを格納しておく。
　以降、アドレスの値１２からアドレスの値２０に対応する音響データ５２には、順次、およそ３デシベルずつ騒音レベルを増加させた音響データを格納していく。もちろん、これらの音響データの生成法は一例であり、５１のアドレスの値１１からアドレスの値２０までの画像データ５２には、聴講会場のざわつきが段階的に増加する様子が聴覚的に分かる音声もしくは音響データであれば使用することができる。また、ざわつきの段階も１０には限定することなく、任意に設定できる。
　音響データ５２に格納されている環境音の継続時間長は、一つの訓練に要する時間に合わせて格納しておく。例えば、１５分の訓練の場合には、１５分の継続時間長音響データを格納しておく。もちろん、講演所要時間に合わせて、短い音響データを繰り返し表示するようにしてもよい。
　続いて、本システム全体の動作について説明する。なお、全体の流れの概略は、既に説明したように、図２のステップｓ１１から、ステップｓ１８の通りである。本システムを起動すると、まず、環境映像表示制御部２における映像表示制御手段２１が起動され、環境映像データ２２の中のデータをメインメモリ５に読み出す。
　初期状態では、３１のアドレスの値が００の画像の時系列データがメインメモリ５に読み出され、表示装置１０に転送される。表示装置１０は、ディスプレイもしくはヘッドマウンドディスプレイ、投影プロジェクタなど任意の表示装置を使用できるが、いずれの場合においても、話者が発話をしながら参照できるようにしておく。続いて、環境音出力制御部３における環境音出力制御手段４１が起動され、環境音データ４２の中のデータをメインメモリ５に読み出す。初期状態では、５１のアドレスの値が１０の画像の時系列データがメインメモリ５に読み出され、音響出力装置９に転送される。音響出力装置９は、スピーカもしくはヘッドフォンなど任意の出力装置を使用できるが、いずれの場合においても話者が発話をしながら聴取できるようにしておく。
　映像表示装置１０に映し出される環境映像と、音響出力装置９から出力される聴講会場の環境音により、話者は臨場感をもって、発話の訓練を行うことができる。表示装置１０への聴講者集団の環境映像を表示する過程が、図２における概念フローチャートのステップｓ１５に相当する。
　続いて、図２における概念フローチャートのステップｓ１７に示すように、音声入力装置４を用いて話者が発話を始めると、話者情報抽出手段６が起動される。以降、図２における概念フローチャートのステップｓ１７に示すように、システムが、話者の発話時の発話説得度を音声情報及び視線情報から自動的に算出する。この発話説得度算出動作については、さらに図を用いて説明する。
　図８は、話者情報抽出手段６の一実施例を示すブロック図である。６１は音響信号読み込み手段、６２は音声区間検出手段、６３は基本周波数抽出手段、６４は基本周波数平均値算出手段、６５は基本周波数ダイナミックレンジ算出手段、６６は注視点軌跡抽出手段である。続いて、音響信号読み込み手段６１が起動され、ある一定時間間隔Ｔ０で、音声入力装置４から音響信号を取り込み、メインメモリ５に格納する。前記取り込む時間間隔Ｔ０は評価区間長である。該評価区間長Ｔ０は、任意に設定することができるが、たとえば、３０秒のように、複数個の発話文を含むような時間長に設定する。そして、全発話が終了するまで、評価区間長Ｔ０ごとに、以下の処理を進めていく。
　前記取り込んだ音響信号をＷ１、Ｗ２、…Ｗｎとする。次に、音声区間検出手段６２が前記メインメモリ５に格納されている音響信号Ｗ１、Ｗ２、…Ｗｎに対し、例えば、音声パワーの絶対値を加算していき閾値で判定する方式や、ゼロ交差回数をカウントし閾値で判定する方式を用いて、音声区間を求める。音声区間検出方法は、これらの方式に限定されず、他にも、公知となっているいくつかの方法を用いることもできる。
　音声区間をＳＰ１、ＳＰ２、…ＳＰｍとし、音声区間ＳＰ１に対し、開始時刻ＳＰＳ（１），終了時刻ＳＰＥ（１）、音声区間ＳＰ２に対し、開始時刻ＳＰＳ（２），終了時刻ＳＰＥ（２）、…、音声区間ＳＰｍに対し、開始時刻ＳＰＳ（ｍ），終了時刻ＳＰＥ（ｍ）を各々メインメモリ５に格納する。前記音声区間の開始時刻および終了時刻の単位は各々「秒（ｓ）」である。なお、ここで、メインメモリ５に変数ＳＰを設定し、該変数ＳＰＣＯＵＮＴに、値ｍを格納しておく。該ＳＰＣＯＵＮＴは、音声区間の総数ということになる。該音声区間同士の各々の間は無音区間であり、全部でｍ－１個存在する。該無音区間をＰＡ１、ＰＡ２、…、ＰＡｍ－１とし、メインメモリ５に格納されている各音声区間の開始時刻ＳＰＳ（１），ＳＰＳ（２），…，ＳＰＳ（ｍ）、および、各音声区間の終了時刻ＳＰＥ（１），ＳＰＥ（２），…，ＳＰＥ（ｍ）を用いて、無音区間ＰＡ１の継続時間長Ｄｕｒ（１）、無音区間ＰＡ１の継続時間長Ｄｕｒ（２）、…、無音区間ＰＡ１の継続時間長Ｄｕｒ（ｍ－１）を、数式１の各々の式により算出する。
　　Dur(1)=SPS(2)-SPE(1)
　　Dur(2)=SPS(3)-SPE(2)
　　　　　　　：
　　Dur(m-1)=SPS(m)-SPE(m-1)　　　（数式１）
　続いて、前記ｍ－１個の無音区間継続時間長Ｄｕｒ（１）、Ｄｕｒ（２）、…、Ｄｕｒ（ｍ－１）の値と数式２から、無音区間継続時間長ダイナミックレンジＤＲａｎｇｅＤｕｒＰＡを算出する。
　　DRangeDurPA=MAX(Dur(1)、Dur(2)、…、Dur(m-1))-MIN(Dur(1)、Dur(2)、…、Dur(m-1))　　　　　　　　　　　　　　　　　　　（数式２）
ここで、ＭＡＸ（Ｄｕｒ（１）、Ｄｕｒ（２）、…、Ｄｕｒ（ｍ－１））はＤｕｒ（１）、Ｄｕｒ（２）、…、Ｄｕｒ（ｍ－１）のうちの最大値、ＭＩＮ（Ｄｕｒ（１）、Ｄｕｒ（２）、…、Ｄｕｒ（ｍ－１））はＤｕｒ（１）、Ｄｕｒ（２）、…、Ｄｕｒ（ｍ－１）のうちの最小値である。算出した無音区間継続時間長ダイナミックレンジＤＲａｎｇｅＤｕｒＰＡはメインメモリ５に格納しておく。無音区間継続時間長ダイナミックレンジＤＲａｎｇｅＤｕｒＰＡの単位は「秒（ｓ）」である。
　次に、基本周波数抽出手段６３は、メインメモリ５に格納されている音声区間ＳＰ１、ＳＰ２、…ＳＰｍに対し、短区間（フレーム）を切り出しつつ、基本周波数を抽出する。ある短区間ｗ１、ｗ２、…ｗｐにおける音声信号に対する基本周波数は、例えば自己相関法を用いて、数式３のγτが最大になるτに対しその逆数として求めることができる。
Figure JPOXMLDOC01-appb-M000001
　もちろん、基本周波数算出方法は、該自己相関法に限定されることなく、例えば変形相関法や平均振幅差分関数法などの公知の手法を用いることもできる。前記方法によって、音声区間ＳＰ１、ＳＰ２、…ＳＰｍに対し基本周波数列Ｆ０（１）、Ｆ０（２）、…、Ｆ０（ｎ）が抽出される。該基本周波数列Ｆ０（１）、Ｆ０（２）、…、Ｆ０（ｎ）はメインメモリ５に格納する。基本周波数列Ｆ０（１）、Ｆ０（２）、…、Ｆ０（ｎ）の単位は各々「Ｈｚ」である。
　続いて、基本周波数平均値算出手段６４が起動され、メインメモリ５に格納された基本周波数列Ｆ０（１）、Ｆ０（２）、…、Ｆ０（ｎ）から、平均基本周波数ＭｅａｎＦ０を算出する。平均基本周波数ＭｅａｎＦ０は、単純加算平均でもいいし、幾何平均など他の平均算出方法を使うこともできる。算出した平均基本周波数ＭｅａｎＦ０はメインメモリ５に格納しておく。平均基本周波数ＭｅａｎＦ０の単位は「Ｈｚ」である。
　次に、基本周波数ダイナミックレンジ算出手段６５が起動され、メインメモリ５に格納された基本周波数列Ｆ０１、Ｆ０２、…、Ｆ０ｎから、基本周波数ダイナミックレンジＤＲａｎｇｅＦ０を算出する。基本周波数ダイナミックレンジＤＲａｎｇｅＦ０は、数式４を用いて算出する。
　　DRangeF0= MAX(F0(1),F0(2),…,F0(n)) - MIN(F0(1),F0(2),…,F0(n))　　　（数式４）
　ここで、ＭＡＸ（Ｆ０（１），Ｆ０（２），…，Ｆ０（ｎ））はＦ０（１），Ｆ０（２），…，Ｆ０（ｎ）のうちの最大値、ＭＩＮ（Ｆ０（１），Ｆ０（２），…，Ｆ０（ｎ））はＦ０（１），Ｆ０（２），…，Ｆ０（ｎ）のうちの最小値である。前記算出した基本周波数ダイナミックレンジＤＲａｎｇｅＦ０はメインメモリ５に格納しておく。基本周波数ダイナミックレンジＤＲａｎｇｅＦ０の単位は「Ｈｚ」である。
　続いて、注視点軌跡抽出手段６６が起動され、注視点検出装置８を用いて講演者の注視点の動きを抽出する。具体的には、注視点検出装置８が、注視点検出サンプリング周波数ＧＰＳａｍｐｌｉｎｇＲＡＴＥで、話者の注視点の動きを、環境映像表示制御部２上の２次元座標の時系列（ＧＰＸ（１），ＧＰＹ（１）），（ＧＰＸ（２），ＧＰＹ（２）），…（ＧＰＸ（l），ＧＰＹ（l））という注視点時系列として検出し、メインメモリ５に格納する。lは、前記注視点検出サンプリング周波数ＧＰＳａｍｐｌｉｎｇＲＡＴＥと発話継続時間によって決まる。たとえば、発話継続時間ＴＳＰ＝３００（秒）であって、注視点検出サンプリング周波数ＧＰＳａｍｐｌｉｎｇＲＡＴＥ＝１００（Ｈｚ）とすると、l＝３００×１００＝１００００となる。前記注視点サンプリング周波数ＧＰＳａｍｐｌｉｎｇＲＡＴＥは、注視点検出装置８によって固有の値である場合や、ユーザが設定する場合がある。以上が、話者の情報抽出に関する処理動作である。
　次に、発話説得度算出手段７が起動される。図９は発話説得度算出手段７の一実施例を示すブロック図である。７１は説得指標１レベル設定手段、７２は説得指標２レベル設定手段、７３は説得指標３レベル設定手段、７４は説得指標４レベル設定手段、７５は説得指標５レベル設定手段、７６は総合発話説得度算出手段を示す。
　まず、説得指標１レベル設定手段７１が起動され、メインメモリ５より、平均基本周波数ＭｅａｎＦ０を読み出す。該平均基本周波数ＭｅａｎＦ０に対し、下記の数式５を用いて、説得指標１であるＩＮＤＥＸ１の値を算出する。
　　講演者が男性の場合、
　　INDEX1=2    （MeanF0＞200　のとき）
　　INDEX1=1    （200≧MeanF0≧100　のとき）
　　INDEX1=0    （MeanF0＜100　のとき）
　　講演者が女性の場合、
　　INDEX1=2    （MeanF0＞300　のとき）
　　INDEX1=1    （300≧MeanF0≧200　のとき）
　　INDEX1=0    （MeanF0＜200　のとき）　　　　　　　　　　（数式５）
数式５における閾値条件の設定は、男声の場合、平静時の平均基本周波数ほぼ100Hzから200Hzの間であり、女声の場合、平均基本周波数がほぼ200Hzから300Hzの間であることに基づく。
　もちろん、前記判定式は一例であり、基本周波数ＭｅａｎＦ０の値の大きさによって、２から０までのレベルが降べきの順で設定できる式であれば自由に決めることができる。前記算出された説得指標１であるＩＮＤＥＸ１は、メインメモリ５に格納する。
続いて、説得指標２レベル設定手段７２が起動され、メインメモリ５より、基本周波数ダイナミックレンジＤＲａｎｇｅＦ０を読み出す。該基本周波数ダイナミックレンジＤＲａｎｇｅＦ０に対し、下記の数式６を用いて、説得指標２であるＩＮＤＥＸ２の値を算出する。
　　INDEX2=2    （DRangeF0＞300　のとき）
　　INDEX2=1    （300≧DRangeF0≧200　のとき）
　　INDEX2=0    （DRangeF0＜200　のとき）　　　　　　　　（数式６）
　数式６における閾値条件の設定は、平静時の音声の基本周波数の平均ダイナミックレンジがほぼ200Hzから300Hzの間であることに基づく。もちろん、前記判定式は一例であり、基本周波数ダイナミックレンジＤＲａｎｇｅＦ０の値の大きさによって、２から０までのレベルが降べきの順で設定できる式であれば自由に決めることができる。前記算出された説得指標２であるＩＮＤＥＸ２は、メインメモリ５に格納する。
　続いて、説得指標３レベル設定手段７３が起動され、メインメモリ５より、無音区間継続時間長ダイナミックレンジＤＲａｎｇｅＤｕｒＰＡを読み出す。該無音区間継続時間長ダイナミックレンジＤＲａｎｇｅＤｕｒＰＡに対し、下記の数式７を用いて、説得指標３であるＩＮＤＥＸ３の値を算出する。
　　INDEX3=2    （DRangeDurPA＞1.0　のとき）
　　INDEX3=1    （1.0 ≧DRangeDurPA≧0.5　のとき）
　　INDEX3=0    （DRangeDurPA＜0.5　のとき）　　　　　　　（数式７）
　　数式７における閾値条件の設定は、平静時の音声の無音区間継続長の平均ダイナミックレンジがほぼ0.5m秒から1.0m秒の間であることに基づく。もちろん、前記判定式は一例であり、無音区間継続時間長ダイナミックレンジＤＲａｎｇｅＤｕｒＰＡの値の大きさによって、２から０までのレベルが降べきの順で設定できる式であれば自由に決めることができる。算出された説得指標３であるＩＮＤＥＸ３は、メインメモリ５に格納する。
　続いて、説得指標４レベル設定手段７４が起動され、メインメモリ５より、注視点数ＧＰＣＯＵＮＴ、および、注視点時系列（ＧＰＸ（１），ＧＰＹ（１）），（ＧＰＸ（２），ＧＰＹ（２）），…，（ＧＰＸ（ＧＰＣＯＵＮＴ），ＧＰＹ（ＧＰＣＯＵＮＴ））を読み出す。その後、以下の手順により、説得指標４であるＩＮＤＥＸ４を算出する。
　（ステップｓ１００）メインメモリ５に変数ｉを設定し、ｉに値１を格納する。
（ステップｓ１０１）メインメモリ５に変数ＧＰＣＯＵＮＴを設定し、ＧＰＣＯＵＮＴに値０を格納する。
（ステップｓ１０２）メインメモリ５に変数ＧＰＴＯＴＡＬを設定し、ＧＰＴＯＴＡＬに値１を格納する。
（ステップｓ１０３）メインメモリ５に変数ＧＰＢＡＳＥＸを設定し、ＧＰＢＡＳＥＸにＧＰＸ（ｉ）の値を格納する。
（ステップｓ１０４）メインメモリ５に変数ＧＰＢＡＳＥＹを設定し、ＧＰＢＡＳＥＹにＧＰＹ（ｉ）の値を格納する。
（ステップｓ１０５）メインメモリ５に変数ｊを設定し、ｊに値０を格納する。
（ステップｓ１０６）ｉの値をインクリメントする。
（ステップｓ１０７）｛（ＧＰＸ（ｉ）－ＧＰＢＡＳＥＸ）×（ＧＰＸ（ｉ）－ＧＰＢＡＳＥＸ）＋（ＧＰＹ（ｉ）－ＧＰＢＡＳＥＹ）×（ＧＰＹ（ｉ）－ＧＰＢＡＳＥＹ）｝＜ｒ０×ｒ０であるかどうかを判定し、ＹＥＳであればステップｓ１０８に遷移し、ＮＯであればステップｓ１１３に遷移する。ここで、ｒ０は注視点が静止しているとみなせる幅であり、あらかじめ定めておく定数である。たとえば、Ｒ０＝５程度を設定するが、表示装置１０の解像度に合わせて設定できる。
（ステップｓ１０８）ｊの値をインクリメントする。
（ステップｓ１０９）ｊ＝１であるかどうかを判定し、ＹＥＳであればステップｓ１１０に遷移し、ＮＯであればステップｓ１１１に遷移する。
（ステップｓ１１０）メインメモリ５に変数ＧＰＳＴＡＲＴを設定し、ＧＰＳＴＡＲＴに値ｉを格納する。
（ステップｓ１１１）ＧＰＢＡＳＥＸにＧＰＸ（ｉ）の値を格納する。
（ステップｓ１１２）ＧＰＢＡＳＥＹにＧＰＹ（ｉ）の値を格納する。
（ステップｓ１１３）ｊ／ＧＰＳａｍｐｌｉｎｇＲＡＴＥ＞ＴＭＩＮであるかどうかを判定し、ＹＥＳであればステップｓ１１４に遷移し、ＮＯであればステップｓ１１９に遷移する。ここで、ＴＭＩＮは注視点が静止し続けているとみなせる最小継続時間であり、あらかじめ定めておく定数である。たとえば、ＴＭＩＮ＝２程度を設定するが、任意に設定できる。
（ステップｓ１１４）ｊ／ＧＰＳａｍｐｌｉｎｇＲＡＴＥ＜ＴＭＡＸであるかどうかを判定し、ＹＥＳであればステップｓ１１５に遷移し、ＮＯであればステップｓ１１９に遷移する。ここで、ＴＭＡＸは注視点が静止し続けているとみなせる最大継続時間であり、あらかじめ定めておく定数である。たとえば、ＴＭＡＸ＝５程度を設定するが、ユーザが任意に設定できる。
（ステップｓ１１５）ＧＰＣＯＵＮＴの値をインクリメントする。
（ステップｓ１１６）メインメモリ５に配列ＧＰＳ（・）を設定し、ＧＰＳ（ＧＰＣＯＵＮＴ）に値ＧＰＳＴＡＲＴ／ＧＰＳａｍｐｌｉｎｇＲＡＴＥを格納する。
（ステップｓ１１７）メインメモリ５に配列ＧＰＥ（・）を設定し、ＧＰＥ（ＧＰＣＯＵＮＴ）に値ｉ／ＧＰＳａｍｐｌｉｎｇＲＡＴＥを格納する。
（ステップｓ１１８）ＧＰＴＯＴＡＬにＧＰＴＯＴＡＬ＋ｊを格納する。
（ステップｓ１１９）ｊ≧lであるかどうかを判定し、ＹＥＳであればステップｓ１２０に遷移し、ＮＯであればステップｓ１０５に戻る。
（ステップｓ１２０）メインメモリ５に変数ＧＰＲＡＴＥを設定し、数式８の式により、注視率ＧＰＲＡＴＥの値を算出する。
　　GPRATE = GPTOATL/l　　　　　　　　　　　　　　　　　　（数式８）
（ステップｓ１２１）前記注視率ＧＰＲＡＴＥに対し、数式９を用いて、説得指標４であるＩＮＤＥＸ４の値を算出する。
　　INDEX4=2    （GPRATE＞0.67　のとき）
　　INDEX4=1    （0.67≧GPRATE≧0.33　のとき）
　　INDEX4=0    （GPRATE＜0.33　のとき）　　　　　　　　（数式９）
　もちろん、前記判定式は一例であり、注視率ＧＰＲＡＴＥの値の大きさによって、２から０までのレベルが降べきの順で設定できる式であれば自由に決めることができる。
前記説得指標４レベル設定手段７４の動作の流れを、図１０にフローチャートとして示す。
　続いて、説得指標５レベル設定手段７５が起動され、メインメモリ５より、注視点数ＧＰＣＯＵＮＴ、および、注視点時系列（ＧＰＸ（１），ＧＰＹ（１）），（ＧＰＸ（２），ＧＰＹ（２）），…，（ＧＰＸ（ＧＰＣＯＵＮＴ），ＧＰＹ（ＧＰＣＯＵＮＴ））、さらに、音声区間数ＳＰＣＯＵＮＴ、および、音声区間の視点と終点のセットの列（ＳＰＳ（１），ＳＰＥ（１）），（ＳＰＳ（２），ＳＰＥ（２）），…，（ＳＰＳ（ＳＰＣＯＵＮＴ），ＳＰＥ（ＳＰＣＯＵＮＴ））を読み出す。
　その後、以下の手順により、説得指標５であるＩＮＤＥＸ５を算出する。
（ステップｓ２０１）メインメモリ５に変数ＳＧＯＶＥＲＬＡＰＣＯＵＮＴを設定し、ＳＧＯＶＥＲＬＡＰＣＯＵＮＴに値０を格納する。
（ステップｓ２０２）メインメモリ５に変数ｉを設定し、ｉに値０を格納する。
（ステップｓ２０３）ｉの値をインクリメントする。
（ステップｓ２０４）メインメモリ５に変数ｊを設定し、ｊに値０を格納する。
（ステップｓ２０５）ｊの値をインクリメントする。
（ステップｓ２０６）ＳＰＳ（ｉ）　≧ＧＰＳ（ｊ）であるかどうかを判定し、ＹＥＳであればステップｓ２０７に遷移し、ＮＯであればステップｓ２０９に遷移する。
（ステップｓ２０７）ＳＰＥ（ｉ）　≦ＧＰＥ（ｊ）であるかどうかを判定し、ＹＥＳであればステップｓ２０８に遷移し、ＮＯであればステップｓ２０９に遷移する。
（ステップｓ２０８）ＳＧＯＶＥＲＬＡＰＣＯＵＮＴの値をインクリメントする。
（ステップｓ２０９）ｊ　＜　ＧＰＣＯＵＮＴ　であるかどうかを判定し、ＹＥＳであればステップｓ２０５に戻り、ＮＯであればステップｓ２１０に遷移する。
（ステップｓ２１０）ｉ　＜　ＳＰＣＯＵＮＴ　であるかどうかを判定し、ＹＥＳであればステップｓ２０３に戻り、ＮＯであればステップｓ２１１に遷移する。
（ステップｓ２１１）メインメモリ５に変数ＳＧＯＶＥＲＬＡＰＲＡＴＥを設定し、ＳＧＯＶＥＲＬＡＰＲＡＴＥＴに値ＳＧＯＶＥＲＬＡＰＣＯＵＮＴ　／ＧＰＣＯＵＮＴを格納する。該ＳＧＯＶＥＲＬＡＰＲＡＴＥは、音声区間と注視点軌跡のオーバーラップ率である。
（ステップｓ２１２）前記音声注視点オーバーラップ率ＳＧＯＶＥＲＬＡＰＲＡＴＥに対し、数式１０を用いて、説得指標５であるＩＮＤＥＸ５の値を算出する。
　　INDEX5=2    （SGOVERLAPRATE＞0.67　のとき）
　　INDEX5=1    （0.67≧SGOVERLAPRATE≧0.33　のとき）
　　INDEX5=0    （SGOVERLAPRATE＜0.33　のとき）　　　　　（数式１０）
　もちろん、前記判定式は一例であり、音声注視点オーバーラップ率ＳＧＯＶＥＲＬＡＰＲＡＴＥの値の大きさによって、２から０までのレベルが降べきの順で設定できる式であれば自由に決めることができる。前記説得指標５レベル設定手段７５の動作の流れを、図１１にフローチャートとして示す。
　最後に、総合発話説得度算出手段７６が起動され、前記説得指標１であるＩＮＤＥＸ１から説得指標５であるＩＮＤＥＸ５までを用いて、総合発話説得度を算出する。まず、メインメモリ５に総合発話説得度を示す変数ＤＰＥＲＳＵＡＴＩＯＮを設定し、数式１１により、ＤＰＥＲＳＵＡＴＩＯＮの値を算出する。
　　DPERSUATION=INDEX1+ INDEX2+ INDEX3+ INDEX4+ INDEX5　 （数式１１）
　もちろん、前記評価式は一例であり、ＩＮＤＥＸ１，ＩＮＤＥＸ２，…，ＩＮＤＥＸ５をパラメータとして用いて総合発話説得の度合いを決定できる評価式であれば、自由に決めることができる。前記評価式では、総合発話説得度の最大値は１０、最小値は０となる。以上の総合発話説得度を算出する動作が、図２における概念フローチャートのステップｓ１７に相当する。
　最終的に、図２における概念フローチャートのステップｓ１８に示すように、総合発話説得度を映像表現として、環境映像を制御することにより、話者にフィードバックする。すなわち、環境映像表示制御手部２の中の映像表示制御手段２１が再び、起動される。続いて、メインメモリ５より、総合発話説得度ＤＰＥＲＳＵＡＴＩＯＮを読み出し、その値に応じて、環境映像データ２２の映像データが表示装置１０に転送され表示される。たとえば、ＤＰＥＲＳＵＡＴＩＯＮ＝０の場合アドレスの値が００、ＤＰＥＲＳＵＡＴＩＯＮ＝１の場合アドレスの値が０１、…、ＤＰＥＲＳＵＡＴＩＯＮ＝１０の場合アドレスの値が１０というように、それぞれのアドレスの画像の時系列データがメインメモリ５に読み出され、表示装置１０に転送され表示される。続いて、前記総合発話説得度を音声表現としても話者にフィードバックする。すなわち、環境音出力制御部３の中の環境音出力制御手段４１も再び、起動される。続いて、前記メインメモリ５より読み出した総合発話説得度ＤＰＥＲＳＵＡＴＩＯＮの値に応じて、環境音データ４２の音響きデータが音響き出力装置９に転送され音として出力される。
　たとえば、ＤＰＥＲＳＵＡＴＩＯＮ＝０の場合アドレスの値が１０、ＤＰＥＲＳＵＡＴＩＯＮ＝１の場合アドレスの値が１１、…、ＤＰＥＲＳＵＡＴＩＯＮ＝１０の場合アドレスの値が２０というように、それぞれのアドレスの音声データがメインメモリ５に読み出され、音響き出力装置９に転送され音として出力される。前記画像の時系列データおよび音声データの読み出し方では、前記評価式において総合発話説得度の最大値１０、最小値０である場合を想定しているが、前記評価式の最大値および最小値によって、前記読み出し方を自由に設定できる。
　なお、本発明における映像表示制御手段２１の動作の別の実施例として、図５のように、あらかじめ、聴講者の退屈の度合いが段階的に増加する様子が視覚的に分かる環境映像を格納しておくのではなく、コンピュータグラフィクスを用いてリアルタイムで、各段階に対応する環境映像を生成し、表示装置１０に転送し表示することもできる。同様に、環境音出力制御手段４１の動作の別の実施例として、図７のように、あらかじめ、会場のざわつきが段階的に増加する様子が聴覚的に分かる音声もしくは音響データを格納しておくのではなく、リアルタイムで、各段階に対応する音響データを生成し、音響出力装置９に転送し出力することもできる。
　前記評価区間長Ｔ０ごとに、話者の全ての発話が終了するまで、以上の処理を繰り返す。ある一定時間以上音声区間が検出できないことで全発話の終了と判断されるが、話者もしくは別のユーザが全発話の終了を示す信号を入力するようにしてもよい。
　以上を踏まえ、本実施例に記載の発話訓練システムは、ユーザの発話する環境の映像である環境映像を表示する表示部１０と、ユーザが発話したユーザ音声を認識する音声認識部４と、
　ユーザの動きを撮影する撮像部８と、撮像部で撮影された映像から、ユーザの視線の動きである注視点軌跡を検出する視線検出部６６と、ユーザ音声と注視点軌跡とを用いて発話説得度を算出する算出部７と、発話説得度に基づいて、環境映像を制御する制御部２と、を有することを特徴とする。
　かかる構成により、本番同様の臨場感・緊張感を得ながらスピーチの訓練を行うことができ、訓練効率を向上させることができる。
　また、環境映像に加え、聴講者からのざわめき等も併せて話者にフィードバックすることで、より緊張感を高めることができる。
１　　中央演算装置
２　　聴講者映像表示制御手段
３　　聴講者音声出力制御手段
４　　音声入力装置
５　　メインメモリ
６　　話者情報抽出手段
７　　発話説得度算出手段
８　　注視点検出装置
９　　音声出力装置
１０　表示装置
１５　注視点の水平方向の軌跡
１６　音声区間
２１　映像表示制御手段
２２　聴講者映像データ
３１　データのアドレス
３２　画像の時系列データ
４１　音声出力制御手段
４２　聴講者音声データ
５１　データのアドレス
５２　音声データ
６１　音響信号読み込み手段
６２　音声区間検出手段
６３　基本周波数抽出手段
６４　基本周波数平均値算出手段
６５　基本周波数ダイナミックレンジ算出手段
６６　注視点軌跡抽出手段。

Claims (12)

  1. 　ユーザの発話する環境の映像である環境映像を表示する表示部と、
    　ユーザが発話したユーザ音声を認識する音声認識部と、
    　前記ユーザの動きを撮影する撮像部と、
    　前記撮像部で撮影された映像から、前記ユーザの視線の動きである注視点軌跡を検出する視線検出部と、
    　前記ユーザ音声と前記注視点軌跡とを用いて発話説得度を算出する算出部と、
    　前記発話説得度に基づいて、前記環境映像を制御する制御部と、を有することを特徴とする発話訓練システム。
  2. 　請求項１に記載の発話訓練システムであって、
    　前記映像に対応した音である環境音を出力する環境音出力部を、さらに備え、
    　前記ユーザが発声している間に前記環境音を出力し、
    　前記制御部は、前記発話説得度に基づき前記環境映像と前記環境音とを制御することを特徴とする発話訓練システム。
  3. 　請求項１に記載の発話訓練システムであって、
    　前記算出部は、前記ユーザ音声から抽出した音声情報、前記注視点軌跡の形状、前記音声情報から抽出された音声区間と前記注視点軌跡とが重なる度合いの、いずれかをパラメータとして、前記発話説得度を算出することを特徴とする発話訓練システム。
  4. 　請求項３に記載の発話訓練システムであって、
    　前記算出部は、前記音声情報として、前記音声区間、前記音声区間の基本周波数の平均値、前記基本周波数のダイナミックレンジの値、前記音声区間のうちの無音区間の継続時間長のいずれかを用いることを特徴とする発話訓練システム。
  5. 　請求項１に記載の発話訓練システムであって、
    　前記制御部は、前記環境映像に含まれる聴講者の状態を制御することを特徴とする発話訓練システム。
  6. 　請求項２に記載発話訓練システムであって、
    　前記制御部は、前記環境音に含まれる聴講者の発する音を制御することを特徴とする発話訓練システム。
  7. 　ユーザの発話する環境の映像である環境映像を表示部に表示する第１ステップと、
    　ユーザが発話したユーザ音声を認識する第２ステップと、
    　前記ユーザの動きを撮影する第３ステップと、
    　前記第３ステップで撮影された映像から、前記ユーザの視線の動きである注視点軌跡を検出する第４ステップと、
    　前記ユーザ音声と前記注視点軌跡とを用いて発話説得度を算出する第５ステップと、
    　前記発話説得度に基づいて、前記環境映像を制御する第６ステップと、を有することを特徴とする発話訓練方法。
  8. 　請求項７に記載の発話訓練方法であって、
    　前記第１ステップは、前記ユーザが発声している間に、前記映像に対応した音である環境音を出力する第７ステップを、さらに含み、
    　前記第６ステップは、前記発話説得度に基づき前記環境映像と前記環境音とを制御することを特徴とする発話訓練方法。
  9. 　請求項７に記載の発話訓練方法であって、
    　前記第５ステップは、前記ユーザ音声から抽出した音声情報、前記注視点軌跡の形状、前記音声情報から抽出された音声区間と前記注視点軌跡とが重なる度合いの、いずれかをパラメータとして、前記発話説得度を算出することを特徴とする発話訓練方法。
  10. 　請求項９に記載の発話訓練方法であって、
    　前記第５ステップは、前記音声情報として、前記音声区間、前記音声区間の基本周波数の平均値、前記基本周波数のダイナミックレンジの値、前記音声区間のうちの無音区間の継続時間長のいずれかを用いることを特徴とする発話訓練方法。
  11. 　請求項７に記載の発話訓練方法であって、
    　前記第６ステップでは、前記環境映像に含まれる聴講者の状態を制御することを特徴とする発話訓練方法。
  12. 　請求項８に記載発話訓練方法であって、
    　前記第６ステップでは、前記環境音に含まれる聴講者の発する音を制御することを特徴とする発話訓練方法。
PCT/JP2014/052392 2014-02-03 2014-02-03 発話訓練システム及び発話訓練方法 WO2015114824A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/052392 WO2015114824A1 (ja) 2014-02-03 2014-02-03 発話訓練システム及び発話訓練方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/052392 WO2015114824A1 (ja) 2014-02-03 2014-02-03 発話訓練システム及び発話訓練方法

Publications (1)

Publication Number Publication Date
WO2015114824A1 true WO2015114824A1 (ja) 2015-08-06

Family

ID=53756434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/052392 WO2015114824A1 (ja) 2014-02-03 2014-02-03 発話訓練システム及び発話訓練方法

Country Status (1)

Country Link
WO (1) WO2015114824A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180503A (ja) * 2017-04-10 2018-11-15 国立大学法人九州大学 パブリックスピーキング支援装置、及びプログラム
US10893236B2 (en) 2018-11-01 2021-01-12 Honda Motor Co., Ltd. System and method for providing virtual interpersonal communication
EP4018647A4 (en) * 2019-08-23 2023-08-16 Your Speech Factory AB ELECTRONIC DEVICE AND METHOD FOR EYE CONTACT TRAINING

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02223983A (ja) * 1989-02-27 1990-09-06 Toshiba Corp プレゼンテーション支援システム
JPH08202377A (ja) * 1995-01-31 1996-08-09 Suzuki Hoon Kogyo:Kk 各種スピーチ用のシステム装置
JPH10254484A (ja) * 1997-03-07 1998-09-25 Atr Chinou Eizo Tsushin Kenkyusho:Kk 発表支援装置
JP2000187553A (ja) * 1991-06-20 2000-07-04 Fuji Xerox Co Ltd 入力装置および入力装置用ヘッドマウントディスプレイ
JP2007219161A (ja) * 2006-02-16 2007-08-30 Ricoh Co Ltd プレゼンテーション評価装置及びプレゼンテーション評価方法
JP2008064965A (ja) * 2006-09-06 2008-03-21 Suzuki Hoon Kogyo:Kk スピーチ練習システム
JP2008139762A (ja) * 2006-12-05 2008-06-19 Univ Of Tokyo プレゼンテーション支援装置および方法並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02223983A (ja) * 1989-02-27 1990-09-06 Toshiba Corp プレゼンテーション支援システム
JP2000187553A (ja) * 1991-06-20 2000-07-04 Fuji Xerox Co Ltd 入力装置および入力装置用ヘッドマウントディスプレイ
JPH08202377A (ja) * 1995-01-31 1996-08-09 Suzuki Hoon Kogyo:Kk 各種スピーチ用のシステム装置
JPH10254484A (ja) * 1997-03-07 1998-09-25 Atr Chinou Eizo Tsushin Kenkyusho:Kk 発表支援装置
JP2007219161A (ja) * 2006-02-16 2007-08-30 Ricoh Co Ltd プレゼンテーション評価装置及びプレゼンテーション評価方法
JP2008064965A (ja) * 2006-09-06 2008-03-21 Suzuki Hoon Kogyo:Kk スピーチ練習システム
JP2008139762A (ja) * 2006-12-05 2008-06-19 Univ Of Tokyo プレゼンテーション支援装置および方法並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180503A (ja) * 2017-04-10 2018-11-15 国立大学法人九州大学 パブリックスピーキング支援装置、及びプログラム
JP7066115B2 (ja) 2017-04-10 2022-05-13 国立大学法人九州大学 パブリックスピーキング支援装置、及びプログラム
US10893236B2 (en) 2018-11-01 2021-01-12 Honda Motor Co., Ltd. System and method for providing virtual interpersonal communication
EP4018647A4 (en) * 2019-08-23 2023-08-16 Your Speech Factory AB ELECTRONIC DEVICE AND METHOD FOR EYE CONTACT TRAINING
US12039879B2 (en) 2019-08-23 2024-07-16 Your Speech Factory Ab Electronic device and method for eye-contact training

Similar Documents

Publication Publication Date Title
US10475467B2 (en) Systems, methods and devices for intelligent speech recognition and processing
CN110709924B (zh) 视听语音分离
KR20220054602A (ko) 선택적 청취를 지원하는 시스템 및 방법
EP2541543B1 (en) Signal processing apparatus and signal processing method
Massaro et al. Picture my voice: Audio to visual speech synthesis using artificial neural networks
US20160321953A1 (en) Pronunciation learning support system utilizing three-dimensional multimedia and pronunciation learning support method thereof
Fitzpatrick et al. The effect of seeing the interlocutor on auditory and visual speech production in noise
KR102190988B1 (ko) 개별 화자 별 음성 제공 방법 및 컴퓨터 프로그램
Bicevskis et al. Visual-tactile integration in speech perception: Evidence for modality neutral speech primitives
WO2015114824A1 (ja) 発話訓練システム及び発話訓練方法
KR102190986B1 (ko) 개별 화자 별 음성 생성 방법
de Vargas et al. Haptic speech communication using stimuli evocative of phoneme production
US12073844B2 (en) Audio-visual hearing aid
KR20140093459A (ko) 자동 통역 방법
KR20210055235A (ko) 생성적 적대 신경망 기반 수어 영상 생성 시스템
KR102190989B1 (ko) 동시 발화 구간에서의 음성 생성 방법
KR101920653B1 (ko) 비교음 생성을 통한 어학학습방법 및 어학학습프로그램
Virkkunen Automatic speech recognition for the hearing impaired in an augmented reality application
JP2005209000A (ja) 音声可視化方法及び該方法を記憶させた記録媒体
WO2018088210A1 (ja) 情報処理装置および方法、並びにプログラム
JP7432879B2 (ja) 発話トレーニングシステム
KR102190987B1 (ko) 동시 발화 구간에서 개별 화자의 음성을 생성하는 인공 신경망의 학습 방법
Abel et al. Audio and Visual Speech Relationship
KR101785686B1 (ko) 사용자 맞춤형 외국어 학습 방법 및 이를 실행하는 서버
Keough et al. Learning effects in multimodal perception with real and simulated faces

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14881389

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14881389

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP