WO2021186691A1 - 音声評価システム、音声評価方法、及びコンピュータプログラム - Google Patents

音声評価システム、音声評価方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2021186691A1
WO2021186691A1 PCT/JP2020/012381 JP2020012381W WO2021186691A1 WO 2021186691 A1 WO2021186691 A1 WO 2021186691A1 JP 2020012381 W JP2020012381 W JP 2020012381W WO 2021186691 A1 WO2021186691 A1 WO 2021186691A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
evaluation
evaluation system
group
emotion
Prior art date
Application number
PCT/JP2020/012381
Other languages
English (en)
French (fr)
Inventor
芳紀 幸田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/910,550 priority Critical patent/US20230138068A1/en
Priority to PCT/JP2020/012381 priority patent/WO2021186691A1/ja
Priority to JP2022507978A priority patent/JP7420216B2/ja
Priority to EP20925353.3A priority patent/EP4123647A4/en
Publication of WO2021186691A1 publication Critical patent/WO2021186691A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/12—Transforming into visible information by displaying time domain information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices

Definitions

  • This disclosure relates to the technical fields of voice evaluation systems, voice evaluation methods, and computer programs that evaluate voice.
  • Patent Document 1 discloses a technique of quantitatively analyzing emotions of anger and embarrassment from the voice of a customer who calls a call center.
  • Patent Document 2 discloses a technique for classifying emotions into "laughter”, “anger”, “sadness”, etc. by using parameters of voice features extracted from input voice data.
  • Patent Document 3 discloses a technique of inputting dialogue voice data and outputting a quantitative index that quantifies emotions such as anger, satisfaction, stress, and reliability.
  • JP-A-2007-004001 Japanese Unexamined Patent Publication No. 2005-354519 Japanese Patent No. 6517419
  • the subject of this disclosure is to provide a voice evaluation system, a voice evaluation method, and a computer program for solving the above-mentioned problems.
  • One aspect of the voice evaluation system of the present disclosure includes an acquisition means for acquiring a voice emitted by a group of a plurality of people, a detection means for detecting an element corresponding to an emotion from the acquired voice, and the detected element. Based on this, an evaluation means for evaluating the acquired voice is provided.
  • One aspect of the voice evaluation method of the present disclosure is to acquire a voice emitted by a group of a plurality of people, detect an element corresponding to an emotion from the acquired voice, and obtain the acquired element based on the detected element. Evaluate the voice.
  • One aspect of the computer program of the present disclosure is to acquire a voice emitted by a group of a plurality of people, detect an element corresponding to an emotion from the acquired voice, and based on the detected element, the acquired voice. Operate the computer to evaluate.
  • FIG. 1 is a block diagram showing an overall configuration of the voice evaluation system according to the first embodiment.
  • the voice evaluation system 10 is configured as a system capable of evaluating voices emitted by a group.
  • the "group” here is a group of people consisting of a plurality of people, and specifically, an example is an audience of various events such as a stage or watching sports.
  • the voice evaluation system 10 includes a voice acquisition unit 110, an emotion element detection unit 120, and a voice evaluation unit 130 as functional blocks for realizing the function.
  • the voice acquisition unit 110 is configured to be able to acquire voice emitted by a group (hereinafter, appropriately referred to as "group voice").
  • group voice includes, for example, a microphone installed in a place where a group can be formed. Further, the voice acquisition unit 110 may be configured to be able to execute various processes for the acquired voice (for example, noise removal processing, processing for extracting a specific section, and the like).
  • the group voice acquired by the voice acquisition unit 110 is output to the emotion element detection unit 120.
  • the emotion element detection unit 120 is configured to be able to detect an emotion element from the group voice acquired by the voice acquisition unit 110.
  • the "emotional element” here is an element indicating the emotion of the group contained in the voice, for example, an element corresponding to the emotion of "joy”, an element corresponding to the emotion of "anger", and an element corresponding to the emotion of "sadness". Corresponding elements and the like can be given as an example.
  • the emotion element detection unit 120 is configured to be able to detect at least one preset type of emotion element. As a method for detecting an emotional element from voice, an existing technique can be appropriately adopted, and for example, a method using voice frequency analysis, a method using deep learning, or the like can be used. Information about the emotional element detected by the emotional element detection unit 120 is output to the voice evaluation unit 130.
  • the voice evaluation unit 130 is configured to be able to evaluate a group voice based on the emotion element detected by the emotion element detection unit 120. Specifically, the voice evaluation unit 130 is configured to be able to evaluate the degree of emotion of the group from the emotional elements detected from the group voice.
  • the voice evaluation unit 130 evaluates the group voice by, for example, quantifying the emotional elements. For example, when an element corresponding to the emotion of "joy” is detected, the voice evaluation unit 130 calculates and evaluates a score corresponding to the emotion of "joy" of the group. Specifically, when the group voice contains many elements corresponding to the emotion of "joy”, the score corresponding to the emotion of "joy” may be calculated as a high value. On the other hand, when the group voice does not contain many elements corresponding to the emotion of "joy”, the score corresponding to the emotion of "joy” may be calculated as a low value.
  • FIG. 2 is a block diagram showing a hardware configuration of the voice evaluation system according to the first embodiment.
  • the voice evaluation system 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device 14.
  • the voice evaluation system 10 may further include an input device 15 and an output device 16.
  • the processor 11, the RAM 12, the ROM 13, the storage device 14, the input device 15, and the output device 16 are connected via the data bus 17.
  • the voice evaluation system 10 may include a plurality of processors 11, a RAM 12, a ROM 13, a storage device 14, an input device 15, and an output device 16, respectively.
  • Processor 11 reads a computer program.
  • the processor 11 is configured to read a computer program stored in at least one of the RAM 12, the ROM 13, and the storage device 14.
  • the processor 11 may read a computer program stored in a computer-readable recording medium using a recording medium reading device (not shown).
  • the processor 11 may acquire (that is, may read) a computer program from a device (not shown) located outside the voice evaluation system 10 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15, and the output device 16 by executing the read computer program.
  • a functional block for evaluating the acquired voice is realized in the processor 11 (see FIG. 1).
  • a CPU Central Processing Unit
  • a GPU Graphics Processing Unit
  • an FPGA field-programmable gate array
  • DSP digital signal processor
  • ASIC application
  • the RAM 12 temporarily stores the computer program executed by the processor 11.
  • the RAM 12 temporarily stores data temporarily used by the processor 11 when the processor 11 is executing a computer program.
  • the RAM 12 may be, for example, a D-RAM (Dynamic RAM).
  • the ROM 13 stores a computer program executed by the processor 11.
  • the ROM 13 may also store fixed data.
  • the ROM 13 may be, for example, a P-ROM (Programmable ROM).
  • the storage device 14 stores data stored in the voice evaluation system 10 for a long period of time.
  • the storage device 14 may operate as a temporary storage device of the processor 11.
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives an input instruction from the user of the voice evaluation system 10.
  • the input device 15 may include, for example, at least one of a keyboard, a mouse and a touch panel.
  • the output device 16 is a device that outputs information about the voice evaluation system 10 to the outside.
  • the output device 16 may be a display device (for example, a display) capable of displaying information about the voice evaluation system 10.
  • FIG. 3 is a flowchart showing an operation flow of the voice evaluation system according to the first embodiment.
  • the voice acquisition unit 110 first acquires a group voice (step S11).
  • the voice acquisition unit 110 may acquire the voice at all times, or may acquire the voice only during a predetermined period. Alternatively, the voice acquisition unit 110 may execute a process of constantly acquiring the voice and extracting only the voice for a predetermined period.
  • the emotion element detection unit 120 detects the emotion element from the group voice acquired by the voice acquisition unit 110 (step S12). Then, the voice evaluation unit 130 evaluates the group voice based on the emotion element detected by the emotion element detection unit 120 (step S13).
  • the evaluation result by the voice evaluation unit 130 may be output to, for example, a display device (not shown).
  • the sound emitted from the group for example, cheers and screams
  • the sound emitted from the group changes due to the excitement. Therefore, if such a voice can be evaluated appropriately, it is considered that it is possible to judge how much the event has been accepted by the visitors.
  • the voice evaluation system 10 detects an emotional element from the group voice emitted by the group and evaluates it. Therefore, according to the voice evaluation system 10 according to the first embodiment, it is possible to appropriately evaluate the emotions of the group by using the group voice. For example, in the voice evaluation system 10 according to the first embodiment, at an event or the like that gathers a large number of spectators, the excitement of the spectators can be quantified and evaluated from the voice. Therefore, it is possible to objectively evaluate whether or not the event was successful.
  • the voice evaluation system 10 evaluates the group voice emitted by the group, the emotion of the group as a whole is appropriately evaluated even in a situation where it is difficult to acquire the voice from each person, for example. It is possible to do.
  • the evaluation can be performed only by voice without using a face image or the like, it is possible to appropriately evaluate the emotions of the group even in an environment where the lighting is dark.
  • the voice evaluation system according to the second embodiment will be described with reference to FIGS. 4 and 5.
  • the second embodiment is different from the first embodiment described above in a part of the configuration and operation, and the other parts are almost the same. Therefore, in the following, the parts different from the first embodiment will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 4 is a block diagram showing the overall configuration of the voice evaluation system according to the second embodiment.
  • the same components as those shown in FIG. 1 are designated by the same reference numerals.
  • the voice acquisition unit 110 includes a generation section recording unit 111 and a silent section recording unit 112.
  • the emotion element detection unit 120 includes a first element detection unit 121, a second element detection unit 122, a third element detection unit 123, and a fourth element detection unit 124.
  • the generation section recording unit 111 records the voice acquired in the section in which the group is emitting the voice.
  • the sound recorded by the generation section recording unit 111 is output to the emotion element detection unit 120.
  • the silent section recording unit 112 records a section in which the group does not emit sound (for example, a section in which the volume is equal to or lower than a predetermined threshold value).
  • the section recorded by the silent section recording unit 112 is not output to the emotion element detection unit 120, but is directly output to the evaluation data generation unit 140 (in other words, it is excluded from the evaluation target). ). In this way, the processing load of the system can be reduced by limiting the section for voice evaluation.
  • the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 are configured to be able to detect different emotional elements.
  • the first element detection unit 121 detects an emotion element corresponding to the emotion of "joy”
  • the second element detection unit 122 detects the emotion element corresponding to the emotion of "anger”
  • the third element detection unit 123 May detect an emotional element corresponding to the emotion of "sorrow”
  • the fourth element detection unit 124 may detect an emotional element corresponding to the emotion of "enjoyment”.
  • FIG. 5 is a flowchart showing an operation flow of the voice evaluation system according to the second embodiment.
  • the voice acquisition unit 110 first acquires a group voice (step S21). Further, the voice acquisition unit 110 extracts the voice of the section in which the group actually generates the voice from the acquired voice (step S22). Specifically, the generation section recording unit 111 records the voice of the section in which the group emits voice, and the silent section recording unit 112 records the section in which the group does not emit voice.
  • the emotion element detection unit 120 detects the emotion element from the group voice acquired by the voice acquisition unit 110 (step S23). Specifically, the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 detect emotion elements corresponding to different emotions.
  • Each emotion element detected by the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 is input to the voice evaluation unit 130, respectively. Then, the voice evaluation unit 130 evaluates the group voice based on the emotion element detected by the emotion element detection unit 120 (step S24a).
  • the emotion element detection unit 120 includes the first element detection unit 121, the second element detection unit 122, and the third element detection unit 123.
  • the fourth element detection unit 124 is provided, so that it is possible to detect a plurality of types of emotional elements from the voice acquired by the voice acquisition unit 110. This makes it possible to realize voice evaluation according to the type of emotion.
  • the voice evaluation system according to the third embodiment will be described with reference to FIGS. 6 and 7.
  • the third embodiment is different from the first and second embodiments described above only in a part of the configuration and operation, and the other parts are substantially the same. Therefore, in the following, the parts different from the first and second embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 6 is a block diagram showing the overall configuration of the voice evaluation system according to the third embodiment.
  • the same components as those shown in FIGS. 1 and 4 are designated by the same reference numerals.
  • the voice evaluation unit 130 has the first evaluation unit 131, the second evaluation unit 132, the third evaluation unit 133, and the fourth evaluation unit. It is equipped with 134.
  • the first evaluation unit 131 is configured to be able to evaluate voice based on the emotional element detected by the first element detection unit 121.
  • the second evaluation unit 132 is configured to be able to evaluate the voice based on the emotional element detected by the second element detection unit 122.
  • the third evaluation unit 133 is configured to be able to evaluate the voice based on the emotional element detected by the third element detection unit 123.
  • the fourth evaluation unit 134 is configured to be able to evaluate the voice based on the emotional element detected by the fourth element detection unit 124.
  • FIG. 7 is a flowchart showing an operation flow of the voice evaluation system according to the third embodiment.
  • the voice acquisition unit 110 first acquires a group voice (step S21). Further, the voice acquisition unit 110 extracts the voice of the section in which the group actually generates the voice from the acquired voice (step S22).
  • the emotion element detection unit 120 detects the emotion element from the group voice acquired by the voice acquisition unit 110 (step S23). Specifically, the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 detect emotion elements corresponding to different emotions. Each emotion element detected by the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 is input to the voice evaluation unit 130, respectively.
  • the voice evaluation unit 130 evaluates the group voice based on the emotion element detected by the emotion element detection unit 120 (step S24).
  • the first evaluation unit 131, the second evaluation unit 132, the third evaluation unit 133, and the fourth evaluation unit 134 are the first element detection unit 121, the second element detection unit 122, and the third element detection unit. Evaluations based on the emotional elements detected by 123 and the fourth element detection unit 124 are performed separately.
  • the voice evaluation unit 130 is connected to the first evaluation unit 131, the second evaluation unit 132, the third evaluation unit 133, and the fourth. Since the evaluation unit 134 is provided, each of the plurality of types of emotional elements detected by the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 It is possible to perform voice evaluation separately.
  • FIG. 8 is a block diagram showing an overall configuration of the voice evaluation system according to the fourth embodiment.
  • the same components as those shown in FIGS. 1, 4, and 6 are designated by the same reference numerals.
  • the voice evaluation system 10 according to the fourth embodiment includes an evaluation data generation unit 140 in addition to the components of the third embodiment (see FIG. 6).
  • the voice evaluation system 10 according to the fourth embodiment may include an evaluation data generation unit 140 in addition to the components of the first embodiment (see FIG. 1).
  • the voice evaluation system 10 according to the fourth embodiment may include an evaluation data generation unit 140 in addition to the components of the second embodiment (see FIG. 4).
  • the evaluation data generation unit 140 outputs the evaluation results of the first evaluation unit 131, the second evaluation unit 132, the third evaluation unit 133, and the fourth evaluation unit 134, and the information of the section stored in the silent section recording unit 112. It is configured to be integrated so that evaluation data can be generated.
  • the evaluation data is generated as data for the user of the voice evaluation system 10 to appropriately grasp the evaluation result. Specific examples of the evaluation data will be described in detail later in the fifth embodiment.
  • the evaluation data generation unit 140 may be realized by, for example, the processor 11 (see FIG. 2).
  • FIG. 9 is a flowchart showing an operation flow of the voice evaluation system according to the fourth embodiment.
  • the voice acquisition unit 110 first acquires a group voice (step S21). Further, the voice acquisition unit 110 extracts the voice of the section in which the group actually generates the voice from the acquired voice (step S22).
  • the emotion element detection unit 120 detects the emotion element from the group voice acquired by the voice acquisition unit 110 (step S23). Specifically, the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 detect emotion elements corresponding to different emotions. Then, the voice evaluation unit 130 evaluates the group voice based on the emotion element detected by the emotion element detection unit 120 (step S24). Specifically, the first evaluation unit 131, the second evaluation unit 132, the third evaluation unit 133, and the fourth evaluation unit 134 evaluate the group voice using different emotional elements.
  • the evaluation data generation unit 140 generates evaluation data from the evaluation result of the group voice (step S25).
  • the evaluation data generated by the evaluation data generation unit 140 may be output to, for example, a display device (not shown).
  • evaluation data is generated by the evaluation data generation unit 140. Therefore, it is possible to appropriately grasp the evaluation result of the group voice by using the evaluation data.
  • the fifth embodiment shows a specific example of the evaluation data generated by the evaluation data generation unit 140 of the fourth embodiment described above. Therefore, the system configuration, the hardware configuration, and the flow of operations may be the same as those in the fourth embodiment, and detailed description thereof will be omitted.
  • FIG. 10 is a diagram (No. 1) showing a display example of evaluation data according to the fifth embodiment.
  • FIG. 11 is a diagram (No. 2) showing a display example of evaluation data according to the fifth embodiment.
  • FIG. 12 is a diagram (No. 3) showing a display example of evaluation data according to the fifth embodiment.
  • FIG. 13 is a diagram (No. 4) showing a display example of evaluation data according to the fifth embodiment.
  • FIG. 14 is a diagram (No. 5) showing a display example of evaluation data according to the fifth embodiment.
  • the evaluation data may be generated as a bar graph showing the magnitude of each emotion.
  • the emotion of "joy” is the largest, and the emotion of "anger”, “sadness”, and “enjoyment” is smaller than that.
  • the evaluation data may be generated as indicating the size of each emotion by the size of a circle.
  • the emotions of “anger” are the largest, and the emotions of "joy”, “sadness”, and “enjoyment” are smaller than that.
  • the evaluation data may be generated as a table in which the magnitude of each emotion is quantified.
  • the emotion of "joy” is “70”
  • the emotion of "anger” is “10”
  • the emotion of "sadness” is “5"
  • the emotion of "enjoyment” is “15”.
  • the magnitude of each emotion can be grasped more accurately.
  • the evaluation data may be generated as data showing the change in the magnitude of each emotion on the time axis (in other words, time series data).
  • time series data data showing the change in the magnitude of each emotion on the time axis
  • the graph corresponding to the emotion of "joy” is shown here, it is possible to switch to the graph corresponding to other emotions and to display a list including the graph corresponding to other emotions. You can.
  • the evaluation data may be generated as data including a moving image area D1 for displaying a moving image and a graph area D2 for displaying a graph showing the magnitude of each emotion.
  • a moving image of an event can be played back, and the seek bar SB can be operated to move to a desired timing.
  • the graph area D2 the magnitude of each emotion according to the reproduction timing of the moving image displayed in the moving image area D1 is shown as a bar graph. In this way, it is possible to grasp in what circumstances and how the emotions of the group actually changed.
  • evaluation data showing the evaluation result of the group voice in an easy-to-understand manner is generated. Therefore, according to the voice evaluation system 10 according to the fifth embodiment, it is possible to appropriately grasp the evaluation result of the group voice (for example, more intuitively or more accurately).
  • the voice evaluation system according to the sixth embodiment will be described with reference to FIGS. 15 and 16.
  • the sixth embodiment is different from the first to fifth embodiments described above only in a part of the configuration and the operation, and the other parts are substantially the same. Therefore, in the following, the parts different from the first to fifth embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 15 is a block diagram showing the overall configuration of the voice evaluation system according to the sixth embodiment.
  • the same components as those shown in FIGS. 1, 4, 6 and 8 are designated by the same reference numerals.
  • the emotion element detection unit 120 includes the scream element detection unit 125.
  • the voice evaluation unit 130 includes an abnormality determination unit 135.
  • the scream element detection unit 125 is configured to be able to detect an emotional element (hereinafter, appropriately referred to as a “scream element”) corresponding to the scream from the voice acquired by the voice acquisition unit 110.
  • the "scream” here is a scream emitted from the group when an abnormality occurs in the surrounding environment of the group (for example, during a natural disaster such as an earthquake), and for example, a scream of the same type as a cheer is clearly defined. It is distinguished.
  • the distinction between a scream when an abnormality occurs and another scream can be realized by, for example, machine learning using a neural network.
  • Information about the scream element detected by the scream element detection unit 125 is output to the abnormality determination unit 135.
  • the abnormality determination unit 135 is configured to be able to determine whether or not an abnormality has occurred in the surrounding environment of the group based on the scream element detected by the scream element detection unit 125.
  • the abnormality determination unit 135 determines whether or not an abnormality has occurred based on the magnitude of the emotion corresponding to the scream obtained as an evaluation result using the scream element. For example, the abnormality determination unit 135 calculates an emotional score corresponding to a scream from a scream element, and if the score exceeds a predetermined threshold value, an abnormality occurs, and if the score does not exceed a predetermined threshold value, an abnormality occurs. It may be determined that it has not been done.
  • FIG. 16 is a flowchart showing an operation flow of the voice evaluation system according to the sixth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIGS. 5, 7, and 9.
  • the voice acquisition unit 110 first acquires a group voice (step S21). Further, the voice acquisition unit 110 extracts the voice of the section in which the group actually generates the voice from the acquired voice (step S22).
  • the emotion element detection unit 120 detects the emotion element from the group voice acquired by the voice acquisition unit 110 (step S23). Specifically, the first element detection unit 121, the second element detection unit 122, the third element detection unit 123, and the fourth element detection unit 124 detect emotion elements corresponding to different emotions. In addition, in the sixth embodiment, the scream element detection unit 125 detects the scream element (step S31).
  • the voice evaluation unit 130 evaluates the group voice based on the emotion element detected by the emotion element detection unit 120 (step S24). Specifically, the first evaluation unit 131, the second evaluation unit 132, the third evaluation unit 133, and the fourth evaluation unit 134 evaluate the group voice using different emotional elements. Further, in the sixth embodiment, in particular, the abnormality determination unit 135 determines whether or not an abnormality has occurred in the surrounding environment of the group based on the scream element detected by the scream element detection unit 125 (step S32).
  • the evaluation data generation unit 140 generates evaluation data from the evaluation result of the group voice (step S25).
  • the evaluation data generation unit 140 is generated as including information on the abnormality (for example, the above-mentioned occurrence timing and the like).
  • the evaluation data generation unit 140 may generate abnormality notification data for notifying the occurrence of an abnormality, in addition to the normal evaluation data.
  • the abnormality notification data may include data for controlling an operation such as an alarm at an event venue.
  • the voice evaluation system 10 determines whether or not an abnormality has occurred based on the scream element. Therefore, according to the voice evaluation system 10 according to the sixth embodiment, it is possible not only to evaluate the emotion of the group from the voice but also to detect the occurrence of an abnormality in the surrounding environment of the group.
  • the voice evaluation system according to the seventh embodiment will be described with reference to FIG.
  • the seventh embodiment is different from the first to sixth embodiments described above only in a part of the configuration and the operation, and the other parts are substantially the same. Therefore, in the following, the parts different from the first to sixth embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 17 is a conceptual diagram showing voice evaluation for each area by the voice evaluation system according to the seventh embodiment.
  • a case of evaluating the sound emitted by a group of spectators on the stage will be described as an example.
  • the group is divided into a plurality of areas in advance.
  • the stage 500 is divided into three areas, Area A, Area B, and Area C.
  • the voices emitted by each group of Area A, Area B, and Area C can be acquired as different voices.
  • the sound emitted by the group in the area A can be acquired by the microphone 200a.
  • the sound emitted by the group in area B can be acquired by the microphone 200b.
  • the sound emitted by the group in area C can be acquired by the microphone 200c.
  • the microphones 200a to 200c are configured as a part of the voice acquisition unit 110, and the voices of the areas A to C are acquired by the voice acquisition unit 110, respectively.
  • each of the voices acquired from each area (for example, area A, area B, and area C in FIG. 17) is related to the first to sixth embodiments.
  • the same processing as that of the voice evaluation system 10 (see FIGS. 3, 5, 7, 9, and 16) is executed. That is, only the same processing is executed for each area, and the processing itself is not changed. Therefore, the description of the specific processing flow will be omitted.
  • the group voice is acquired by dividing into a plurality of regions, and the voice is evaluated for each region.
  • the voice evaluation result (or evaluation data) can be obtained for each area. Therefore, according to the voice evaluation system 10 according to the seventh embodiment, it is possible to divide one group into regions and evaluate the emotions of the group in each region.
  • the viewpoint position estimation system is based on an acquisition means for acquiring a voice emitted by a group of a plurality of people, a detection means for detecting an element corresponding to an emotion from the acquired voice, and the detected element.
  • the voice evaluation system is provided with an evaluation means for evaluating the acquired voice.
  • Appendix 2 The voice evaluation system according to Appendix 2 is the voice evaluation system according to Addendum 1, wherein the detection means detects elements corresponding to a plurality of types of emotions from the acquired voice.
  • Appendix 3 The voice evaluation system according to Appendix 3, wherein the evaluation means evaluates the acquired voice for each emotion based on the elements corresponding to the plurality of types of emotions. It is a system.
  • the voice evaluation system according to Appendix 4 is the voice evaluation system according to any one of Supplements 1 to 3, wherein the evaluation means generates evaluation data indicating the evaluation result of the acquired voice. be.
  • the voice evaluation system according to Appendix 5 is the voice evaluation system according to Appendix 4, wherein the evaluation means generates the evaluation data as time-series data.
  • Appendix 6 The voice evaluation system according to Appendix 6, wherein the evaluation means generates the evaluation data by graphing the evaluation results. Is.
  • Appendix 7 The voice evaluation system according to Appendix 7, wherein the evaluation means detects the occurrence of an abnormality in the surrounding environment of the group from the evaluation result of the acquired voice. It is a voice evaluation system described in.
  • the voice evaluation system according to Appendix 8 is characterized in that the acquisition means acquires the voice emitted by the group by dividing it into a plurality of regions, and the evaluation means evaluates the acquired voice for each region.
  • the voice evaluation method according to Appendix 9 acquires a voice emitted by a group of a plurality of people, detects an element corresponding to an emotion from the acquired voice, and based on the detected element, obtains the acquired voice. It is a voice evaluation method characterized by evaluation.
  • Appendix 10 The computer program according to Appendix 10 acquires voices emitted by a group of a plurality of people, detects elements corresponding to emotions from the acquired voices, and evaluates the acquired voices based on the detected elements. It is a computer program characterized by operating a computer in such a manner.
  • Voice evaluation system 110 Voice acquisition unit 111 Generation section recording unit 112 Silence section recording unit 120 Emotion element detection unit 121 First element detection unit 122 Second element detection unit 123 Third element detection unit 124 Fourth element detection unit 125 Scream element Detection unit 130 Voice evaluation unit 131 1st evaluation unit 132 2nd evaluation unit 133 3rd evaluation unit 134 4th evaluation unit 135 Abnormality judgment unit 140 Evaluation data generation unit 200 Mike 500 Audience seats

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

音声評価システム（１０）は、複数人からなる集団が発する音声を取得する取得手段（１１０）と、取得した音声から感情に応じた要素を検出する検出手段（１２０）と、検出された要素に基づいて、取得した音声を評価する評価手段（１３０）とを備える。このような音声評価システムによれば、集団が発する音声を適切に評価することが可能である。例えば、集団の音声を利用して集団全体としての感情を適切に評価することができる。

Description

音声評価システム、音声評価方法、及びコンピュータプログラム
　この開示は、音声を評価する音声評価システム、音声評価方法、及びコンピュータプログラムの技術分野に関する。
　この種のシステムとして、発話音声を取得して、発話した人の感情を推定するシステムが知られている。例えば特許文献１では、コールセンターに電話をかけてきた顧客の音声から、怒りや困惑の感情を定量解析するという技術が開示されている。特許文献２では、入力音声データから抽出した音声特徴量のパラメータを用いて、感情を「笑い」、「怒り」、「悲しみ」などに分類する技術が開示されている。特許文献３では、対話音声データを入力として、喜怒、満足度、ストレス度、信頼度等の感情を数値化した定量的指標を出力する技術が開示されている。
特開２００７－００４００１号公報 特開２００５－３５４５１９号公報 特許第６５１７４１９号公報
　上述した各特許文献では、主に一対一の会話を対象とするものであり、集団から発せられる音声に関する評価については考慮されていない。
　この開示は、上記した課題を解決するための音声評価システム、音声評価方法、及びコンピュータプログラムを提供することを課題とする。
　この開示の音声評価システムの一の態様は、複数人からなる集団が発する音声を取得する取得手段と、前記取得した音声から感情に応じた要素を検出する検出手段と、前記検出された要素に基づいて、前記取得した音声を評価する評価手段とを備える。
　この開示の音声評価方法の一の態様は、複数人からなる集団が発する音声を取得し、前記取得した音声から感情に応じた要素を検出し、前記検出された要素に基づいて、前記取得した音声を評価する。
　この開示のコンピュータプログラムの一の態様は、複数人からなる集団が発する音声を取得し、前記取得した音声から感情に応じた要素を検出し、前記検出された要素に基づいて、前記取得した音声を評価するようにコンピュータを動作させる。
第１実施形態に係る音声評価システムの全体構成を示すブロック図である。 第１実施形態に係る音声評価システムのハードウェア構成を示すブロック図である。 第１実施形態に係る音声評価システムの動作の流れを示すフローチャートである。 第２実施形態に係る音声評価システムの全体構成を示すブロック図である。 第２実施形態に係る音声評価システムの動作の流れを示すフローチャートである。 第３実施形態に係る音声評価システムの全体構成を示すブロック図である。 第３実施形態に係る音声評価システムの動作の流れを示すフローチャートである。 第４実施形態に係る音声評価システムの全体構成を示すブロック図である。 第４実施形態に係る音声評価システムの動作の流れを示すフローチャートである。 第５実施形態に係る評価データの表示例を示す図（その１）である。 第５実施形態に係る評価データの表示例を示す図（その２）である。 第５実施形態に係る評価データの表示例を示す図（その３）である。 第５実施形態に係る評価データの表示例を示す図（その４）である。 第５実施形態に係る評価データの表示例を示す図（その５）である。 第６実施形態に係る音声評価システムの全体構成を示すブロック図である。 第６実施形態に係る音声評価システムの動作の流れを示すフローチャートである。 第７実施形態に係る音声評価システムによるエリアごとの音声評価を示す概念図である。
　以下、図面を参照しながら、音声評価システム、音声評価方法、及びコンピュータプログラムの実施形態について説明する。
　＜第１実施形態＞
　第１実施形態に係る音声評価システムについて、図１から図３を参照して説明する。
　（システム構成）
　まず、図１を参照しながら、第１実施形態に係る音声評価システムの全体構成について説明する。図１は、第１実施形態に係る音声評価システムの全体構成を示すブロック図である。
　図１において、第１実施形態に係る音声評価システム１０は、集団が発する音声を評価可能なシステムとして構成されている。ここでの「集団」とは、複数人からなる人の集まりであり、具体的には、舞台やスポーツ観戦等の各種イベントの観客等が一例として挙げられる。音声評価システム１０は、その機能を実現するための機能ブロックとして、音声取得部１１０と、感情要素検出部１２０と、音声評価部１３０とを備えている。
　音声取得部１１０は、集団が発する音声（以下、適宜「集団音声」と称する）を取得可能に構成されている。音声取得部１１０は、例えば集団ができる場所に設置されたマイクを含んで構成されている。また、音声取得部１１０は、取得した音声に対する各種処理（例えば、ノイズ除去処理や、特定の区間を抽出する処理等）を実行可能に構成されてよい。音声取得部１１０で取得された集団音声は、感情要素検出部１２０に出力される構成となっている。
　感情要素検出部１２０は、音声取得部１１０で取得した集団音声から感情要素を検出可能に構成されている。ここでの「感情要素」とは、音声に含まれる集団の感情を示す要素であり、例えば「喜び」の感情に対応する要素、「怒り」の感情に対応する要素、「哀しみ」の感情に対応する要素等が一例として挙げられる。感情要素検出部１２０は、予め設定した少なくとも１種類の感情要素を検出可能に構成されている。なお、音声から感情要素を検出する手法については、適宜既存の技術を採用することができるが、例えば音声の周波数解析を用いた手法や、ディープラーニングを用いた手法等を利用可能である。感情要素検出部１２０で検出された感情要素に関する情報は、音声評価部１３０に出力される構成となっている。
　音声評価部１３０は、感情要素検出部１２０で検出した感情要素に基づいて、集団音声を評価可能に構成されている。具体的には、音声評価部１３０は、集団音声から検出された感情要素から、集団の感情の度合いを評価可能に構成されている。音声評価部１３０は、例えば感情要素を数値化することで集団音声を評価する。例えば、「喜び」の感情に対応する要素が検出されている場合、音声評価部１３０は、集団の「喜び」の感情に対応するスコアを算出して評価を行う。具体的には、集団音声に「喜び」の感情に対応する要素が多く含まれている場合は、「喜び」の感情に対応するスコアを高い値として算出すればよい。一方、集団音声に「喜び」の感情に対応する要素が多く含まれていない場合は、「喜び」の感情に対応するスコアを低い値として算出すればよい。
　（ハードウェア構成）
　次に、図２を参照しながら、第１実施形態に係る音声評価システム１０のハードウェア構成について説明する。図２は、第１実施形態に係る音声評価システムのハードウェア構成を示すブロック図である。
　図２に示すように、第１実施形態に係る音声評価システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。音声評価システム１０は更に、入力装置１５と、出力装置１６とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。なお、音声評価システム１０は、プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とを、それぞれ複数備えていてもよい。
　プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、音声評価システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、取得した音声を評価するための機能ブロックが実現される（図１参照）。なお、プロセッサ１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ　ｓｉｇｎａｌ　ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）の何れかを用いてもよい。また、これらのうち複数を並列に用いてもよい。
　ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）であってもよい。
　ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）であってもよい。
　記憶装置１４は、音声評価システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１５は、音声評価システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
　出力装置１６は、音声評価システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、音声評価システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。
　（動作の流れ）
　次に、図３を参照しながら、第１実施形態に係る音声評価システム１０の動作の流れについて説明する。図３は、第１実施形態に係る音声評価システムの動作の流れを示すフローチャートである。
　図３に示すように、第１実施形態に係る音声評価システム１０の動作時には、まず音声取得部１１０が集団音声を取得する（ステップＳ１１）。なお、音声取得部１１０は、音声を常時取得してもよいし、所定期間にのみ取得するようにしてもよい。或いは、音声取得部１１０は、音声を常時取得して所定期間の音声のみを抽出するような処理を実行してもよい。
　続いて、感情要素検出部１２０が、音声取得部１１０で取得された集団音声から感情要素を検出する（ステップＳ１２）。そして、音声評価部１３０が、感情要素検出部１２０で検出された感情要素に基づいて集団音声を評価する（ステップＳ１３）。なお、音声評価部１３０による評価結果は、例えば図示せぬ表示装置等に出力されてよい。
　（技術的効果）
　次に、第１実施形態に係る音声評価システム１０によって得られる技術的効果の一例について説明する。
　例えば、舞台、スポーツ観戦等、各種イベントの会場では、盛り上がりによって集団から発せられる音声（例えば、歓声や悲鳴等）が変化する。このため、このような音声を適切に評価することができれば、そのイベントがどの程度来場者に受け入れられたのか判断できると考えられる。
　図１から図３で説明したように、第１実施形態に係る音声評価システム１０では、集団が発する集団音声から感情要素を検出して評価が行われる。よって、第１実施形態に係る音声評価システム１０によれば、集団音声を利用して、集団の感情を適切に評価することが可能である。例えば、第１実施形態に係る音声評価システム１０では、大勢の観客を集めるイベント等において、その音声から観客の盛り上がり等を数値化して評価することができる。よって、そのイベントが成功したか否かを客観的に評価することが可能となる。
　なお、第１実施形態に係る音声評価システム１０は、集団が発する集団音声を評価するため、例えば一人ひとりから音声を取得するのが困難な状況であっても、集団全体としての感情を適切に評価することが可能である。また、顔画像等を用いずに音声のみで評価ができるため、照明が暗い環境下においても適切に集団の感情を評価することができる。
　＜第２実施形態＞
　第２実施形態に係る音声評価システムについて、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分ついては概ね同様である。よって、以下では第１実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
　（システム構成）
　まず、図４を参照しながら、第２実施形態に係る音声評価システムの全体構成について説明する。図４は、第２実施形態に係る音声評価システムの全体構成を示すブロック図である。なお、図４では、図１で示した構成要素と同様のものに同一の符号を付している。
　図４に示すように、第２実施形態に係る音声評価システム１０は、音声取得部１１０が、発生区間記録部１１１と、無音区間記録部１１２とを備えている。感情要素検出部１２０が、第１要素検出部１２１と、第２要素検出部１２２と、第３要素検出部１２３と、第４要素検出部１２４とを備えている。
　発生区間記録部１１１は、集団が音声を発している区間で取得された音声を記録する。発生区間記録部１１１で記録された音声は、感情要素検出部１２０に出力される構成となっている。一方、無音区間記録部１１２は、集団が音声を発していない区間（例えば、音量が所定閾値以下となるような区間）を記録する。無音区間記録部１１２で記録された区間については、感情要素検出部１２０には出力されず、評価データ生成部１４０に直接出力される構成となっている（言い換えれば、評価対象から外されている）。このようにすれば、音声評価する区間を限定してシステムの処理負荷を低減することができる。
　第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４は、それぞれ異なる感情要素を検出可能に構成されている。例えば、第１要素検出部１２１は「喜び」の感情に対応する感情要素を検出し、第２要素検出部１２２は「怒り」の感情に対応する感情要素を検出し、第３要素検出部１２３は「哀しみ」の感情に対応する感情要素を検出し、第４要素検出部１２４は「楽しみ」の感情に対応する感情要素を検出してもよい。
　（ハードウェア構成）
　第２実施形態に係る音声評価システム１０のハードウェア構成については、第１実施形態に係る音声評価システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。
　（動作の流れ）
　次に、図５を参照しながら、第２実施形態に係る音声評価システム１０の動作の流れについて説明する。図５は、第２実施形態に係る音声評価システムの動作の流れを示すフローチャートである。
　図５に示すように、第２実施形態に係る音声評価システム１０の動作時には、まず音声取得部１１０が集団音声を取得する（ステップＳ２１）。また音声取得部１１０は、取得した音声から、実際に集団が音声を発生している区間の音声を抽出する（ステップＳ２２）。具体的には、集団が音声を発している区間の音声を発生区間記録部１１１が記録し、集団が音声を発していない区間を無音区間記録部１１２が記録する。
　続いて、感情要素検出部１２０が、音声取得部１１０で取得された集団音声から感情要素を検出する（ステップＳ２３）。具体的には、第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４が、それぞれ異なる感情に対応する感情要素を検出する。
　第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４で検出された各感情要素は、それぞれ音声評価部１３０に入力される。そして、音声評価部１３０が、感情要素検出部１２０で検出された感情要素に基づいて集団音声を評価する（ステップＳ２４ａ）。
　（技術的効果）
　次に、第２実施形態に係る音声評価システム１０によって得られる技術的効果の一例について説明する。
　図４及び図５で説明したように、第２実施形態に係る音声評価システム１０では、感情要素検出部１２０に、第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４が備えられているため、音声取得部１１０で取得した音声から、複数種類の感情要素を検出することが可能である。これにより、感情の種類に応じた音声評価を実現することが可能となる。
　＜第３実施形態＞
　第３実施形態に係る音声評価システムについて、図６及び図７を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の構成及び動作が異なるのみであり、その他の部分ついては概ね同様である。よって、以下では第１及び第２実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
　（システム構成）
　まず、図６を参照しながら、第３実施形態に係る音声評価システムの全体構成について説明する。図６は、第３実施形態に係る音声評価システムの全体構成を示すブロック図である。なお、図６では、図１及び図４で示した構成要素と同様のものに同一の符号を付している。
　図６に示すように、第３実施形態に係る音声評価システム１０は、音声評価部１３０が、第１評価部１３１と、第２評価部１３２と、第３評価部１３３と、第４評価部１３４とを備えている。
　第１評価部１３１は、第１要素検出部１２１が検出した感情要素に基づいて音声を評価可能に構成されている。第２評価部１３２は、第２要素検出部１２２が検出した感情要素に基づいて音声を評価可能に構成されている。第３評価部１３３は、第３要素検出部１２３が検出した感情要素に基づいて音声を評価可能に構成されている。第４評価部１３４は、第４要素検出部１２４が検出した感情要素に基づいて音声を評価可能に構成されている。
　（ハードウェア構成）
　第３実施形態に係る音声評価システム１０のハードウェア構成については、第１実施形態に係る音声評価システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。
　（動作の流れ）
　次に、図７を参照しながら、第３実施形態に係る音声評価システム１０の動作の流れについて説明する。図７は、第３実施形態に係る音声評価システムの動作の流れを示すフローチャートである。
　図７に示すように、第３実施形態に係る音声評価システム１０の動作時には、まず音声取得部１１０が集団音声を取得する（ステップＳ２１）。また音声取得部１１０は、取得した音声から、実際に集団が音声を発生している区間の音声を抽出する（ステップＳ２２）。
　続いて、感情要素検出部１２０が、音声取得部１１０で取得された集団音声から感情要素を検出する（ステップＳ２３）。具体的には、第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４が、それぞれ異なる感情に対応する感情要素を検出する。第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４で検出された各感情要素は、それぞれ音声評価部１３０に入力される。
　続いて、音声評価部１３０が、感情要素検出部１２０で検出された感情要素に基づいて集団音声を評価する（ステップＳ２４）。具体的には、第１評価部１３１、第２評価部１３２、第３評価部１３３、及び第４評価部１３４が、第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４で検出された感情要素に基づく評価を別々に行う。
　（技術的効果）
　次に、第３実施形態に係る音声評価システム１０によって得られる技術的効果の一例について説明する。
　図６及び図７で説明したように、第３実施形態に係る音声評価システム１０では、音声評価部１３０に、第１評価部１３１、第２評価部１３２、第３評価部１３３、及び第４評価部１３４が備えられているため、第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４で検出した複数種類の感情要素の各々について、別々に音声評価を行うことが可能となる。
　＜第４実施形態＞
　第４実施形態に係る音声評価システムについて、図８及び図９を参照して説明する。なお、第４実施形態は、上述した第１から第３実施形態と比べて一部の動作が異なるのみであり、その他の部分ついては概ね同様である。よって、以下では第１から第３実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
　（システム構成）
　まず、図８を参照しながら、第４実施形態に係る音声評価システムの全体構成について説明する。図８は、第４実施形態に係る音声評価システムの全体構成を示すブロック図である。なお、図８では、図１、図４、及び図６で示した構成要素と同様のものに同一の符号を付している。
　図８に示すように、第４実施形態に係る音声評価システム１０は、第３実施形態の構成要素（図６参照）に加えて、評価データ生成部１４０を備えている。なお、第４実施形態に係る音声評価システム１０は、第１実施形態の構成要素（図１参照）に加えて、評価データ生成部１４０を備えたものであってもよい。或いは、第４実施形態に係る音声評価システム１０は、第２実施形態の構成要素（図４参照）に加えて、評価データ生成部１４０を備えたものであってもよい。
　評価データ生成部１４０は、第１評価部１３１、第２評価部１３２、第３評価部１３３、及び第４評価部１３４の評価結果、並びに無音区間記録部１１２に記憶されている区間の情報を統合して、評価データを生成可能に構成されている。評価データは、音声評価システム１０のユーザが評価結果を適切に把握するためのデータとして生成される。評価データの具体例については、後の第５実施形態で詳しく説明する。
　（ハードウェア構成）
　第４実施形態に係る音声評価システム１０のハードウェア構成については、第１実施形態に係る音声評価システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。なお、評価データ生成部１４０については、例えばプロセッサ１１（図２参照）により実現すればよい。
　（動作の流れ）
　次に、図９を参照しながら、第４実施形態に係る音声評価システム１０の動作の流れについて説明する。図９は、第４実施形態に係る音声評価システムの動作の流れを示すフローチャートである。
　図９に示すように、第４実施形態に係る音声評価システム１０の動作時には、まず音声取得部１１０が集団音声を取得する（ステップＳ２１）。また音声取得部１１０は、取得した音声から、実際に集団が音声を発生している区間の音声を抽出する（ステップＳ２２）。
　続いて、感情要素検出部１２０が、音声取得部１１０で取得された集団音声から感情要素を検出する（ステップＳ２３）。具体的には、第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４が、それぞれ異なる感情に対応する感情要素を検出する。そして、音声評価部１３０が、感情要素検出部１２０で検出された感情要素に基づいて集団音声を評価する（ステップＳ２４）。具体的には、第１評価部１３１、第２評価部１３２、第３評価部１３３、及び第４評価部１３４が、それぞれ異なる感情要素を用いて集団音声を評価する。
　続いて、評価データ生成部１４０が、集団音声の評価結果から評価データを生成する（ステップＳ２５）。なお、評価データ生成部１４０で生成された評価データは、例えば図示せぬ表示装置等に出力されてよい。
　（技術的効果）
　次に、第４実施形態に係る音声評価システム１０によって得られる技術的効果の一例について説明する。
　図８及び図９で説明したように、第４実施形態に係る音声評価システム１０では、評価データ生成部１４０によって評価データが生成される。よって、評価データを用いて、集団音声の評価結果を適切に把握することが可能となる。
　＜第５実施形態＞
　次に、第５実施形態に係る音声評価ステム１０について、図１０から図１４を参照して説明する。なお、第５実施形態は、上述した第４実施形態の評価データ生成部１４０で生成される評価データの具体例を示すものである。よって、システム構成、ハードウェア構成、及び動作の流れについては、第４実施形態と同一であってもよいため、詳しい説明を省略するものとする。
　図１０から図１４を参照しながら、評価データ生成部１４０で生成される評価データの具体例について説明する。図１０は、第５実施形態に係る評価データの表示例を示す図（その１）である。図１１は、第５実施形態に係る評価データの表示例を示す図（その２）である。図１２は、第５実施形態に係る評価データの表示例を示す図（その３）である。図１３は、第５実施形態に係る評価データの表示例を示す図（その４）である。図１４は、第５実施形態に係る評価データの表示例を示す図（その５）である。なお、以下では、音声評価システム１０が「喜び」、「怒り」、「哀しみ」、「楽しみ」の４種類の感情を評価する例を挙げて説明する。
　図１０に示すように、評価用データは、各感情の大きさを棒グラフで示すものとして生成されてよい。図１０に示す例では、「喜び」の感情が最も大きく、それと比べて「怒り」、「哀しみ」、「楽しみ」の感情は小さいことが直感的に分かる。
　図１１に示すように、評価用データは、各感情の大きさを円の大きさで示すものとして生成されてよい。図１１に示す例では、「怒り」の感情が最も大きく、それと比べて「喜び」、「哀しみ」、「楽しみ」の感情は小さいことが直感的に分かる。
　図１２に示すように、評価用データは、各感情の大きさを数値化した表で示すものとして生成されてよい。図１２に示す例では、「喜び」の感情が“７０”、「怒り」の感情が“１０”、「哀しみ」の感情が“５”、「楽しみ」の感情が“１５”となっており、各感情の大きさをより正確に把握することができる。
　図１３に示すように、評価用データは、各感情の大きさの時間軸上での変化を示すもの（言い換えれば、時系列データ）として生成されてよい。図１３に示す例では、「喜び」の感情が、時間とともにどのように変化しているかを具体的に把握することができる。このような評価データによれば、イベントの盛り上がりのタイミング等を正確に把握することができる。なお、ここでは「喜び」の感情に対応するグラフのみを図示しているが、他の感情に対応するグラフとの切り替えや、他の感情に対応するグラフを含めた一覧表示等が可能とされてよい。
　図１４に示すように、評価用データは、動画を表示する動画領域Ｄ１と、各感情の大きさを示すグラフを表示するグラフ領域Ｄ２とを含むデータとして生成されてよい。動画領域Ｄ１では、イベントの様子を撮影した動画が再生でき、シークバーＳＢを操作することで所望のタイミングに移動することができる。一方、グラフ領域Ｄ２では、動画領域Ｄ１で表示されている動画の再生タイミングに応じた各感情の大きさが棒グラフとして示される。このようにすれば、実際にどのような状況で、どのように集団の感情が変化したのかを把握することができる。
　以上の各表示例は、適宜組み合わせて利用することも可能である。また、上述した評価データの表示例はあくまで一例であり、評価データは、その他の表示態様で表示されても構わない。
　（技術的効果）
　次に、第５実施形態に係る音声評価システム１０によって得られる技術的効果の一例について説明する。
　図１０から図１４で説明したように、第５実施形態に係る音声評価システム１０では、集団音声の評価結果を分かりやすく示す評価データが生成される。よって、第５実施形態に係る音声評価システム１０によれば、集団音声の評価結果を適切に把握する（例えば、より直感的に或いはより正確に把握する）ことが可能となる。
　＜第６実施形態＞
　第６実施形態に係る音声評価システムについて、図１５及び図１６を参照して説明する。なお、第６実施形態は、上述した第１から第５実施形態と比べて一部の構成や動作が異なるのみであり、その他の部分については概ね同様である。よって、以下では第１から第５実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
　（システム構成）
　まず、図１５を参照しながら、第６実施形態に係る音声評価システムの全体構成について説明する。図１５は、第６実施形態に係る音声評価システムの全体構成を示すブロック図である。なお、図１５では、図１、図４、図６及び図８で示した構成要素と同様のものに同一の符号を付している。
　図１５に示すように、第６実施形態に係る音声評価システム１０は、第４実施形態に係る構成要素（図６参照）に加えて、感情要素検出部１２０が、悲鳴要素検出部１２５を備えている。また、音声評価部１３０が、異常判定部１３５を備えている。
　悲鳴要素検出部１２５は、音声取得部１１０が取得した音声から悲鳴に対応する感情要素（以下、適宜「悲鳴要素」と称する）を検出可能に構成されている。なお、ここでの「悲鳴」とは、集団の周囲環境において異常が発生した際（例えば、地震等の自然災害時）に集団から発せられる悲鳴であり、例えば歓声と同種の悲鳴とは明確に区別されている。なお、異常発生時の悲鳴と、他の悲鳴との区別は、例えばニューラルネットワークを用いた機械学習等によって実現することができる。悲鳴要素検出部１２５で検出された悲鳴要素に関する情報は、異常判定部１３５に出力される構成となっている。
　異常判定部１３５は、悲鳴要素検出部１２５で検出した悲鳴要素に基づいて、集団の周囲環境において異常が発生したか否かを判定可能に構成されている。異常判定部１３５は、悲鳴要素を用いた評価結果として得られる悲鳴に対応する感情の大きさに基づいて異常が発生したか否かを判定する。例えば、異常判定部１３５は、悲鳴要素から悲鳴に対応する感情のスコアを算出し、そのスコアが所定閾値を超えている場合には異常が発生しており、超えていない場合には異常が発生していないと判定すればよい。
　（ハードウェア構成）
　第６実施形態に係る音声評価システム１０のハードウェア構成については、第１実施形態に係る音声評価システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。
　（動作の流れ）
　次に、図１６を参照しながら、第６実施形態に係る音声評価システム１０の動作の流れについて説明する。図１６は、第６実施形態に係る音声評価システムの動作の流れを示すフローチャートである。なお、図１６では、図５、図７、及び図９で示した処理と同様の処理に同一の符号を付している。
　図１６に示すように、第６実施形態に係る音声評価システム１０の動作時には、まず音声取得部１１０が集団音声を取得する（ステップＳ２１）。また音声取得部１１０は、取得した音声から、実際に集団が音声を発生している区間の音声を抽出する（ステップＳ２２）。
　続いて、感情要素検出部１２０が、音声取得部１１０で取得された集団音声から感情要素を検出する（ステップＳ２３）。具体的には、第１要素検出部１２１、第２要素検出部１２２、第３要素検出部１２３、及び第４要素検出部１２４が、それぞれ異なる感情に対応する感情要素を検出する。加えて、第６実施形態では特に、悲鳴要素検出部１２５が悲鳴要素を検出する（ステップＳ３１）。
　続いて、音声評価部１３０が、感情要素検出部１２０で検出された感情要素に基づいて集団音声を評価する（ステップＳ２４）。具体的には、第１評価部１３１、第２評価部１３２、第３評価部１３３、及び第４評価部１３４が、それぞれ異なる感情要素を用いて集団音声を評価する。また、第６実施形態では特に、異常判定部１３５が、悲鳴要素検出部１２５で検出された悲鳴要素に基づいて、集団の周囲環境で異常が発生しているか否かを判定する（ステップＳ３２）
　続いて、評価データ生成部１４０が、集団音声の評価結果から評価データを生成する（ステップＳ２５）。ここで特に、異常判定部１３５で異常が発生していると判定された場合、評価データ生成部１４０は、異常に関する情報（例えば、以上の発生タイミング等）を含むものとして生成される。或いは、評価データ生成部１４０は、通常の評価データとは別に、異常の発生を知らせる異常報知データを生成するようにしてもよい。この場合、異常報知データは、例えばイベント会場のアラーム等の動作を制御するデータを含んでいてもよい。
　（技術的効果）
　次に、第６実施形態に係る音声評価システム１０によって得られる技術的効果の一例について説明する。
　図１５及び図１６で説明したように、第６実施形態に係る音声評価システム１０では、悲鳴要素に基づいて異常が発生しているか否かが判定される。よって、第６実施形態に係る音声評価システム１０によれば、音声から集団の感情を評価するだけでなく、集団の周囲環境における異常の発生を検知することが可能である。
　＜第７実施形態＞
　第７実施形態に係る音声評価システムについて、図１７を参照して説明する。なお、第７実施形態は、上述した第１から第６実施形態と比べて一部の構成や動作が異なるのみであり、その他の部分については概ね同様である。よって、以下では第１から第６実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
　（システム構成）
　第７実施形態に係る音声評価システム１０の全体構成については、第１から第６実施形態に係る音声評価システム１０の全体構成（図１、図４、図６、図８、及び図１５参照）と同一であってもよいため、その説明については省略する。
　（ハードウェア構成）
　第７実施形態に係る音声評価システム１０のハードウェア構成については、第１実施形態に係る音声評価システム１０のハードウェア構成（図２参照）と同一であってもよいため、その説明については省略する。
　（領域ごとの音声評価）
　次に、図１７を参照しながら、第７実施形態に係る音声評価システム１０で実行可能な領域ごとの音声評価について説明する。図１７は、第７実施形態に係る音声評価システムによるエリアごとの音声評価を示す概念図である。以下では、舞台の観客である集団が発する音声を評価するケースを例にして説明する。
　図１７に示すように、第７実施形態に係る音声評価システム１０では、集団が事前に複数のエリアに分けられる。図に示す例では、舞台の５００が、エリアＡ、エリアＢ、及びエリアＣの３つのエリアに分けられている。
　エリアＡ、エリアＢ、及びエリアＣの各集団が発する音声は、それぞれ異なる音声として取得可能とされている。具体的には、エリアＡの集団が発する音声はマイク２００ａで取得可能に構成されている。エリアＢの集団が発する音声はマイク２００ｂで取得可能に構成されている。エリアＣの集団が発する音声はマイク２００ｃで取得可能に構成されている。なお、各マイク２００ａ～ｃは、音声取得部１１０の一部として構成されるものであり、エリアＡ～Ｃの音声は、それぞれ音声取得部１１０に取得されることになる。
　（動作の流れ）
　第７実施形態に係る音声評価システム１０の動作時には、各エリア（例えば、図１７のエリアＡ、エリアＢ、及びエリアＣ）から取得された音声の各々について、第１から第６実施形態に係る音声評価システム１０と同様の処理（図３、図５、図７、図９、及び図１６参照）が実行される。即ち、エリアごとに同様の処理が実行されるのみで、処理自体に変更はない。このため、具体的な処理の流れについては説明を省略する。
　（技術的効果）
　次に、第７実施形態に係る音声評価システム１０によって得られる技術的効果の一例について説明する。
　図１７で説明したように、第７実施形態に係る音声評価システム１０では、複数の領域に分けて集団音声が取得され、領域ごとに音声が評価される。この結果、音声の評価結果（或いは、評価データ）は、領域ごとに得られることになる。よって、第７実施形態に係る音声評価システム１０によれば、１つの集団を領域ごとに分けて、それぞれの領域ごとに集団の感情を評価することが可能である。
　＜付記＞
　以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　付記１に記載の視点位置推定システムは、複数人からなる集団が発する音声を取得する取得手段と、前記取得した音声から感情に応じた要素を検出する検出手段と、前記検出された要素に基づいて、前記取得した音声を評価する評価手段とを備えることを特徴とする音声評価システムである。
　（付記２）
　付記２に記載の音声評価システムは、前記検出手段は、前記取得した音声から複数種類の感情に応じた要素を検出することを特徴とする付記１に記載の音声評価システムである。
　（付記３）
　付記３に記載の音声評価システムは、前記評価手段は、前記複数種類の感情に応じた要素に基づいて、感情ごとに前記取得した音声を評価することを特徴とする付記２に記載の音声評価システムである。
　（付記４）
　付記４に記載の音声評価システムは、前記評価手段は、前記取得した音声の評価結果を示す評価データを生成することを特徴とする付記１から３のいずれか一項に記載の音声評価システムである。
　（付記５）
　付記５に記載の音声評価システムは、前記評価手段は、前記評価データを時系列データとして生成することを特徴とする付記４に記載の音声評価システムである。
　（付記６）
　付記６に記載の音声評価システムは、前記評価手段は、前記評価結果をグラフ化することで前記評価データを生成することを特徴とする付記４又は５のいずれか一項に記載の音声評価システムである。
　（付記７）
　付記７に記載の音声評価システムは、前記評価手段は、前記取得した音声の評価結果から、前記集団の周囲環境における異常の発生を検知することを特徴とする付記１から６のいずれか一項に記載の音声評価システムである。
　（付記８）
　付記８に記載の音声評価システムは、前記取得手段は、前記集団が発する音声を複数の領域に分けて取得し、前記評価手段は、前記領域ごとに前記取得した音声を評価することを特徴とする付記１から７のいずれか一項に記載の音声評価システムである。
　（付記９）
　付記９に記載の音声評価方法は、複数人からなる集団が発する音声を取得し、前記取得した音声から感情に応じた要素を検出し、前記検出された要素に基づいて、前記取得した音声を評価することを特徴とする音声評価方法である。
　（付記１０）
　付記１０に記載のコンピュータプログラムは、複数人からなる集団が発する音声を取得し、前記取得した音声から感情に応じた要素を検出し、前記検出された要素に基づいて、前記取得した音声を評価するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
　この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う音声評価システム、音声評価方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。
　１０　音声評価システム
　１１０　音声取得部
　１１１　発生区間記録部
　１１２　無音区間記録部
　１２０　感情要素検出部
　１２１　第１要素検出部
　１２２　第２要素検出部
　１２３　第３要素検出部
　１２４　第４要素検出部
　１２５　悲鳴要素検出部
　１３０　音声評価部
　１３１　第１評価部
　１３２　第２評価部
　１３３　第３評価部
　１３４　第４評価部
　１３５　異常判定部
　１４０　評価データ生成部
　２００　マイク
　５００　観客席

Claims (10)

  1. 　複数人からなる集団が発する音声を取得する取得手段と、
    　前記取得した音声から感情に応じた要素を検出する検出手段と、
    　前記検出された要素に基づいて、前記取得した音声を評価する評価手段と
    　を備えることを特徴とする音声評価システム。
  2. 　前記検出手段は、前記取得した音声から複数種類の感情に応じた要素を検出することを特徴とする請求項１に記載の音声評価システム。
  3. 　前記評価手段は、前記複数種類の感情に応じた要素に基づいて、感情ごとに前記取得した音声を評価することを特徴とする請求項２に記載の音声評価システム。
  4. 　前記評価手段は、前記取得した音声の評価結果を示す評価データを生成することを特徴とする請求項１から３のいずれか一項に記載の音声評価システム。
  5. 　前記評価手段は、前記評価データを時系列データとして生成することを特徴とする請求項４に記載の音声評価システム。
  6. 　前記評価手段は、前記評価結果をグラフ化することで前記評価データを生成することを特徴とする請求項４又は５のいずれか一項に記載の音声評価システム。
  7. 　前記評価手段は、前記取得した音声の評価結果から、前記集団の周囲環境における異常の発生を検知することを特徴とする請求項１から６のいずれか一項に記載の音声評価システム。
  8. 　前記取得手段は、前記集団が発する音声を複数の領域に分けて取得し、
    　前記評価手段は、前記領域ごとに前記取得した音声を評価する
    　ことを特徴とする請求項１から７のいずれか一項に記載の音声評価システム。
  9. 　複数人からなる集団が発する音声を取得し、
    　前記取得した音声から感情に応じた要素を検出し、
    　前記検出された要素に基づいて、前記取得した音声を評価する
    　ことを特徴とする音声評価方法。
  10. 　複数人からなる集団が発する音声を取得し、
    　前記取得した音声から感情に応じた要素を検出し、
    　前記検出された要素に基づいて、前記取得した音声を評価する
    　ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
PCT/JP2020/012381 2020-03-19 2020-03-19 音声評価システム、音声評価方法、及びコンピュータプログラム WO2021186691A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/910,550 US20230138068A1 (en) 2020-03-19 2020-03-19 Voice evaluation system, voice evaluation method, and computer program
PCT/JP2020/012381 WO2021186691A1 (ja) 2020-03-19 2020-03-19 音声評価システム、音声評価方法、及びコンピュータプログラム
JP2022507978A JP7420216B2 (ja) 2020-03-19 2020-03-19 音声評価システム、音声評価方法、及びコンピュータプログラム
EP20925353.3A EP4123647A4 (en) 2020-03-19 2020-03-19 LANGUAGE RATING SYSTEM; LANGUAGE ASSESSMENT PROCEDURE AND COMPUTER PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012381 WO2021186691A1 (ja) 2020-03-19 2020-03-19 音声評価システム、音声評価方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2021186691A1 true WO2021186691A1 (ja) 2021-09-23

Family

ID=77772013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012381 WO2021186691A1 (ja) 2020-03-19 2020-03-19 音声評価システム、音声評価方法、及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US20230138068A1 (ja)
EP (1) EP4123647A4 (ja)
JP (1) JP7420216B2 (ja)
WO (1) WO2021186691A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0217419B2 (ja) 1978-09-01 1990-04-20 Kuronesu Ag Heruman Kuronsederu Mas Fab
JP2005354519A (ja) 2004-06-11 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 撮像装置および撮像プログラム
JP2007004001A (ja) 2005-06-27 2007-01-11 Tokyo Electric Power Co Inc:The オペレータ応対能力診断装置、オペレータ応対能力診断プログラム、プログラム格納媒体
JP2011053557A (ja) * 2009-09-03 2011-03-17 Raytron:Kk 悲鳴検出装置および悲鳴検出方法
JP2012227712A (ja) * 2011-04-19 2012-11-15 Hoshun Ri 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7999857B2 (en) * 2003-07-25 2011-08-16 Stresscam Operations and Systems Ltd. Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0217419B2 (ja) 1978-09-01 1990-04-20 Kuronesu Ag Heruman Kuronsederu Mas Fab
JP2005354519A (ja) 2004-06-11 2005-12-22 Nippon Telegr & Teleph Corp <Ntt> 撮像装置および撮像プログラム
JP2007004001A (ja) 2005-06-27 2007-01-11 Tokyo Electric Power Co Inc:The オペレータ応対能力診断装置、オペレータ応対能力診断プログラム、プログラム格納媒体
JP2011053557A (ja) * 2009-09-03 2011-03-17 Raytron:Kk 悲鳴検出装置および悲鳴検出方法
JP2012227712A (ja) * 2011-04-19 2012-11-15 Hoshun Ri 視聴覚システム、リモコン端末、会場機器制御装置、視聴覚システムの制御方法、及び視聴覚システムの制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4123647A4

Also Published As

Publication number Publication date
US20230138068A1 (en) 2023-05-04
JP7420216B2 (ja) 2024-01-23
EP4123647A1 (en) 2023-01-25
JPWO2021186691A1 (ja) 2021-09-23
EP4123647A4 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
US20180366144A1 (en) Sentiment analysis of mental health disorder symptoms
US9412393B2 (en) Speech effectiveness rating
JP6025037B2 (ja) 音声エージェント装置、及びその制御方法
US11545139B2 (en) System and method for determining the compliance of agent scripts
KR20170080672A (ko) 키 문구 사용자 인식의 증강
JP5197853B2 (ja) モニタリング装置
JP2007004001A (ja) オペレータ応対能力診断装置、オペレータ応対能力診断プログラム、プログラム格納媒体
JP2012027186A (ja) 音声信号処理装置、音声信号処理方法及びプログラム
US20200007993A1 (en) Augmented environmental awareness system
JP5673429B2 (ja) 心音情報処理装置、心音情報処理方法、心音情報処理プログラム
JP2010266522A (ja) 対話状態分割装置とその方法、そのプログラムと記録媒体
JP2018171683A (ja) ロボットの制御プログラム、ロボット装置、及びロボットの制御方法
JP7028307B2 (ja) ハウリング抑圧装置、その方法、およびプログラム
JP7266390B2 (ja) 行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラム
WO2021186691A1 (ja) 音声評価システム、音声評価方法、及びコンピュータプログラム
JP7340630B2 (ja) ニューラルネットワークを使用した音声入力の複数話者ダイアライゼーション
JP2018013742A (ja) 音声要約作成支援装置、音声要約作成支援方法、及び音声要約作成支援プログラム
JP6736225B2 (ja) 対話装置、対話装置の制御方法およびプログラム
JP2005338402A (ja) 音声収録システム、録音装置、音声解析装置および音声収録方法並びにプログラム
JP2017097160A (ja) 音声処理装置、音声処理方法、およびプログラム
JP7490199B2 (ja) 学習済みオートエンコーダ、学習済みオートエンコーダの生成方法、非定常振動の検出方法、非定常振動の検出装置、並びにコンピュータプログラム
KR102616058B1 (ko) 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
US11967311B1 (en) Recipient customized generative voice modeling
JP7248087B2 (ja) 連続発話推定装置、連続発話推定方法、およびプログラム
WO2020184423A1 (en) Sound wave generator, broadcasting system, method for generating sound wave, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20925353

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507978

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020925353

Country of ref document: EP

Effective date: 20221019