WO2022101993A1 - 対話評価方法、対話評価装置及びプログラム - Google Patents

対話評価方法、対話評価装置及びプログラム Download PDF

Info

Publication number
WO2022101993A1
WO2022101993A1 PCT/JP2020/041946 JP2020041946W WO2022101993A1 WO 2022101993 A1 WO2022101993 A1 WO 2022101993A1 JP 2020041946 W JP2020041946 W JP 2020041946W WO 2022101993 A1 WO2022101993 A1 WO 2022101993A1
Authority
WO
WIPO (PCT)
Prior art keywords
dialogue
score
participant
evaluation
participants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/041946
Other languages
English (en)
French (fr)
Inventor
陽子 徳永
健 倉島
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2022561734A priority Critical patent/JP7563478B2/ja
Priority to PCT/JP2020/041946 priority patent/WO2022101993A1/ja
Priority to US18/251,082 priority patent/US20230410807A1/en
Publication of WO2022101993A1 publication Critical patent/WO2022101993A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Definitions

  • the present invention relates to a dialogue evaluation method, a dialogue evaluation device, and a program.
  • Dialogue includes group dialogue between people and system dialogue between dialogue system and people.
  • evaluation in group dialogue there is a technique for estimating leadership and contribution from the frequency of words contained in spoken sentences during dialogue and the number of nods that can be discriminated from camera images (for example, Non-Patent Document 1). ).
  • There is also a method of conducting a questionnaire evaluation such as how much the participants were able to directly contribute and how satisfied they were, and a method of having a third party evaluate the deliverables of the dialogue (for example, Non-Patent Document 2).
  • evaluating a dialogue by a dialogue system there is a technique for evaluating a sentence generated by the system (for example, Patent Document 1).
  • the personality traits of each participant influence the evaluation of the dialogue. For example, even with the same number of remarks, there is a difference that people who like talking are not satisfied and think that they could not contribute enough, and introverts can talk more than usual and feel a sense of accomplishment. Therefore, by considering the personality traits and the behavior in the actual dialogue together, it is possible to evaluate the true achievement, satisfaction, and contribution to the dialogue.
  • Patent Document 1 does not consider the personality traits of the participants in the dialogue and the behavior in the dialogue.
  • the behavior in dialogue such as utterance sentences and camera images is taken into consideration, but the personality traits of the participants are not taken into consideration.
  • the text of the message considers the behavior in dialogue, but does not consider the personality traits of the participants.
  • the questionnaire evaluation in Non-Patent Document 2 evaluates how effective the chatbot was, not the evaluation of the dialogue itself. In the evaluation of deliverables, it is not possible to evaluate the process of producing deliverables, such as whether each participant was satisfied with the content and whether all of them contributed to consensus building.
  • the present invention has been made in view of the above points, and an object of the present invention is to improve the estimation accuracy of evaluation by each participant for group dialogue.
  • the first calculation procedure for calculating the first score regarding the personality traits of the participants and the contents of the group dialogue are recorded based on the results of the questionnaire to the participants in the group dialogue.
  • the computer Based on the second calculation procedure for calculating the second score for the activity of the participant in the group dialogue, and the first score and the second score by the participant.
  • the computer performs a third calculation procedure for calculating a third score indicating an evaluation of the group dialogue.
  • FIG. 1 is a diagram showing a hardware configuration example of the dialogue evaluation device 10 according to the embodiment of the present invention.
  • the dialogue evaluation device 10 of FIG. 1 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, and the like, which are connected to each other by a bus B, respectively.
  • the program that realizes the processing in the dialogue evaluation device 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed in the auxiliary storage device 102 from the recording medium 101 via the drive device 100.
  • the program does not necessarily have to be installed from the recording medium 101, and may be downloaded from another computer via the network.
  • the auxiliary storage device 102 stores the installed program and also stores necessary files, data, and the like.
  • the memory device 103 reads a program from the auxiliary storage device 102 and stores it when there is an instruction to start the program.
  • the CPU 104 executes the function related to the dialogue evaluation device 10 according to the program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • FIG. 2 is a diagram showing a functional configuration example of the dialogue evaluation device 10 according to the embodiment of the present invention.
  • the dialogue evaluation device 10 reflects the achievement level, satisfaction level, contribution level, etc. of each participant in a group dialogue (hereinafter referred to as “target dialogue”) conducted by a plurality of participants. It has a personality score calculation unit 11, an activity score calculation unit 12, and a dialogue evaluation calculation unit 13 in order to estimate a score obtained by quantifying the evaluation.
  • target dialogue group dialogue
  • Each of these parts is realized by a process of causing the CPU 104 to execute one or more programs installed in the dialogue evaluation device 10.
  • the participants of the target dialogue are N people, and each participant is represented by h 1 , h 2 , ..., H N , respectively.
  • FIG. 3 is a flowchart for explaining an example of the processing procedure executed by the dialogue evaluation device 10.
  • step S101 the personality score calculation unit 11 inputs the personality trait data of each participant and calculates the personality score of each participant based on each personality trait data.
  • the personality characteristic data is data representing the personality characteristics of the participants, and is stored in advance in, for example, the auxiliary storage device 102.
  • the personality trait data is generated based on the results of a questionnaire, for example, by conducting a questionnaire to each participant in advance.
  • the content of the questionnaire is, for example, from the options such as "I think so”, “I think a little”, “I don't think so much”, and “I don't think at all” for the question "I like to talk about myself in public”. It allows each participant to choose the appropriate one, or to select the appropriate one from the choices of words such as "silent", "speaking”, and "diplomatic".
  • the personality trait data is a numerical value of the answers to the questionnaire as described above. For example, it is data including which numerical value of a plurality of stages (for example, 9 stages, etc.) is given to a question or an answer option, and which answer is selected by each participant. If the answer is a question answered with Yes / No, Yes may be quantified to 1 and No may be quantified to 0. In addition, questions with different answer options, such as questions answered with Yes / No and questions answered in a plurality of stages, may be mixed.
  • the weights are q 1 , q 2 , ..., q M.
  • the answers to each question of the participant h i 's questionnaire are a i1 , a i2 , ..., a iM .
  • the personality trait data includes the answer ai to each question and the weight q for each participant h i .
  • the personality score calculation unit 11 calculates the personality score Pi of the participant i as follows based on such personality characteristic data.
  • the personality score is not limited to one consisting of one numerical value (that is, a scalar value), and may be expressed by a vector. It is also possible to design 5 of the 10 questionnaire questions as questions with personality trait A and the remaining 5 questions as questions with personality trait B, and express the personality score as a two-dimensional vector with the average of each of the two types as an element. Be done.
  • the personality traits A and B referred to here may be two types of scales representing the same personality trait, or may be scales representing two different personality traits. Regardless of whether it is a scalar value or a vector, what the magnitude of the numerical value represents depends on the design of the questionnaire, and the details do not matter as long as it represents the personality trait.
  • the personality score will be a number (or vector) that includes the degree of diplomacy or introversion.
  • the personality score becomes a numerical value (or a vector) including the presence or absence of cooperation.
  • the personality score may be a relative value as long as the difference in personality traits among the participants can be distinguished.
  • the personality score calculation unit 11 inputs the personality score Pi of each participant, which is the calculation result, to the dialogue evaluation calculation unit 13.
  • the activity score calculation unit 12 inputs the dialogue data of the target dialogue, and based on the dialogue data, a score indicating the activity of the dialogue (hereinafter, “activity”). The score ”) is calculated for each participant (S102).
  • the dialogue data is data in which the entire target dialogue is recorded in time series, and is stored in, for example, the auxiliary storage device 102.
  • dialogue data voice data collected by a microphone, text data transcribed from each member's speech, video data of each member's movement, vital data such as each member's heartbeat, smart watch, etc. Examples include vital data recorded using the above equipment.
  • the activity of the dialogue is an index showing how exciting the dialogue is or the feeling of excitement of the participants.
  • voice data the volume, change and frequency of speech of each participant, in the case of text data, the number of utterances and length of utterances of each participant, the meaning and number of occurrences of words included in the utterance, and in the case of video data
  • the size of the gesture and the size of the nod, and in the case of vital data, the speed and change of the heartbeat can be used as the activity level.
  • the activity score calculation unit 12 extracts the following two features from the dialogue data. Frequency (number of times) of each participant's remarks T 1 , ..., TN Average voice volume (average volume) when each participant speaks V 1 , ..., VN
  • the speech frequency (number of times) of each participant can be extracted based on the voice separated for each participant by separating the voice recorded in the voice data for each participant.
  • the voice in the voice data it is possible to separate each participant (each speaker) by using a known technique.
  • the average voice volume (average volume) at the time of speech of each participant can also be extracted based on the voice separated for each participant.
  • the above features may be extracted from dialogue data other than voice data.
  • the frequency (number of times) of each participant's speech may be calculated by analyzing the video data obtained by shooting the target dialogue.
  • the average voice volume (average volume) at the time of speech of each participant may be calculated based on the voice collected by each participant with a microphone attached to each participant.
  • the activity score calculation unit 12 calculates the activity score of the participant hi as follows based on these feature quantities.
  • the activity score may be a value that can be evaluated relative to the participants. That is, if the activity is different, the activity score may be different.
  • the speech frequency and voice volume of the participant hi himself are used as the feature quantities used for the activity score of the participant hi , but the dialogues of other participants who participated in the same dialogue are used.
  • the behavioral features may be used to calculate the activity score of the participant hi .
  • statistical values such as the average number of utterances and the ratio to the number of utterances of all members may be used, or external data such as the meaning and category of words included in the utterance may be combined.
  • the dialogue data contains information about the time of dialogue, changes in characteristics over time may be reflected in the activity score.
  • the activity score may be expressed as a vector.
  • the time range for calculating the utterance frequency differs for each dimension of the vector, such as the utterance frequency in the entire dialogue and the utterance frequency within a specific time (10-minute interval, etc.) (A). ),
  • the frequency of utterances at time t1 and the frequency of utterances at time t2 when all dialogues are divided at 10-minute intervals, and the frequency of utterances in each time area (B) can be considered.
  • the activity score calculation unit 12 inputs the activity score for each participant, which is the calculation result, into the dialogue evaluation calculation unit 13.
  • the dialogue evaluation calculation unit 13 calculates the dialogue evaluation score for each participant based on the personality score of each participant and the activity score of each participant (S103).
  • the dialogue evaluation score is a score representing the evaluation by the participants regarding the achievement level, satisfaction level, or contribution level of the participants in the target dialogue.
  • the dialogue evaluation calculation unit 13 calculates the dialogue evaluation score S i of the participant h i as follows.
  • S i P i E i ... (3)
  • the weights of the personality score and the activity score may be calculated as WP and WE as follows.
  • S i W P P i W E E i ... (3') If Pi and E i are vectors, then Si is also a vector.
  • the value converted into a scalar value by the inner product may be regarded as Si .
  • the dialogue evaluation calculation unit 13 may calculate the dialogue evaluation score of the entire group by calculating the average of the dialogue evaluation scores of each participant.
  • the personality score calculated from the personality trait data indicating the personality trait of each participant and the activity score calculated from the dialogue data in which the dialogue is recorded are used.
  • the dialogue evaluation score is calculated based on.
  • the satisfaction level of each participant's dialogue may be more important than the quality of the deliverables.
  • the dialogue evaluation score obtained by the form can be used as an important judgment material in the subsequent group formation.
  • the personality score is an example of the first score.
  • the activity score is an example of a second score.
  • the dialogue evaluation score is an example of the third score.
  • the personality score calculation unit 11 is an example of the first calculation unit.
  • the activity score calculation unit 12 is an example of the second calculation unit.
  • the dialogue evaluation calculation unit 13 is an example of the third calculation unit.
  • Dialogue evaluation device 11 Personality score calculation unit 12 Activity score calculation unit 13 Dialogue evaluation calculation unit 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 CPU 105 Interface device B Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

グループ対話への参加者に対するアンケート結果に基づいて、前記参加者の性格特性に関する第１のスコアを計算する第１の計算手順と、前記グループ対話の内容が記録されたデータに基づいて、前記グループ対話における前記参加者の活性度に関する第２のスコアを計算する第２の計算手順と、前記第１のスコア及び前記第２のスコアに基づいて、前記参加者による前記グループ対話に対する評価を示す第３のスコアを計算する第３の計算手順と、をコンピュータが実行することで、グループ対話について各参加者による評価の推定精度を向上させる。

Description

対話評価方法、対話評価装置及びプログラム
　本発明は、対話評価方法、対話評価装置及びプログラムに関する。
　対話には、人同士で行うグループ対話と、対話システムと人とで行うシステム対話がある。グループ対話における評価については、対話中の発話文に含まれる単語の頻度や、カメラ映像から判別可能なうなずきの回数などからリーダシップ性や貢献度を推定する技術がある（例えば、非特許文献１）。また、参加者に直接どれくらい貢献できたか、満足できたか、などのアンケート評価を行う方法や、対話の成果物を第三者に評価してもらう方法などもある（例えば、非特許文献２）。対話システムによる対話を評価する場合、システムが生成した文を評価する技術がある（例えば、特許文献１）。
特開２０１６－４５７６９号公報
A Multimodal-Sensor-Enabled Room for Unobtrusive Group Meeting Analysis,Bhattacharya et al., 2018 Bot in the Bunch: Facilitating Group Chat Discussion by Improving Efficiency and Participation with a Chatbot, Kim et al., 2020
　対話の評価には、参加者それぞれの性格特性が影響を与える。例えば、同じ発言回数でも、話し好きな人には物足りず、十分に貢献できなかったと考え、内向的な人にはいつも以上に話すことができて達成感を感じるなどの違いがある。そのため、性格特性と実際の対話での振る舞いを合わせて考慮することで、対話に対する真の達成度、満足度、貢献度を表す評価をすることができる。
　特許文献１では、対話の参加者の性格特性や対話における振る舞いは考慮されていない。非特許文献１では、発話文とカメラ映像といった対話での振る舞いは考慮されているが、参加者の性格特性は考慮されていない。非特許文献２では、メッセージのテキストで対話での振る舞いは考慮されているが、参加者の性格特性は考慮されていない。また、非特許文献２でのアンケート評価は、チャットボットがどの程度有効であったかを評価するものであり、対話そのものの評価ではない。成果物の評価では、参加者それぞれが納得のいく内容だったのか、全員が合意形成に貢献できたのかなど、成果物ができる過程を評価することができない。
　本発明は、上記の点に鑑みてなされたものであって、グループ対話について各参加者による評価の推定精度を向上させることを目的とする。
　そこで上記課題を解決するため、グループ対話への参加者に対するアンケート結果に基づいて、前記参加者の性格特性に関する第１のスコアを計算する第１の計算手順と、前記グループ対話の内容が記録されたデータに基づいて、前記グループ対話における前記参加者の活性度に関する第２のスコアを計算する第２の計算手順と、前記第１のスコア及び前記第２のスコアに基づいて、前記参加者による前記グループ対話に対する評価を示す第３のスコアを計算する第３の計算手順と、をコンピュータが実行する。
　グループ対話について各参加者による評価の推定精度を向上させることができる。
本発明の実施の形態における対話評価装置１０のハードウェア構成例を示す図である。 本発明の実施の形態における対話評価装置１０の機能構成例を示す図である。 対話評価装置１０が実行する処理手順の一例を説明するためのフローチャートである。
　以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における対話評価装置１０のハードウェア構成例を示す図である。図１の対話評価装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
　対話評価装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って対話評価装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　図２は、本発明の実施の形態における対話評価装置１０の機能構成例を示す図である。図２に示されるように、対話評価装置１０は、複数の参加者によって行われたグループ対話（以下、「対象対話」という。）に対する各参加者の達成度や満足度、貢献度などを反映した評価を数値化したスコアを推定するために、パーソナリティスコア計算部１１、活性度スコア計算部１２及び対話評価計算部１３を有する。これら各部は、対話評価装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
　本実施の形態において、対象対話の参加者はＮ人であり、各参加者をそれぞれｈ１，ｈ２，...，ｈＮによって表現する。
　図３は、対話評価装置１０が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ１０１において、パーソナリティスコア計算部１１は、各参加者の性格特性データを入力とし、各性格特性データに基づいて、各参加者のパーソナリティスコアを計算する。
　性格特性データとは、参加者の性格特性を表すデータであり、例えば、補助記憶装置１０２に予め記憶される。性格特性データは、例えば、予め各参加者に対してアンケートを行い、アンケート結果に基づいて生成される。アンケートの内容は、例えば、「人前で自分の話をするのが好きだ」という質問に対して「そう思う」、「少し思う」、「あまり思わない」、「全く思わない」などの選択肢から各参加者に該当するものを選ばせたり、「無口」、「話し好き」、「外交的」などの単語の選択肢から、各参加者に該当するものを選ばせたりするものである。
　性格特性データは、上記のようなアンケートの回答が数値化されたものである。例えば、質問や回答の選択肢に対して複数の段階（例えば、９段階等）の数値が付与され、各参加者が選択した回答がいずれであるのかを含むデータである。回答がＹｅｓ／Ｎｏで答える質問であれば、Ｙｅｓは１に、Ｎｏは０に数値化されてもよい。また、Ｙｅｓ／Ｎｏで答える質問と、複数段階で答える質問など、回答の選択肢が異なる質問が混合していてもよい。
　ここでは、アンケートとしてＭ問の質問が各参加者に行われているとする。各質問について、重みをｑ１，ｑ２，...，ｑＭとする。参加者ｈｉのアンケートの各質問に対する回答をａｉ１，ａｉ２，...，ａｉＭとする。この場合、性格特性データには、参加者ｈｉごとに、各質問に対する回答ａｉと、重みｑが含まれている。
　パーソナリティスコア計算部１１は、このような性格特性データに基づいて、以下のように参加者ｉのパーソナリティスコアＰｉを計算する。
Figure JPOXMLDOC01-appb-M000001
 　なお、パーソナリティスコアは、１つの数値からなるもの（すなわち、スカラ値）に限られず、ベクトルによって表現されてもよい。アンケート１０問中５問は、性格特性Ａの質問、残り５問は性格特性Ｂの質問として設計し、パーソナリティスコアをその２種類それぞれの平均を要素とする２次元のベクトルで表現することも考えられる。ここでいう性格特性Ａ，Ｂは、同じ性格特性を表す２種類の尺度であってもよいし、異なる２つの性格特性を表す尺度であってもよい。スカラ値及びベクトルのいずれの場合であっても、数値の大きさが表すものはアンケートの設計次第であり、性格特性を表すものであれば詳細は問わない。例えば、外交性若しくは内向性に関する質問がアンケートに含まれていれば、パーソナリティスコアは外交性若しくは内向性の程度を含む数値（又はベクトル）になる。また、協調性に関する質問がアンケートに含まれていれば、パーソナリティスコアは、協調性の有無を含む数値（又はベクトル）になる。パーソナリティスコアは、参加者間における性格特性の違いが区別できればよいため、相対的な値であればよい。
　パーソナリティスコア計算部１１は、計算結果である各参加者のパーソナリティスコアＰｉを対話評価計算部１３へ入力する。
　続いて（又は、ステップＳ１０１と並行して）、活性度スコア計算部１２は、対象対話の対話データを入力とし、当該対話データに基づいて、対話の活性度を示すスコア（以下、「活性度スコア」という。）を参加者ごとに計算する（Ｓ１０２）。
　対話データとは、対象対話全体が時系列で記録されたデータであり、例えば、補助記憶装置１０２に記憶されている。対話データの一例として、マイクで集音された音声データ、各メンバーが発話した内容を書き起こしたテキストデータ、各メンバーの動きを撮影したビデオデータ、各メンバーの心拍などのバイタルデータをスマートウォッチ等の機器を用いて記録したバイタルデータなどが挙げられる。
　また、対話の活性度とは、対話がどの程度盛り上がっているか、又は参加者の気持ちの高揚感などを表す指標である。音声データの場合は各参加者の音声の大きさや変化及び発言頻度、テキストデータの場合は各参加者の発話回数や発話の長さ及び発話に含まれる単語の意味や出現回数、ビデオデータの場合は身振りの大きさやうなずきの大きさ、バイタルデータの場合は心拍の速さや変化などを活性度として利用することができる。
　ここでは、参加者の音声データを対話データとして用いた場合の例を示す。活性度スコア計算部１２は、対話データから、次の２つの特徴量を抽出する。
各参加者の発言頻度（回数）Ｔ１，...，ＴＮ
各参加者の発話時の平均音声ボリューム（平均音量）Ｖ１，...，ＶＮ
　各参加者の発言頻度（回数）は、音声データに記録されている音声を参加者ごとに分離することで、各参加者に対して分離された音声に基づいて抽出可能である。なお、音声データ内の音声について、参加者ごと（話者ごと）の分離は公知技術を用いて行うことが可能である。各参加者の発話時の平均音声ボリューム（平均音量）についても、各参加者に対して分離された音声に基づいて抽出可能である。
　なお、音声データ以外の対話データから上記の特徴量が抽出されてもよい。例えば、各参加者の発言頻度（回数）については、対象対話を撮影したビデオデータを解析することで計算されてもよい。各参加者の発話時の平均音声ボリューム（平均音量）は、各参加者にマイクを装着し、マイク別に集音された音声に基づいて計算されてもよい。
　活性度スコア計算部１２は、これらの特徴量に基づいて、以下のように参加者ｈｉの活性度スコアを計算する。参加者ｈｉの対話の活性度スコアを以下のように表す。
Ｅｉ＝ＷＴＴｉ＋ＷＶＶｉ　…（２）
但し、ＷＴは、発言頻度に対する重みであり、ＷＶは、音声ボリュームに対する重みである。
　なお、活性度スコアは、パーソナリティスコアと同様に、参加者間での相対的な評価が可能な値であればよい。すなわち、活性度が異なれば活性度スコアが異なればよい。
　上記の例では、参加者ｈｉの活性度スコアに用いる特徴量として、参加者ｈｉ本人の発言頻度と音声ボリュームのみが用いていられているが、同じ対話に参加した他の参加者の対話の振る舞いを表す特徴が、参加者ｈｉの活性度スコアの計算に用いられてもよい。また、発話回数の平均や全員の発話回数に対する割合などの統計的な数値を用いても良いし、発話に含まれる単語の意味やカテゴリといった外部データが組み合わせされてもよい。また、対話データに対話の時間に関する情報がある場合、時間ごとの特徴の変化が活性度スコアに反映されてもよい。また、パーソナリティスコアと同様に、活性度スコアもベクトルで表現されてもよい。活性度スコアをベクトルで表現する場合、例えば、対話全体における発話頻度、特定時間内（１０分間隔など）における発話頻度、など、ベクトルの次元ごとに発話頻度を計算する時間範囲を異なるもの（Ａ）や、全対話を１０分間隔で区切った場合の、時間ｔ１における発言頻度、時間ｔ２における発言頻度、など、各次元を各時間エリアでの発話頻度すること（Ｂ）などが考えられる。また、当人の発言頻度、他３人の発言頻度の平均など、話者によって次元を分けること（Ｃ）も考えられる。また、これらの次元を合わせて、前半α次元は（Ａ）の特徴量、次のβ次元は（Ｂ）の特徴量、残りのγ次元は（Ｃ）の特徴量、などとすることも考えられる。
　活性度スコア計算部１２は、計算結果である参加者ごとの活性度スコアを対話評価計算部１３へ入力する。
　続いて、対話評価計算部１３は、各参加者のパーソナリティスコアと各参加者の活性度スコアとに基づいて、対話評価スコアを参加者ごとに計算する（Ｓ１０３）。
　対話評価スコアとは、対象対話への参加者の達成度、満足度、又は貢献度について前記参加者による評価を表すスコアである。対話評価計算部１３は、参加者ｈｉの対話評価スコアＳｉを以下のように計算する。
Ｓｉ＝ＰｉＥｉ　…（３）
　対話評価スコアは、パーソナリティスコアと活性度スコアを用いていれば、計算方法はこの限りではない。例えば、パーソナリティスコアと活性度スコアの重みをＷＰ，ＷＥとして、以下のように計算されてもよい。
Ｓｉ＝ＷＰＰｉＷＥＥｉ　…（３'）
　なお、Ｐｉ及びＥｉがベクトルであれば、Ｓｉもベクトルとなる。又は内積によってスカラ値に変換された値がＳｉとされてもよい。
　なお、対話評価計算部１３は、各参加者の対話評価スコアの平均等を計算することによって、グループ全体の対話評価スコアを計算してもよい。
　上述したように、本実施の形態によれば、グループ対話の評価において、各参加者の性格特性を示す性格特性データから算出したパーソナリティスコアと、対話が記録された対話データから算出した活性度スコアとに基づいて対話評価スコアが計算される。これによって、参加者個々の貢献度、満足度、達成度を表す評価の推定精度を向上させることができる。すなわち、グループ対話について各参加者による評価の推定精度を向上させることができる。
　また、推定した評価から、対話の議題や環境に合わせたグループの編成を検討することができる。例えば、教育現場において、積極性が高い子であっても低い子であっても、グループ内で発言し、合意形成に貢献することができたかどうかを対話評価スコアから判断し、性格特性に応じてグループの構成を変えるなどの検討に役立てることができる。
　また、複数人による対話を長期間にわたって繰り返し行いたい場合、そのモチベーションを保つためには、成果物の良し悪し以上に参加者個々の対話に対する満足度が重要視されることもあり、本実施の形態によって得られる対話評価スコアを、以後のグループ編成の際に重要な判断素材とすることができる。
　なお、本実施の形態において、パーソナリティスコアは、第１のスコアの一例である。活性度スコアは、第２のスコアの一例である。対話評価スコアは、第３のスコアの一例である。パーソナリティスコア計算部１１は、第１の計算部の一例である。活性度スコア計算部１２は、第２の計算部の一例である。対話評価計算部１３は、第３の計算部の一例である。
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　　　　　対話評価装置
１１　　　　　パーソナリティスコア計算部
１２　　　　　活性度スコア計算部
１３　　　　　対話評価計算部
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　ＣＰＵ
１０５　　　　インタフェース装置
Ｂ　　　　　　バス

Claims (7)

  1. 　グループ対話への参加者に対するアンケート結果に基づいて、前記参加者の性格特性に関する第１のスコアを計算する第１の計算手順と、
    　前記グループ対話の内容が記録されたデータに基づいて、前記グループ対話における前記参加者の活性度に関する第２のスコアを計算する第２の計算手順と、
    　前記第１のスコア及び前記第２のスコアに基づいて、前記参加者による前記グループ対話に対する評価を示す第３のスコアを計算する第３の計算手順と、
    をコンピュータが実行することを特徴とする対話評価方法。
  2. 　前記第２の計算手順は、前記参加者の発言頻度及び前記参加者の発話時の音量に基づいて、前記第２のスコアを計算する、
    ことを特徴とする請求項１記載の対話評価方法。
  3. 　前記第３の計算手順は、更に、前記グループ対話への各参加者についての前記第３のスコアの平均を計算する、
    ことを特徴とする請求項１又は２記載の対話評価方法。
  4. 　グループ対話への参加者に対するアンケート結果に基づいて、前記参加者の性格特性に関する第１のスコアを計算する第１の計算部と、
    　前記グループ対話の内容が記録されたデータに基づいて、前記グループ対話における前記参加者の活性度に関する第２のスコアを計算する第２の計算部と、
    　前記第１のスコア及び前記第２のスコアに基づいて、前記参加者による前記グループ対話に対する評価を示す第３のスコアを計算する第３の計算部と、
    を有することを特徴とする対話評価装置。
  5. 　前記第２の計算部は、前記参加者の発言頻度及び前記参加者の発話時の音量に基づいて、前記第２のスコアを計算する、
    ことを特徴とする請求項４記載の対話評価装置。
  6. 　前記第３の計算部は、更に、前記グループ対話への各参加者についての前記第３のスコアの平均を計算する、
    ことを特徴とする請求項４又は５記載の対話評価装置。
  7. 　請求項１乃至３いずれか一項記載の対話評価方法をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/041946 2020-11-10 2020-11-10 対話評価方法、対話評価装置及びプログラム Ceased WO2022101993A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022561734A JP7563478B2 (ja) 2020-11-10 2020-11-10 対話評価方法、対話評価装置及びプログラム
PCT/JP2020/041946 WO2022101993A1 (ja) 2020-11-10 2020-11-10 対話評価方法、対話評価装置及びプログラム
US18/251,082 US20230410807A1 (en) 2020-11-10 2020-11-10 Dialogue evaluation method, dialogue evaluation apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041946 WO2022101993A1 (ja) 2020-11-10 2020-11-10 対話評価方法、対話評価装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2022101993A1 true WO2022101993A1 (ja) 2022-05-19

Family

ID=81600844

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041946 Ceased WO2022101993A1 (ja) 2020-11-10 2020-11-10 対話評価方法、対話評価装置及びプログラム

Country Status (3)

Country Link
US (1) US20230410807A1 (ja)
JP (1) JP7563478B2 (ja)
WO (1) WO2022101993A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200590A (ja) * 2017-05-29 2018-12-20 パナソニックＩｐマネジメント株式会社 割当方法、割当装置及びプログラム
JP2019211962A (ja) * 2018-06-04 2019-12-12 株式会社東芝 会議生産性可視化システム、会議生産性可視化装置、可視化方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849342B2 (ja) * 1994-11-14 1999-01-20 株式会社エイ・ティ・アール通信システム研究所 対話活性化装置
US10592733B1 (en) * 2016-05-20 2020-03-17 Educational Testing Service Computer-implemented systems and methods for evaluating speech dialog system engagement via video
US10318639B2 (en) * 2017-02-03 2019-06-11 International Business Machines Corporation Intelligent action recommendation
JP6794921B2 (ja) * 2017-05-01 2020-12-02 トヨタ自動車株式会社 興味判定装置、興味判定方法、及びプログラム
US10742435B2 (en) * 2017-06-29 2020-08-11 Google Llc Proactive provision of new content to group chat participants
JP7643552B2 (ja) * 2021-08-04 2025-03-11 日本電信電話株式会社 対話評価装置、対話評価方法、及びプログラム
US20230320642A1 (en) * 2022-04-08 2023-10-12 The Trustees Of Columbia University In The City Of New York Systems and methods for techniques to process, analyze and model interactive verbal data for multiple individuals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200590A (ja) * 2017-05-29 2018-12-20 パナソニックＩｐマネジメント株式会社 割当方法、割当装置及びプログラム
JP2019211962A (ja) * 2018-06-04 2019-12-12 株式会社東芝 会議生産性可視化システム、会議生産性可視化装置、可視化方法およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HASEGAWA TATSUYA, KATO SHOHEI: "Dialogue Mood Estimation from Dialogue Voice Considering Personality Trait of Speaker", THE 33RD ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 7 June 2019 (2019-06-07), XP055939558 *
HAYASHI YUKI, NIHEI FUMIO, NAKANO YUKIKO I, HUANG HSUAN, OKADA SYOGO: "Development of Group Discussion Interaction Corpus and Analysis of the Relationship with Personality Traits", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN (IPSJ), vol. 56, no. 4, 15 April 2015 (2015-04-15), JP , pages 1217 - 1227, XP055942060, ISSN: 1882-7764 *
MORIYA YURIE, TANAKA TAKAHIRO, MIYAJIMA TOSHIMITU, FUJITA KINYA: "Study of Activation Level Estimation using Phonetic Information during Voice Chat", HUMAN INTERFACE : THE TRANSACTION OF HUMAN INTERFACE SOCIETY, HUMAN INTERFACE SOCIETY, JP, vol. 14, no. 3, 25 August 2012 (2012-08-25), JP , pages 283 - 292, XP055939562, ISSN: 1344-7262, DOI: 10.11184/his.14.3_283 *
TOYODA KAORU, MIYAKOSHI YOSHIHIRO, YAMANISHI RYOSUKE, KATO SHOHEI: "発話状態時間長に着目した対話雰囲気推定", TRANSACTIONS OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 社団法人 人工知能学会, vol. 27, no. 2, 1 January 2012 (2012-01-01), pages 16 - 21, XP055939564, ISSN: 1346-0714, DOI: 10.1527/tjsai.27.16 *

Also Published As

Publication number Publication date
US20230410807A1 (en) 2023-12-21
JPWO2022101993A1 (ja) 2022-05-19
JP7563478B2 (ja) 2024-10-08

Similar Documents

Publication Publication Date Title
JP6755304B2 (ja) 情報処理装置
US12205613B2 (en) Conferencing system and method for controlling the conferencing system
US10592997B2 (en) Decision making support device and decision making support method
JP6923827B2 (ja) コミュニケーションスキル評価システム、装置、方法、及びプログラム
WO2023235517A1 (en) Scoring system for content moderation
JP2017009825A (ja) 会話状況分析装置および会話状況分析方法
CN113921113A (zh) 积极心理学计算机化训练方法及系统
McNaney et al. StammerApp: Designing a mobile application to support self-reflection and goal setting for people who stammer
CN114566187A (zh) 具有会话后表示的系统、电子装置和相关方法
JP6570465B2 (ja) 重要語によって参加者の貢献度を推定可能なプログラム、装置及び方法
CN116741143A (zh) 基于数字分身的个性化ai名片的交互方法及相关组件
Truong et al. Public speaking simulator with speech and audience feedback
JP7643552B2 (ja) 対話評価装置、対話評価方法、及びプログラム
JP7563478B2 (ja) 対話評価方法、対話評価装置及びプログラム
US12387616B2 (en) Method for conversation simulation
JP5685014B2 (ja) ディスカッション健全度算出装置
JP2024160462A (ja) 研修支援装置、研修支援方法及び研修支援プログラム
Hassan et al. A Comparative Study of Interactive Environments for Investigative Interview of A Virtual Child Avatar
Kamaruddin et al. Measuring customer satisfaction through speech using valence-arousal approach
WO2019130816A1 (ja) 情報処理装置及び評価方法
JP7622876B2 (ja) 推定方法、学習方法、推定装置及び推定プログラム
Moriya et al. Estimation of conversational activation level during video chat using turn-taking information.
JP5150583B2 (ja) 聞き役対話評価装置、聞き役対話評価方法、聞き役対話評価プログラム
Maksimovskaya Replika as a modern way to cope with loneliness
JP2024047401A (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20961521

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022561734

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20961521

Country of ref document: EP

Kind code of ref document: A1