WO2023012942A1 - 対話評価装置、対話評価方法、及びプログラム - Google Patents

対話評価装置、対話評価方法、及びプログラム Download PDF

Info

Publication number
WO2023012942A1
WO2023012942A1 PCT/JP2021/028989 JP2021028989W WO2023012942A1 WO 2023012942 A1 WO2023012942 A1 WO 2023012942A1 JP 2021028989 W JP2021028989 W JP 2021028989W WO 2023012942 A1 WO2023012942 A1 WO 2023012942A1
Authority
WO
WIPO (PCT)
Prior art keywords
dialogue
score
evaluation
experience
data
Prior art date
Application number
PCT/JP2021/028989
Other languages
English (en)
French (fr)
Inventor
陽子 徳永
済央 野本
史朗 小澤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/028989 priority Critical patent/WO2023012942A1/ja
Priority to JP2023539459A priority patent/JPWO2023012942A1/ja
Publication of WO2023012942A1 publication Critical patent/WO2023012942A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to technology for evaluating dialogues in a group including two or more dialogue participants (referred to as group dialogues).
  • Patent Literature 1 Non-Patent Literatures 1 and 2
  • Patent Literature 1 do not take into consideration the relationship between dialogue participants.
  • the present invention has been made in view of the above points, and aims to provide a technology that enables evaluation of a dialogue conducted in a group, taking into consideration the relationship between dialogue participants.
  • a dialogue evaluation device that evaluates a dialogue conducted by a group of two or more participants, an activity score calculation unit that extracts one or more feature quantities as an activity score from the dialogue data; Dialogue experience data is extracted from past dialogue logs, a dialogue experience score is calculated by quantifying the dialogue experience between participants from the dialogue experience data, and the weight of each feature quantity in the activity score is calculated from the dialogue experience score.
  • a feature quantity weight calculator for calculating; A dialogue evaluation score calculator that calculates a dialogue evaluation score using the activity score and the weight.
  • FIG. 1 is a configuration diagram of a dialogue evaluation device according to an embodiment of the present invention
  • FIG. 4 is a flowchart for explaining the operation of the dialogue evaluation device
  • FIG. 4 is a diagram showing an example of a dialogue log database
  • FIG. It is a figure which shows the hardware structural example of a dialogue evaluation apparatus.
  • the dialogue evaluation device 100 evaluates the degree of achievement, degree of satisfaction, and degree of contribution of each dialogue participant in a group dialogue between two or more dialogue participants (may be called members or participants). Predict the score that quantifies the evaluation reflecting such as.
  • the dialogue evaluation device 100 uses dialogue data recording dialogues to be evaluated and dialogue experience data representing past dialogue experiences between participants when performing evaluation.
  • Dialogue data may include personal data representing the personalities and values of the participants who make up the dialogue group.
  • Dialogue data is recorded in chronological order. For example, voice data collected with a microphone, text data transcribed by each member, video data of each member's movement, and each member It refers to vital data such as heartbeat recorded using devices such as smartwatches.
  • the dialogue data may include individuality data representing the individuality of each participant participating in the dialogue. Personality data predicted from the data, data on attributes such as age, work history, and position may be included.
  • the dialogue evaluation device 100 obtains the activity level of the dialogue from this dialogue data.
  • the degree of activity represents how much the dialogue is lively, expresses the uplifting feeling of the members, and converts the individuality of the dialogue participants themselves into a comparable numerical value.
  • voice data the volume or change in the voice of each participant; in the case of text data, the number of times each participant spoke or the number of words spoken;
  • heartbeat speed or change can be used as activity.
  • the degree of activity may be called a "feature amount".
  • Personality data that can be included in the dialogue data is data that expresses the individual participants in the dialogue. Choose what suits you from options such as “I think so”, “I don't think so much”, and “I don't think so at all”. It is data obtained by selecting things and evaluating each item on a 9-point scale. Alternatively, as individuality data, data evaluated by others for each participant may be used, or a score obtained by predicting individuality using past dialogue data or the like may be used.
  • the numerical values When using the results of questionnaires on personality and attributes as personal data, if the answers to the questionnaire are graded numerical values, the numerical values may be used as they are, or aggregated values may be used. . If the answer to the questionnaire is Yes/No, a numerical value such as 1 for Yes and 0 for No is used.
  • a selection formula from non-continuous items such as occupation and preference, it is possible to prepare the feature amount of the number of items and convert it into a vector with 1 for the selected item and 0 for the others.
  • the included words are used as feature values as they are, or the description content is categorized, the feature values for the number of categories are prepared, and the selected ones are 1 and the others are converted to vectors with 0. It can be used as an activation score.
  • questions with different answer methods such as yes/no questions, questions answered on a 7-level scale, and free-form questions, may be mixed.
  • Dialogue experience data is a numerical representation of the experience of dialogue between participants so far. .
  • a period in which the person is expected to have a conversational experience such as a period in which they belonged to the same project at work or a period in which they were in the same class at school, may be substituted.
  • One or more types of data may be used as the dialogue experience data.
  • dialogue experience data is obtained by using the dialogue experienced by all the participants together, or by combining the participants into pairs and using the dialogue experienced by two people in each pair. It does not matter how to combine participants who have had the same dialogue experience. For example, for all participants, dialogue data experienced together for all combinations of different numbers of participants may be extracted and used as dialogue experience data.
  • the dialogue evaluation device 100 combines the activity score obtained from the dialogue data and the dialogue experience score obtained from the dialogue experience data to calculate the dialogue evaluation score.
  • a dialogue evaluation score is given here to each participant, and is a score representing the degree of achievement, degree of satisfaction, and degree of contribution of the participant to the dialogue.
  • the dialogue evaluation score may be a score (vector) for each of achievement, satisfaction, and contribution, or may be a score for any one of achievement, satisfaction, and contribution, It may be a score of any one or more of the degree of achievement, degree of satisfaction, and degree of contribution. It is also possible to represent the score of the entire group by calculating a statistic such as the average of each participant's score.
  • the configuration and operation of the dialogue evaluation device 100 will be described in detail below as an example.
  • FIG. 1 shows a configuration example of a dialogue evaluation device 100 in this embodiment.
  • the dialogue evaluation device 100 includes an activity score calculation unit 101, a dialogue experience data extraction unit 102, a dialogue experience score calculation unit 103, a feature amount weight calculation unit 104, a dialogue evaluation calculation unit 105, an input unit 106, It has an output unit 107 and an interaction log DB (database) 108 .
  • the dialogue log DB 108 may be provided outside the dialogue evaluation device 100 and connected to the dialogue evaluation device 100 via a network. Also, the feature amount weight calculation unit 104 may include the dialogue experience data extraction unit 102 and the dialogue experience score calculation unit 103 .
  • the dialogue evaluation device 100 An operation example of the dialogue evaluation device 100 will be described below.
  • the number of participants in the dialogue to be evaluated is k, and the k participants are h 1 , . . . , h k .
  • the dialogue evaluation score of each participant is set to s 1 , .
  • Dialogue data and a participant list are input from the input unit 106 .
  • dialogue data used for input transcripts of utterances made by each participant and character traits of each participant obtained from a questionnaire survey are used.
  • the dialogue data is not limited to this, and it is possible to use data that shows the state of dialogue such as spoken voice, video, biosensor information, etc., attributes such as age, work history, position, values, experience, Data representing individuality, such as the results of a questionnaire asking about preferences, may be used. Also, the number of types of data does not matter.
  • the activity score calculation unit 101 receives dialogue data, extracts a feature amount from the dialogue data, and outputs it.
  • each participant's total utterance time (u 1 , ..., uk )
  • each participant's number of back channels (b 1 , ..., b k )
  • each participant's number of important word utterances (w 1 ,..., w k )
  • personality trait scores (p 1 ,..., p k ) are extracted as features.
  • backchannel refers to backchannels and the like, and can be extracted by definition such as utterances that do not contain verbs, nouns, adjectives, numerals, etc., as backchannels.
  • the number of important word utterances refers to the number of times words included in a word list defined in advance as being important have been uttered.
  • the personality trait score the results of the questionnaire are aggregated, and a numerical value obtained by using a classification method such as Big Five personality traits or an existing scale is used.
  • Each feature of each participant may be a scalar value or a vector value .
  • the character trait score p i (p′ i1 , .
  • it is not always necessary to obtain feature values for each of the participants. , and variance may be used.
  • Feature values are not limited to those mentioned above, but any value that can be extracted and calculated from dialogue data, such as the average or maximum volume of the microphone, the number of actions such as nodding, the maximum heart rate, or the number of times the average heart rate is exceeded. good. Also, attributes such as age and job title may be classified from data representing individuality, and numbers representing groups to which participants belong may be used as feature quantities. In this embodiment, as shown below, the feature values a 1 , .
  • Dialogue Experience Data Extraction> the dialogue experience data extraction unit 102 extracts dialogue experience data from the dialogue log DB 108 .
  • Dialogue experience data refers to logs of past dialogues that dialogue participants have participated in so far.
  • the dialogue log DB 108 that stores dialogue logs is shown in FIG.
  • the dialogue experience data extraction unit 102 extracts from the dialogue log DB 108 the dialogue experience data in which the evaluation target dialogue participant participated. At this time, only data in which all the dialogue participants participate together may be extracted, or a plurality of combinations such as data in which some participants participate together may be extracted. In this embodiment, a dialogue log in which all the dialogue participants participate together and a dialogue log in which the dialogue participants are paired together are extracted as dialogue experience data.
  • the dialogue experience score calculation unit 103 receives the dialogue experience data extracted in S102, calculates and outputs a dialogue experience score. Specifically, the dialogue experience score calculation unit 103 digitizes and extracts past dialogue experiences of the participants participating in the dialogue to be evaluated from the dialogue experience data.
  • Dialogue experience score calculation unit 103 extracts the number of past dialogues (s all , s 12 , . . . , s (k ⁇ 1)k ) and the interaction frequency (f all , f 12 , . . . , f (k ⁇ 1)k ) for the last month.
  • s_all is the number of interactions with all participants
  • s12 is the number of interactions with a pair of participants 1 and 2.
  • f all is the frequency of dialogue for the most recent month among all participants
  • f 12 is the frequency of dialogue for the most recent month for a pair of participants 1 and 2 . Any unit may be used for the interaction frequency in the most recent month. For example, the number of interactions in the most recent month may be used.
  • the dialogue experience score calculation unit 103 outputs a dialogue experience score E that is a concatenation of the number of past dialogues and the dialogue frequency in the most recent month.
  • the feature amount weight calculation unit 104 receives the dialogue experience score, calculates the weight of each feature amount in the activity score, and outputs it.
  • the feature amount weight may be a continuous value corresponding to the continuous value of the dialogue experience score, or may be classified according to the size and distribution of the dialogue experience score, and the feature amount weight may be determined for each class. .
  • a model is generated and used that outputs the weight of the feature amount when the dialogue experience score E is input.
  • Such models may be, for example, machine learning models such as neural networks.
  • the activity score A is calculated using the annotated dialogue log, and the parameters of the model f are adjusted so that "(f(E))A" is the correct dialogue evaluation score s. .
  • the correct dialogue evaluation score s By using the dialogue evaluation score s of a specific participant as the correct dialogue evaluation score s, it is possible to obtain a weight w that can calculate the dialogue evaluation score s of the specific participant. Also, by using the dialogue evaluation score s of a specific factor (for example, a vector whose elements are satisfaction and contribution) as the correct dialogue evaluation score s, the specific type of dialogue evaluation score s can be calculated. weight w can be obtained.
  • a specific factor for example, a vector whose elements are satisfaction and contribution
  • the weight of the feature amount includes a value that indicates which of the feature amounts included in the activity score should be more taken into account in the dialogue evaluation.
  • w (w 1 , ..., w l ) It can be expressed as.
  • an arbitrary w i corresponds to a i included in the activity score A, and is a value that can determine how important each feature quantity a i is to be given by the weight w i .
  • w is a vector in the above example, w may be a matrix.
  • the dialogue experience score E is used when calculating the weight w, so it is possible to obtain the weight w that takes into consideration the dialogue experience (relationship between dialogue participants).
  • the dialogue evaluation calculation unit 105 uses the activity score A and the weight w of each feature quantity to calculate the dialogue evaluation score si of a certain dialogue participant h i as follows.
  • the calculated result is output from the output unit 107 .
  • s i wA
  • w and A are vectors, so the interaction evaluation score is a scalar value.
  • the feature amount in the activity score A in the above formula may be only the feature amount related to the participant hi for score calculation, or the feature amount other than the feature amount related to the participant hi for score calculation may be may be included.
  • the dialogue evaluation score may be calculated as a vector value.
  • the dialogue evaluation may be judged by the size of the vector, and the elements of each vector are "agreement", "activity”, and "satisfaction ” may be a factor for dialogue evaluation.
  • the dialogue evaluation score of each participant can be obtained.
  • obtaining the dialogue evaluation score of each participant is an example.
  • the calculation result of wA can be used regardless of the participants. It can also be used as an overall evaluation score.
  • those statistics may be used as the evaluation score for the entire dialogue in the group.
  • Dialogue evaluation apparatus 100 can be implemented by, for example, causing a computer to execute a program.
  • This computer may be a physical computer or a virtual machine on the cloud.
  • the dialogue evaluation system 100 can be realized by executing a program corresponding to the processing performed by the dialogue evaluation system 100 using hardware resources such as a CPU and memory built into the computer. .
  • the above program can be recorded in a computer-readable recording medium (portable memory, etc.), saved, or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 4 is a diagram showing a hardware configuration example of the computer.
  • the computer of FIG. 4 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., which are interconnected by a bus BS.
  • a program that implements the processing in the computer is provided by a recording medium 1001 such as a CD-ROM or memory card, for example.
  • a recording medium 1001 such as a CD-ROM or memory card
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000 .
  • the program does not necessarily need to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores installed programs, as well as necessary files and data.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when a program activation instruction is received.
  • CPU 1004 implements functions related to dialogue evaluation apparatus 100 according to programs stored in memory device 1003 .
  • the interface device 1005 is used as an interface for connecting to a network or the like.
  • a display device 1006 displays a GUI (Graphical User Interface) or the like by a program.
  • An input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, or the like, and is used to input various operational instructions.
  • the output device 1008 outputs the calculation result.
  • the activity score calculated from the dialogue data representing the state of the dialogue and the individuality of the participants and the past dialogue experiences of the participants in the dialogue are used.
  • a dialog evaluation score is obtained based on the dialog experience score calculated from the represented dialog experience data.
  • a dialogue evaluation device for evaluating a dialogue conducted by a group of two or more participants, an activity score calculation unit that extracts one or more feature quantities as an activity score from the dialogue data; Dialogue experience data is extracted from past dialogue logs, a dialogue experience score is calculated by quantifying the dialogue experience between participants from the dialogue experience data, and the weight of each feature quantity in the activity score is calculated from the dialogue experience score. a feature quantity weight calculator for calculating; and a dialogue evaluation score calculator that calculates a dialogue evaluation score using the activity score and the weight.
  • (Section 2) 2.
  • Dialogue evaluation device. (Section 3) 3. The dialogue evaluation device according to claim 1 or 2, wherein the feature quantity weight calculation unit receives the dialogue experience score as input and calculates the weight using a model that outputs the weight. (Section 4) 3. The dialogue evaluation device according to any one of items 1 to 3, wherein the dialogue evaluation score calculation unit calculates a vector having a plurality of factors of dialogue evaluation as a plurality of elements as the dialogue evaluation score.
  • the dialogue evaluation score calculation unit calculates the dialogue evaluation score of each participant in the group, and calculates the statistics of the dialogue evaluation scores of all participants as the dialogue evaluation score of the entire group.
  • the dialogue evaluation device according to any one of (Section 6) A dialogue evaluation method performed by a dialogue evaluation device that evaluates a dialogue conducted by a group of two or more participants, a step of extracting one or more feature quantities as an activity score from the dialogue data; Dialogue experience data is extracted from past dialogue logs, a dialogue experience score is calculated by quantifying the dialogue experience between participants from the dialogue experience data, and the weight of each feature quantity in the activity score is calculated from the dialogue experience score. a calculating step; and calculating a dialogue evaluation score using the activity score and the weight.
  • (Section 7) A program for causing a computer to function as each unit in the dialogue evaluation device according to any one of items 1 to 5.
  • Dialogue evaluation device 101
  • Activity score calculator 102
  • Dialogue experience data extractor 103
  • Dialogue experience score calculator 104
  • Feature amount weight calculator 105
  • Dialogue evaluation calculator 106
  • Input unit 107
  • Output unit 108
  • Dialogue log DB 1000 drive device 1001 recording medium 1002 auxiliary storage device 1003 memory device 1004
  • CPU 1005 interface device 1006 display device 1007 input device 1008 output device

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

２人以上の参加者のグループでなされる対話の評価を行う対話評価装置であって、対話データから、１以上の特徴量を活性度スコアとして抽出する活性度スコア計算部と、過去の対話ログから対話経験データを抽出し、当該対話経験データから参加者同士の対話経験を数値化した対話経験スコアを算出し、当該対話経験スコアから前記活性度スコアにおける各特徴量の重みを算出する特徴量重み計算部と、前記活性度スコアと前記重みとを用いて対話評価スコアを算出する対話評価スコア計算部とを備える。

Description

対話評価装置、対話評価方法、及びプログラム
　本発明は、２人以上の対話参加者が含まれるグループにおける対話（グループ対話と呼ぶ）の評価を行う技術に関連するものである。
　グループ対話における評価を行う技術として、対話中の発話回数や発話文に含まれる単語の頻度、カメラ映像からわかるうなずきの回数などからリーダシップ性や貢献度を推定する技術がある。また、参加者に直接どれくらい貢献できたか、満足できたか、などのアンケート評価を行う技術や、対話の成果物を第三者に評価してもらう技術などもある。対話システムによる対話を評価する場合に、システムが生成した文を評価する技術もある。
特開2012-242528号公報
Indrani Bhattacharya, et al."A Multimodal-Sensor-Enabled Room for Unobtrusive Group Meeting Analysis", ICMI '18: Proceedings of the 20th ACM International Conference on Multimodal Interaction,PP.347-355. https://dl.acm.org/doi/pdf/10.1145/3242969.3243022 Soomin Kim, et al. "Bot in the Bunch: Facilitating Group Chat Discussion by Improving Efficiency and Participation with a Chatbot", CHI '20: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, PP.1-13.https://dl.acm.org/doi/pdf/10.1145/3313831.3376785
　従来技術において、対話参加者間でなされる対話を評価する際には、対話参加者の発話数や単語の特徴などの実際の対話の様子を数値化したものを用いることが多い。また、対話参加者のリーダシップ性などの性格・価値観を取得または推測し、対話の評価に用いることもできる。
　しかし、対話参加者同士が初めて対話する場合と、長期に渡って継続的に対話をする場合とでは、評価を行う際に重要視するポイントが異なる。
　例えば、初対面の参加者ばかりが集まり、一度限りの議論を行う場合には、自分の性格や価値観を表面に出すことを避けたり、相手の性格や価値観まで理解しようとせず、その場を盛り上げることを重要視したりすることが考えられる。また、対話を通して正解にたどり着くなどの明確なゴールがある場合には、ゴールに到達することができたかどうかを重要視して、対話全体や自身の振る舞いを評価することが考えられる。
　一方、会社の打ち合わせのように同じメンバーで継続的に長期に渡って議論を行う場合、その場の盛り上がりは重要視せず、より発展的な意見が出たか、あるいは全員の合意が取れているかどうか、という点が重要視されることもある。また、前述の例と同様に明確なゴールがある場合でも、議論を継続した上で到達できれば良い場合もあり、その対話の中だけで正解にたどり着く必要がないこともある。
　このように、同じタスク指向型の対話であっても、対話評価を行う際に重要視する点は、参加者同士の関係性に大きく依存している。よって、関係性を数値化して対話評価に用いることでより精度が高い評価を行うことができる。しかし、従来技術（例えば特許文献１、非特許文献１、２）では、対話参加者同士の関係性について考慮されていない。
　本発明は上記の点に鑑みてなされたものであり、対話参加者同士の関係性を考慮して、グループでなされる対話を評価することを可能とする技術を提供することを目的とする。
　開示の技術によれば、２人以上の参加者のグループでなされる対話の評価を行う対話評価装置であって、
　対話データから、１以上の特徴量を活性度スコアとして抽出する活性度スコア計算部と、
　過去の対話ログから対話経験データを抽出し、当該対話経験データから参加者同士の対話経験を数値化した対話経験スコアを算出し、当該対話経験スコアから前記活性度スコアにおける各特徴量の重みを算出する特徴量重み計算部と、
　前記活性度スコアと前記重みとを用いて対話評価スコアを算出する対話評価スコア計算部と
　を備える対話評価装置が提供される。
　開示の技術によれば、対話参加者同士の関係性を考慮して、グループでなされる対話を評価することが可能となる。
本発明の実施の形態における対話評価装置の構成図である。 対話評価装置の動作を説明するためのフローチャートである。 対話ログデータベースの例を示す図である。 対話評価装置のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　（実施の形態の概要）
　まず、本実施の形態の概要を説明する。本実施の形態では、後述する対話評価装置１００が、２人以上の対話参加者（メンバーあるいは参加者と呼んでもよい）によるグループ対話における対話参加者個々の対話に対する達成度や満足度、貢献度などを反映した評価を数値化したスコアの予測を行う。
　対話評価装置１００は、評価を行う際に、評価する対象である対話を記録した対話データと、参加者間の過去の対話経験を表す対話経験データを使用する。対話データとして、対話するグループを構成する参加者の性格や価値観を表す個人性データを含めてもよい。
　対話データとは、対話を時系列で記録したものであり、例えばマイクで集音した音声データ、各メンバーが発話した内容を書き起こしたテキストデータ、各メンバーの動きを撮影したビデオデータ、各メンバーの心拍などのバイタルデータをスマートウォッチ等の機器を用いて記録したバイタルデータなどを指す。また、上記のとおり、対話データに、対話に参加している参加者各々の個人性について表した個人性データを含んでもよく、例えば性格についてアンケートを行った結果や、既存技術を用いて過去のデータから予測された個人性のデータ、年齢や職歴・役職などといった属性に関するデータなどが含まれていても良い。
　対話評価装置１００は、この対話データから、対話の活性度を求める。活性度とは、対話がどれくらい盛り上がっているかを表すもの、メンバーの気持ちの高揚感などを表すもの、対話参加者自身の個人性などを、比較可能な数値に変換したものである。例えば、音声データの場合は各参加者の音声の大きさあるいは変化、テキストデータの場合は各参加者の発話回数あるいは発話単語数、ビデオデータの場合は身振りの大きさあるいはうなずきの大きさ、バイタルデータの場合は心拍の速さあるいは変化などを活性度として利用することができる。なお、活性度を「特徴量」と呼んでもよい。
　対話データに含めることができる個人性データとは対話の参加者個人について表したデータであり、例えば、「人前で自分の話をするのが好きだ」という質問に対して「そう思う」「少し思う」「あまり思わない」「全く思わない」などの選択肢から自分に合ったものを選んだり、「無口」「話し好き」「外交的」などの単語から、自分の性格や価値観に合ったものを選択したり、それぞれの項目について９段階評価したりして得たデータである。あるいは、個人性データとして、他人が参加者各々について評価したデータを用いたり、過去の対話データ等を用いて個人性を予測した結果のスコアを用いても良い。
　個人性データとして、性格や属性に関するアンケートの結果を用いる場合、アンケートの回答が段階的な数値で回答するものであれば、その数値をそのまま用いても良いし、集計した値を用いても良い。アンケートへの回答はＹｅｓ／Ｎｏで答えるものであれば、Ｙｅｓの場合に１、Ｎｏの場合に０などの数値化したものを用いる。職業や好みなど連続的ではない項目からの選択式で答える場合には、項目数の特徴量を準備し、選択されたものを１、それ以外を０としたベクトルに変換することができる。自由記述の場合は含まれる単語をそのまま特徴量としたり、記述内容からカテゴリ分けをし、カテゴリ数の特徴量を準備し、選択されたものを１、それ以外を０としたベクトルに変換して活性化スコアとして用いることができる。また、Ｙｅｓ／Ｎｏで答える質問と、７段階スケールで答える質問、自由記述の質問など、回答方法が異なる質問が混合していてもよい。
　対話経験データとは、参加者同士がこれまでに対話した経験を数値化したものであり、例えば、参加者同士でこれまでに一緒に対話した回数や一緒に参加した対話の合計時間などを用いる。また、仕事で同じプロジェクトに所属していた期間や学校で同じクラスになった期間など、対話経験があると思われる期間を代用しても良い。対話経験データとして用いるデータの種類は１つでも複数でもよい。対話経験データは、参加者が３人以上いる場合、参加者全員が一緒に経験した対話を用いたり、参加者同士を組み合わせてペアを作り、各ペアの２名が一緒に経験した対話を用いたりなど、同じ対話経験をした参加者の組み合わせ方法については問わない。例えば、参加者全員について、人数の異なる全組み合わせについて一緒に経験した対話データを抽出し、対話経験データとしてもよい。
　対話評価装置１００は、対話データから得た活性度スコアと、対話経験データから得た対話経験スコアを組み合わせて、対話評価スコアを算出する。対話評価スコアはここでは各参加者に対して与えるものとし、対話への参加者の達成度や満足度、貢献度を表すスコアとする。対話評価スコアは、達成度、満足度、貢献度のそれぞれのスコア（ベクトル）であってもよいし、達成度、満足度、貢献度のうちのいずれか１つのスコアであってもよいし、達成度、満足度、貢献度のうちのいずれか複数のスコアであってもよい。各参加者のスコアの平均などの統計量を計算することによって、グループ全体のスコアを表すことも可能である。
　以下、実施例として、対話評価装置１００の構成と動作を詳細に説明する。
　（装置構成）
　図１に、本実施例における対話評価装置１００の構成例を示す。図１に示すとおり、対話評価装置１００は、活性度スコア計算部１０１、対話経験データ抽出部１０２、対話経験スコア計算部１０３、特徴量重み計算部１０４、対話評価計算部１０５、入力部１０６、出力部１０７、及び対話ログＤＢ（データベース）１０８を備える。
　なお、対話ログＤＢ１０８については対話評価装置１００の外部に備えられ、対話評価装置１００とネットワークで接続されるものであってもよい。また、特徴量重み計算部１０４が、対話経験データ抽出部１０２と対話経験スコア計算部１０３を含んでもよい。
　（装置動作例）
　以下、対話評価装置１００の動作例を説明する。以下で説明する動作例においては、評価の対象となる対話の参加者の人数をｋ人とし、ｋ人の参加者をそれぞれｈ１，…，ｈｋとする。参加者それぞれの対話評価スコアをｓ１，…，ｓｋとし、対話評価装置１００によりこれを算出する。
　入力部１０６から、対話データと参加者リスト（ｈ１，...，ｈｋ）が入力される。本実施例では、入力に使用する対話データとして各参加者が発話した内容の書き起こし文と、アンケート調査で取得した各参加者の性格特性を用いる。前述したとおり、対話データはこれに限らず、発話音声、動画、生体センサ情報などの対話の様子がわかるデータを用いても良いし、年齢や職歴・役職などの属性や、価値観や経験、好みなどを問うアンケート結果などの個人性を表すデータを用いてもよい。また、データの種類の数も問わない。
　以下、図２のフローチャートの手順に沿って説明する。なお、図２に示すフローに示す計算の順番は一例である。対話評価スコアの計算に必要な活性度スコア、対話経験スコア等の計算の順番は任意である。
　＜Ｓ１０１：活性度スコア計算＞
　Ｓ１０１において、活性度スコア計算部１０１は、対話データを入力とし、対話データから特徴量を抽出して出力する。ここでは、各参加者の合計発話時間（ｕ１，...，ｕｋ）、各参加者のバックチャネル数（ｂ１，...，ｂｋ）、各参加者の重要語発話回数（ｗ１，...，ｗｋ）、性格特性スコア（ｐ１，...，ｐｋ）を特徴量として抽出する。
　ここで、バックチャネルとは相槌などを指し、例えば動詞・名詞・形容詞・数詞などを含まない発話をバックチャネルとするなどの定義で抽出することができる。重要語発話回数は、予め重要であると定めた単語リストに含まれる単語を発話した回数を指す。性格特性スコアとしては、アンケートの結果を集計し、ＢｉｇＦｉｖｅ性格特性といった分類法や既存の尺度を用いて数値化したものを用いる。
　各参加者の各特徴量は、スカラー値でもベクトル値でもよく、例えば重要語発話回数ｗｉ＝（ｗ´ｉ１，...，ｗ´ｉｃ）としてｃ個の単語それぞれの出現回数を特徴量としても良いし、性格特性スコアｐｉ＝（ｐ´ｉ１，...，ｐ´ｉｄ）としてｄ種類の性格特性因子あるいは属性を特徴量としても良い。また、参加者全員のそれぞれについて特徴量が必要であるとは限らず、例えば対話評価の対象とする本人の特徴量のみを抽出して用いてもよいし、全員の平均や最大値・最小値、分散といった集計を行った値を用いても良い。
　特徴量は上記のものに限らず、マイクの平均音量や最大音量、うなずきなどの動作の回数、最大心拍数や平均心拍数を超えた回数など、対話データから抽出・計算可能な数値であればよい。また、個人性を表すデータから年齢や役職などの属性を分類し、参加者が属するグループを表現した数字を特徴量として用いてもよい。本実施例では、下記に示すとおり、上記のようにして抽出した特徴量を連結した特徴量ａ１，...，ａｌを活性度スコアとする。
Figure JPOXMLDOC01-appb-M000001
 　＜Ｓ１０２：対話経験データ抽出＞
　Ｓ１０２において、対話経験データ抽出部１０２が、対話ログＤＢ１０８から対話経験データの抽出を行う。対話経験データとは、対話参加者がこれまでに参加した過去の対話のログを指す。
　対話のログを格納した対話ログＤＢ１０８の一例を図３に示す。図３に示すとおり、対話のログには、対話参加者リスト、対話時間（開始日時、終了日時）、発話回数など、参加者同士でどれぐらい対話したかを表したデータが含まれている。例えば、図３の対話ＩＤ＝２の対話では、参加者Ａと参加者Ｃにより２０２１／３／３１の１７：００～１９：１２に対話が行われ、参加者Ａの発話回数が２００回、参加者Ｃの発話回数が１００回であることが示されている。
　対話経験データ抽出部１０２は、評価対象の対話参加者が参加した対話経験データを対話ログＤＢ１０８から抽出する。このとき、対話参加者全員が一緒に参加しているデータのみを抽出してもよいし、一部の参加者が一緒に参加しているデータなど複数の組み合わせで抽出してもよい。本実施例では、対話参加者全員が一緒に参加した対話のログと、対話参加者から２人ペアを作り、その２人ペアが一緒に参加した対話のログを対話経験データとして抽出する。
　＜Ｓ１０３：対話経験スコア計算＞
　Ｓ１０３において、対話経験スコア計算部１０３は、Ｓ１０２で抽出された対話経験データを入力とし、対話経験スコアを計算して出力する。具体的には、対話経験スコア計算部１０３は、対話経験データから、評価対象の対話に参加している参加者同士が過去に行った対話経験を数値化して抽出する。
　より詳細には、本実施例では、過去の対話回数、直近１ヶ月の対話頻度の値を対話経験スコアとして用いる。対話経験スコア計算部１０３は、対話経験データ抽出部１０２にて出力された、参加者全員と２人ペアの対話ログから、過去の対話回数（ｓａｌｌ，ｓ１２，...，ｓ（ｋ－１）ｋ）、直近１ヶ月の対話頻度（ｆａｌｌ，ｆ１２，...，ｆ（ｋ－１）ｋ）を計算する。なお、ｓａｌｌは参加者全員での対話の回数であり、また、ｓ１２は参加者１と参加者２のペアでの対話回数である。また、ｆａｌｌは参加者全員での直近１ヶ月の対話頻度であり、ｆ１２は参加者１と参加者２のペアでの直近１ヶ月の対話頻度である。なお、直近１ヶ月の対話頻度の単位はどのようなものでもよく、例えば、直近１ヶ月の対話回数であってもよい。
　下記のとおり、本実施例では、対話経験スコア計算部１０３は、過去の対話回数と直近１ヶ月の対話頻度を連結したものを対話経験スコアＥとして出力する。
Figure JPOXMLDOC01-appb-M000002
 　＜Ｓ１０４：特徴量重み計算＞
　Ｓ１０４において、特徴量重み計算部１０４は、対話経験スコアを入力とし、活性度スコアにおける各特徴量の重みを計算して出力する。特徴量の重みは、対話経験スコアの連続値に応じた連続値としてもよいし、対話経験スコアの大きさや分布に応じてクラス分けをし、クラスごとに特徴量の重みを決定しても良い。
　重みの生成方法に関しては、例えば、過去の対話ログに対話評価スコアを参加者がアノテーションしたデータを用いて、対話経験スコアＥを入力すると特徴量の重みを出力するようなモデルを生成して用いるなどの方法がある。このようなモデルは、例えば、ニューラルネットワーク等の機械学習モデルであってもよい。
　例えば、上記のモデルを関数ｆで表し、特徴量の重みをｗとすると、特徴量重み計算部１０４は、ｆ（Ｅ）＝ｗとして重みを計算することができる。モデル生成時には、上記のアノテーションした対話ログを用いて活性度スコアＡを計算し、「（ｆ（Ｅ））Ａ」が正解の対話評価スコアｓになるようにモデルｆのパラメータを調整すればよい。
　正解の対話評価スコアｓとして、特定の参加者の対話評価スコアｓを使用することで、その特定の参加者の対話評価スコアｓを計算可能な重みｗを得ることができる。また、正解の対話評価スコアｓとして、特定の因子の対話評価スコアｓ（例えば、満足度と貢献度を要素とするベクトル）を使用することで、その特定の種類の対話評価スコアｓを計算可能な重みｗを得ることができる。
　特徴量の重みは、活性度スコアに含まれている特徴量のうち、どの特徴量をより加味して対話評価を行うべきかを表す値が含まれているものとし、例えば
　ｗ＝（ｗ１，…，ｗｌ）
と表すことができる。ここで、任意のｗｉは活性度スコアＡに含まれているａｉに対応し、各特徴量ａｉを重みｗｉによってどれくらい重要視するかを決定することができる値となっている。なお、上記の例では、ｗはベクトルであるが、ｗを行列としてもよい。
　上記のように、重みｗを算出する際に、対話経験スコアＥを使用するので、対話経験（対話参加者同士の関係性）が考慮された重みｗを得ることができる。
　＜Ｓ１０５：対話評価計算＞
　Ｓ１０５において、対話評価計算部１０５では、活性度スコアＡと各特徴量の重みｗを用いて、ある対話参加者ｈｉの対話評価スコアｓｉを以下のように計算する。計算された結果は出力部１０７から出力される。
　ｓｉ＝ｗＡ
　上記の例では、ｗとＡはそれぞれベクトルなので、対話評価スコアはスカラー値となる。なお、上記の式における活性度スコアＡにおける特徴量は、スコア算出対象の参加者ｈｉに関する特徴量のみであってもよいし、スコア算出対象の参加者ｈｉに関する特徴量以外の特徴量が含まれていてもよい。
　上記のように対話評価スコアをスカラー値として計算することは一例であり、対話評価スコアをベクトル値として計算してもよい。例えばｗとして行列を用いることで対話評価スコアをベクトル値として計算する場合、ベクトルの大きさで対話評価を判断してもよいし、各ベクトルの要素が「合意度」「活性度」「満足度」などの対話評価の因子となっていてもよい。
　上記の式ｓｉ＝ｗＡの計算を参加者各々に対して実行することで参加者各々の対話評価スコアを求めることができる。ただし、参加者各々の対話評価スコアを求めることは一例である。
　特徴量として全参加者の対話に関する活性度スコアを含め、かつ特徴量重み計算部１０４において全参加者の対話経験に基づく重みを計算することで、ｗＡの計算結果を、参加者に関わらず対話全体の評価スコアとして用いることもできる。
　また、参加者各々の対話評価スコアを求めた後に、それらの統計量（例えば、平均、総和）をグループにおける対話全体の評価スコアとして用いてもよい。
　（ハードウェア構成例）
　対話評価装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
　すなわち、対話評価装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、対話評価装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図４は、上記コンピュータのハードウェア構成例を示す図である。図４のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、対話評価装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　（実施の形態のまとめ、効果）
　グループ対話の評価は、実際の対話における参加者の発言や振る舞いと、参加者同士の関係性に影響される。参加者同士の関係性は、共に対話をする経験が多いほど深まるなどの変化があることから、本実施の形態では、これを対話経験スコアとして表現し、対話経験スコアを組み合わせることで対話の評価を正確に判断することを可能としている。
　すなわち、本実施の形態では、グループ対話の評価をする際に、対話の様子や参加者の個人性を表した対話データから算出した活性度スコアと、対話の参加者同士の過去の対話経験を表す対話経験データから算出した対話経験スコアを元に対話評価スコアを求めることとしている。これによって、参加者同士の関係性を考慮した貢献度、満足度、達成度等を表す評価を予測することができる。
　また、予測した評価から、より参加者の満足度が高くなるようなグループの編成を検討したり、対話の進め方に介入することができる。例えば、初対面同士の対話で発話回数を重要視する参加者である場合には、発話回数が多くなるような介入を加えてあげることで満足度の高い対話を行うことができる可能性がある。
　また、あまり対話経験のない相手と対話を行った際に、後から相手の対話評価を予測し、その参加者の対話評価を上げるために必要な取り組みを次回の対話で意識的に取り組んだり、資料に反映したりすることが可能となる。
　あるいは、仮想的に対話をシミュレーションし、その中で対話参加者の対話評価の変化をみることで、どのような対話を行うべきか、どのような介入をするべきかの戦略を練ることも可能となる。
　（付記）
　本明細書には、少なくとも下記各項の対話評価装置、対話評価方法、及びプログラムが開示されている。
（第１項）
　２人以上の参加者のグループでなされる対話の評価を行う対話評価装置であって、
　対話データから、１以上の特徴量を活性度スコアとして抽出する活性度スコア計算部と、
　過去の対話ログから対話経験データを抽出し、当該対話経験データから参加者同士の対話経験を数値化した対話経験スコアを算出し、当該対話経験スコアから前記活性度スコアにおける各特徴量の重みを算出する特徴量重み計算部と、
　前記活性度スコアと前記重みとを用いて対話評価スコアを算出する対話評価スコア計算部と
　を備える対話評価装置。
（第２項）
　前記対話データは、前記グループを構成する参加者の性格特性を含む個人性データを含み、前記１以上の特徴量は、発話に関する特徴量、及び性格特性に関する特徴量を含む
　第１項に記載の対話評価装置。
（第３項）
　前記特徴量重み計算部は、前記対話経験スコアを入力とし、前記重みを出力するモデルを用いて前記重みを算出する
　第１項又は第２項に記載の対話評価装置。
（第４項）
　前記対話評価スコア計算部は、対話評価の複数の因子を複数の要素として持つベクトルを前記対話評価スコアとして算出する
　第１項ないし第３項のうちいずれか１項に記載の対話評価装置。
（第５項）
　前記対話評価スコア計算部は、前記グループにおける参加者それぞれの対話評価スコアを算出し、全参加者の対話評価スコアの統計量を前記グループ全体の対話評価スコアとして算出する
　第１項ないし第４項のうちいずれか１項に記載の対話評価装置。
（第６項）
　２人以上の参加者のグループでなされる対話の評価を行う対話評価装置により実行される対話評価方法であって、
　対話データから、１以上の特徴量を活性度スコアとして抽出するステップと、
　過去の対話ログから対話経験データを抽出し、当該対話経験データから参加者同士の対話経験を数値化した対話経験スコアを算出し、当該対話経験スコアから前記活性度スコアにおける各特徴量の重みを算出するステップと、
　前記活性度スコアと前記重みとを用いて対話評価スコアを算出するステップと
　を備える対話評価方法。
（第７項）
　コンピュータを、第１項ないし第５項のうちいずれか１項に記載の対話評価装置における各部として機能させるためのプログラム。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００　対話評価装置
１０１　活性度スコア計算部
１０２　対話経験データ抽出部
１０３　対話経験スコア計算部
１０４　特徴量重み計算部
１０５　対話評価計算部
１０６　入力部
１０７　出力部
１０８　対話ログＤＢ
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (7)

  1. 　２人以上の参加者のグループでなされる対話の評価を行う対話評価装置であって、
    　対話データから、１以上の特徴量を活性度スコアとして抽出する活性度スコア計算部と、
    　過去の対話ログから対話経験データを抽出し、当該対話経験データから参加者同士の対話経験を数値化した対話経験スコアを算出し、当該対話経験スコアから前記活性度スコアにおける各特徴量の重みを算出する特徴量重み計算部と、
    　前記活性度スコアと前記重みとを用いて対話評価スコアを算出する対話評価スコア計算部と
    　を備える対話評価装置。
  2. 　前記対話データは、前記グループを構成する参加者の性格特性を含む個人性データを含み、前記１以上の特徴量は、発話に関する特徴量、及び性格特性に関する特徴量を含む
    　請求項１に記載の対話評価装置。
  3. 　前記特徴量重み計算部は、前記対話経験スコアを入力とし、前記重みを出力するモデルを用いて前記重みを算出する
    　請求項１又は２に記載の対話評価装置。
  4. 　前記対話評価スコア計算部は、対話評価の複数の因子を複数の要素として持つベクトルを前記対話評価スコアとして算出する
    　請求項１ないし３のうちいずれか１項に記載の対話評価装置。
  5. 　前記対話評価スコア計算部は、前記グループにおける参加者それぞれの対話評価スコアを算出し、全参加者の対話評価スコアの統計量を前記グループ全体の対話評価スコアとして算出する
    　請求項１ないし４のうちいずれか１項に記載の対話評価装置。
  6. 　２人以上の参加者のグループでなされる対話の評価を行う対話評価装置により実行される対話評価方法であって、
    　対話データから、１以上の特徴量を活性度スコアとして抽出するステップと、
    　過去の対話ログから対話経験データを抽出し、当該対話経験データから参加者同士の対話経験を数値化した対話経験スコアを算出し、当該対話経験スコアから前記活性度スコアにおける各特徴量の重みを算出するステップと、
    　前記活性度スコアと前記重みとを用いて対話評価スコアを算出するステップと
    　を備える対話評価方法。
  7. 　コンピュータを、請求項１ないし５のうちいずれか１項に記載の対話評価装置における各部として機能させるためのプログラム。
PCT/JP2021/028989 2021-08-04 2021-08-04 対話評価装置、対話評価方法、及びプログラム WO2023012942A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/028989 WO2023012942A1 (ja) 2021-08-04 2021-08-04 対話評価装置、対話評価方法、及びプログラム
JP2023539459A JPWO2023012942A1 (ja) 2021-08-04 2021-08-04

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/028989 WO2023012942A1 (ja) 2021-08-04 2021-08-04 対話評価装置、対話評価方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023012942A1 true WO2023012942A1 (ja) 2023-02-09

Family

ID=85154447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028989 WO2023012942A1 (ja) 2021-08-04 2021-08-04 対話評価装置、対話評価方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023012942A1 (ja)
WO (1) WO2023012942A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206088A1 (en) * 2014-01-23 2015-07-23 Adp, Llc Device, method, and system for valuating individuals and organizations based on personal interactions
JP2016162339A (ja) * 2015-03-04 2016-09-05 Kddi株式会社 グループ毎の討論の活性化を推定するプログラム、端末及びシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206088A1 (en) * 2014-01-23 2015-07-23 Adp, Llc Device, method, and system for valuating individuals and organizations based on personal interactions
JP2016162339A (ja) * 2015-03-04 2016-09-05 Kddi株式会社 グループ毎の討論の活性化を推定するプログラム、端末及びシステム

Also Published As

Publication number Publication date
JPWO2023012942A1 (ja) 2023-02-09

Similar Documents

Publication Publication Date Title
CN115335902A (zh) 用于异步视频设置中的自动候选者评估的系统和方法
WO2015103964A1 (en) Method， apparatus， and device for determining target user
KR102268496B1 (ko) 기계학습에 기초한 비언어적 평가 방법, 시스템 및 컴퓨터-판독가능 매체
Andrews System personality and persuasion in human-computer dialogue
US20210398150A1 (en) Method and computer network for gathering evaluation information from users
Amelkin et al. Dynamics of collective performance in collaboration networks
Farooq et al. Impact of business simulation games on entrepreneurial intentions of business graduates: a PLS-SEM approach
JP6576141B2 (ja) 特性語によってグループ状態を推定可能なプログラム
JP6570465B2 (ja) 重要語によって参加者の貢献度を推定可能なプログラム、装置及び方法
JP2022028539A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
WO2023012942A1 (ja) 対話評価装置、対話評価方法、及びプログラム
JP7563478B2 (ja) 対話評価方法、対話評価装置及びプログラム
JP7158633B2 (ja) 説明提示装置、説明提示方法、及び説明提示プログラム
CN115600966A (zh) 团队讨论语料分析方法及装置
KR102610267B1 (ko) 메타버스 내의 아바타 간의 인터랙션을 참조하여 특정 아바타에 대응되는 특정 사용자의 상태를 분석하고 서비스를 제공하는 방법 및 장치
WO2023100334A1 (ja) 推定方法、学習方法、推定装置及び推定プログラム
JP2012014507A (ja) ディスカッション健全度算出装置、ディスカッション健全度算出方法およびコンピュータプログラム
KR102610262B1 (ko) 메타버스를 활용하여 특정 실제 사용자의 특정 아바타에게 상담 서비스를 제공하는 방법 및 장치
KR102610273B1 (ko) 메타버스를 활용하여 특정 사용자의 특정 아바타에게 트리거링 아바타와의 인터랙션을 유도하기 위한 컨텐츠를 제공하는 방법 및 장치
JP7421597B2 (ja) 会議支援方法および会議支援装置
Fang et al. Estimation of cohesion with feature categorization on small scale groups
Wixon The unfulfilled promise of usability engineering
JP7449577B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230289731A1 (en) Information processing system, information processing method, and recording medium
Suzuki et al. VFep: 3D graphic face representation based on voice-based emotion recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21952768

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023539459

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21952768

Country of ref document: EP

Kind code of ref document: A1