JP5783793B2 - 対話評価装置、方法及びプログラム - Google Patents
対話評価装置、方法及びプログラム Download PDFInfo
- Publication number
- JP5783793B2 JP5783793B2 JP2011110989A JP2011110989A JP5783793B2 JP 5783793 B2 JP5783793 B2 JP 5783793B2 JP 2011110989 A JP2011110989 A JP 2011110989A JP 2011110989 A JP2011110989 A JP 2011110989A JP 5783793 B2 JP5783793 B2 JP 5783793B2
- Authority
- JP
- Japan
- Prior art keywords
- dialogue
- user
- dialog
- statistic
- evaluation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
(E1) 評価の対象となる対話の長さ
(E1)’ 現在の目標達成対話の長さと、現在の目標不達成対話の長さ
(E2) それまでに実行された対話における目標達成対話の長さの平均値と目標不達成対話の長さの平均値
(E3) (E1)から一つ前の対話までに実行された対話の長さの平均値を引いた値
(Q1) 評価の対象となる対話における所定の発言についての単位時間発言数
(Q2) それまでに実行された対話における所定の発言についての単位時間発言数の平均値
(Q3) (Q1)から一つ前の対話までに実行された対話における所定の発言についての単位時間発言数の平均値を引いた値
(Q4) それまでに実行された対話における対話トピックごとの目標達成対話についての分布エントロピー
Xスポーツ=スポーツの対話トピックの目標達成対話の生起数
X文学・芸術=文学・芸術の対話トピックの目標達成対話の生起数
X政治=政治の対話トピックの目標達成対話の生起数
X歴史上の人物=歴史上の人物の対話トピックの目標達成対話の生起数
X合計=X芸能+Xスポーツ+X文学・芸術+X政治+X歴史上の人物
P(芸能)=X芸能/X合計
P(スポーツ)=Xスポーツ/X合計
P(文学・芸術)=X文学・芸術/X合計
P(政治)=X政治/X合計
P(歴史上の人物)=X歴史上の人物/X合計
HG(SuccessfulDialog)=-ΣAi∈ΩP(Ai)log2P(Ai)
ただし、Ω={A1,…,Ai,…,AN}
なお、P(Ai)が0のとき、P(Ai)log2P(Ai)は0と定義する。
HG(SuccessfulDialog)=-ΣAi∈ΩP(Ai)log2P(Ai)
ただし、Ω={芸能,スポーツ,文学・芸術,政治,歴史上の人物}
(S1) 評価の対象となる対話が目標達成対話ならば1、さもなければ0となる変数の値
(S2) それまでに実行された対話における目標達成対話の割合
(S3) (S1)から一つ前の対話までに実行された対話における目標達成対話の割合を引いた値
対話評価装置の各部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。
2 統計量抽出部
3 クラスタリング部
4 評価関数導出部
Claims (5)
- ユーザである人間と対話を行う対話システムの対話の質を評価する対話評価装置において、
対話に関するデータ及びその対話のユーザ評定値をその対話の対話データとして、複数のユーザのそれぞれについての各対話の対話データを記憶する対話データ記憶部と、
上記対話データから上記複数の各ユーザの対話の所定の発言の数の平均値及び対話の長さの平均値を計算し、また、上記対話データから評価関数の説明変数となる統計量を抽出する統計量抽出部と、
上記計算された対話の所定の発言の数の平均値及び対話の長さの平均値に基づいて上記複数のユーザをクラスタリングするクラスタリング部と、
各クラスタに対応する評価関数を、その各クラスタに含まれるユーザについての上記統計量を説明変数とし上記ユーザ評定値を応答変数とする重回帰分析により導出する評価関数導出部と、
を含む対話評価装置。 - 請求項1の対話評価装置において、
上記統計量は、上記評価関数による評価の対象となる対話及び当該対話より前に実行された対話の対話データから抽出される統計量を含む、
対話評価装置。 - 請求項1又は2の対話評価装置において、
上記対話は、複数の対話トピックに属するとし、ユーザが所定の目標を達成した対話を目標達成対話として、
上記統計量は、対話トピックごとの目標達成対話についての分布エントロピーを含む、
対話評価装置。 - ユーザである人間と対話を行う対話システムの対話の質を評価する対話評価方法において、
対話データ記憶部には、対話に関するデータ及びその対話のユーザ評定値をその対話の対話データとして、複数のユーザのそれぞれについての各対話の対話データが記憶されており、
統計量抽出部が、上記対話データから上記複数の各ユーザの対話の所定の発言の数の平均値及び対話の長さの平均値を計算し、また、上記対話データから評価関数の説明変数となる統計量を抽出する統計量抽出ステップと、
クラスタリング部が、上記計算された対話の所定の発言の数の平均値及び対話の長さの平均値に基づいて上記複数のユーザをクラスタリングするクラスタリングステップと、
評価関数導出部が、各クラスタに対応する評価関数を、その各クラスタに含まれるユーザについての上記統計量を説明変数とし上記ユーザ評定値を応答変数とする重回帰分析により導出する評価関数導出ステップと、
を含む対話評価方法。 - 請求項1から3の何れかの対話評価装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011110989A JP5783793B2 (ja) | 2011-05-18 | 2011-05-18 | 対話評価装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011110989A JP5783793B2 (ja) | 2011-05-18 | 2011-05-18 | 対話評価装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012242528A JP2012242528A (ja) | 2012-12-10 |
JP5783793B2 true JP5783793B2 (ja) | 2015-09-24 |
Family
ID=47464321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011110989A Active JP5783793B2 (ja) | 2011-05-18 | 2011-05-18 | 対話評価装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5783793B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710965A (zh) * | 2018-04-17 | 2018-10-26 | 平安科技(深圳)有限公司 | 短期盈利的预测方法、装置、计算机设备和存储介质 |
JP7013332B2 (ja) * | 2018-06-14 | 2022-01-31 | ヤフー株式会社 | 学習装置、学習方法および学習プログラム |
CN114969195B (zh) * | 2022-05-27 | 2023-10-27 | 北京百度网讯科技有限公司 | 对话内容挖掘方法和对话内容评估模型的生成方法 |
KR102654344B1 (ko) * | 2023-11-28 | 2024-04-03 | 주식회사 커먼컴퓨터 | 블록체인 기반의 챗봇 평가 방법 및 시스템 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4156273B2 (ja) * | 2002-05-22 | 2008-09-24 | 日本電信電話株式会社 | 対話理解評価装置、対話理解評価プログラム、記録媒体 |
-
2011
- 2011-05-18 JP JP2011110989A patent/JP5783793B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012242528A (ja) | 2012-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Litman et al. | Designing and evaluating an adaptive spoken dialogue system | |
Lala et al. | Evaluation of real-time deep learning turn-taking models for multiple dialogue scenarios | |
Shi et al. | Sentiment adaptive end-to-end dialog systems | |
US10027804B2 (en) | System and method for providing hiring recommendations of agents within a call center | |
Ivanov et al. | Recognition of personality traits from human spoken conversations | |
US20120296642A1 (en) | Method and appratus for temporal speech scoring | |
Hung et al. | Towards a method for evaluating naturalness in conversational dialog systems | |
JP5783793B2 (ja) | 対話評価装置、方法及びプログラム | |
TW201011735A (en) | Method and system for generating dialogue managers with diversified dialogue acts | |
CN110610705A (zh) | 一种基于人工智能的语音交互提示器 | |
Chiba et al. | An analysis of the effect of emotional speech synthesis on non-task-oriented dialogue system | |
US20210342553A1 (en) | Dialogue data generation device, dialogue data generation method, and program | |
Hara et al. | Turn-Taking Prediction Based on Detection of Transition Relevance Place. | |
Murray et al. | Learning backchanneling behaviors for a social robot via data augmentation from human-human conversations | |
Siegert et al. | How do we speak with Alexa: Subjective and objective assessments of changes in speaking style between HC and HH conversations | |
Siegert et al. | “Speech Melody and Speech Content Didn’t Fit Together”—Differences in Speech Behavior for Device Directed and Human Directed Interactions | |
Dehbozorgi et al. | Sentiment analysis on conversations in collaborative active learning as an early predictor of performance | |
Chou et al. | An AI mock-interview platform for interview performance analysis | |
Parreira et al. | How did we miss this? a case study on unintended biases in robot social behavior | |
Alam et al. | Comparative study of speaker personality traits recognition in conversational and broadcast news speech. | |
Liu et al. | Learning salient features for speech emotion recognition using CNN | |
Mitsuda et al. | Dialogue collection for recording the process of building common ground in a collaborative task | |
Pérez-Espinosa et al. | Using acoustic paralinguistic information to assess the interaction quality in speech-based systems for elderly users | |
Gasparini et al. | Sentiment recognition of Italian elderly through domain adaptation on cross-corpus speech dataset | |
KR20210123545A (ko) | 사용자 피드백 기반 대화 서비스 제공 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150721 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5783793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |