JP6884947B2 - 対話システム及びそのためのコンピュータプログラム - Google Patents

対話システム及びそのためのコンピュータプログラム Download PDF

Info

Publication number
JP6884947B2
JP6884947B2 JP2017051504A JP2017051504A JP6884947B2 JP 6884947 B2 JP6884947 B2 JP 6884947B2 JP 2017051504 A JP2017051504 A JP 2017051504A JP 2017051504 A JP2017051504 A JP 2017051504A JP 6884947 B2 JP6884947 B2 JP 6884947B2
Authority
JP
Japan
Prior art keywords
utterance
response
emotion
score
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017051504A
Other languages
English (en)
Other versions
JP2018156273A (ja
Inventor
阿部 憲幸
憲幸 阿部
可奈子 大西
可奈子 大西
健太郎 鳥澤
健太郎 鳥澤
カナサイ クルンカライ
カナサイ クルンカライ
豊 木俵
豊 木俵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2017051504A priority Critical patent/JP6884947B2/ja
Priority to PCT/JP2018/010230 priority patent/WO2018169000A1/ja
Priority to US16/487,041 priority patent/US11113335B2/en
Priority to KR1020197025856A priority patent/KR20190127708A/ko
Publication of JP2018156273A publication Critical patent/JP2018156273A/ja
Application granted granted Critical
Publication of JP6884947B2 publication Critical patent/JP6884947B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Description

この発明はコンピュータを用いた対話システムに関し、特に、対話相手(ユーザ)の感情に応じて適切な応答を行うことにより対話のつながりをよくすることができる対話システムに関する。
コンピュータを用いた対話システムが実用化されている。典型的にはそうしたシステムでは、入力発話の感情を推定した後、予め準備された発話データベースから、推定された感情に応じた応答発話候補を選択して応答とするものがあった。さらに、入力発話から推定されたユーザの感情に基づいて、応答発話の感情を決定し、決定された感情にふさわしい発話を行うことによって対話のつながりを良くしようとするものが、後掲の特許文献1に開示されている。図1に、そうした従来の対話システムの概略のシステム構成を示す。
図1を参照して、従来の対話システム50は、入力発話52(ここではテキストデータであるものとする。)を受けて、その発話をしたユーザの感情を推定する入力発話感情推定部70と、入力発話感情推定部70により推定された感情に基づいて応答発話の感情を決定する応答発話感情決定部72と、応答発話感情決定部72により決定された感情と入力発話52の内容とを考慮して、予め準備された応答発話用のデータベース(図示せず)から応答発話候補を選択し、応答発話54を生成して出力するための応答発話選択・生成部74とを含む。
特開2015−14834号公報
しかし、特許文献1に開示されたシステム構成では、入力発話感情推定部70と応答発話選択・生成部74との間に応答発話感情決定部72が追加される。こうした構成では、既存の応答発話の選択・生成処理をそのまま用いることができず、応答発話の感情をさらに考慮した形で応答発話選択・生成部74を作成する必要がある。
本発明は、より簡便に、既存のシステムの応答発話選択・生成の仕組みを活かして、入力発話の感情に応じて適切な応答発話を生成できる対話システムを提供することを目的とする。
本発明の第1の局面に係る対話システムは、入力発話を受け、当該入力発話に対する応答発話原文を生成する応答発話生成手段と、複数の感情の各々に対し、入力発話が表す感情と複数の感情とが合致する度合いを表す入力発話感情スコアを算出することにより入力発話の感情を推定する入力発話感情推定手段と、応答発話原文に対し、複数の感情の各々に対する感情スコアである応答発話感情スコアを算出するための応答発話感情スコア算出手段と、応答発話生成手段により生成された応答発話原文を、入力発話感情スコア及び応答発話感情スコアの値により定められる変換方法にしたがって変換して応答発話を生成し出力する応答発話変換手段とを含む。
好ましくは、応答発話変換手段は、応答発話原文に付与すべき文字列を記憶する文字列記憶手段と、入力発話感情スコア及び応答発話感情スコアの値により定められる選択方法にしたがって文字列記憶手段から文字列を選択し、応答発話原文に付与して応答発話を生成するための手段とを含む。
より好ましくは、対話システムは、さらに、入力発話に対して算出された入力発話感情スコアの履歴を記憶する履歴記憶手段を含む。応答発話変換手段は、入力発話感情スコア及び応答発話感情スコア、並びに履歴記憶手段に記憶された以前の入力発話の入力発話感情スコアの値により定められる選択方法にしたがって文字列記憶手段から任意の文字列を選択し、応答発話原文に付与して応答発話を生成するための手段を含む。
さらに好ましくは、文字列は接続詞及び/又は相槌であり、文字列記憶手段は、逆接の接続詞を記憶する接続詞記憶手段と、相槌を記憶する相槌記憶手段とを含む。応答発話変換手段は、入力発話感情スコア及び応答発話感情スコアの値により定められる選択方法にしたがって接続詞記憶手段及び/又は相槌記憶手段から接続詞及び/又は相槌を選択し、応答発話原文に付与して応答発話を生成するための手段を含む。
好ましくは、複数の感情の各々は、いずれも第1の極性及び当該第1の極性と異なる第2の極性とに分類される。対話システムはさらに、入力発話感情スコア及び応答発話感情スコアの各々について、第1の極性の感情スコアの合計からなる第1極性スコアを算出する第1極性算出手段と、入力発話の第1極性スコアと、応答発話の第1極性スコアとの差の絶対値がしきい値以下であることに応答して、同意を示す文言を応答発話原文に付与するための手段とを含む。
本発明の第2の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかの装置の各手段として機能させる。
従来の対話システムの概略構成を示すブロック図である。 本発明の第1の実施の形態に係る対話システムの概略構成を示すブロック図である。 図2に示す対話システムの入力発話感情推定部の構成を示すブロック図である。 図3に示す感情極性記憶部に記憶されている情報の構成を示す図である。 図2に示す応答発話選択部の概略構成を示すブロック図である。 図2に示す応答発話変換部の概略構成を示すブロック図である。 図6に示す接続詞・相槌付与部の機能を実現するコンピュータプログラムの制御構造を示すフローチャートである。 入力発話の感情スコアの例を示す図である。 応答発話の感情スコアの例を示す図である。 感情と対応する相槌との関係を示す図である。 本発明の第2の実施の形態に係る対話システムの概略構成を示すブロック図である。 直前の入力発話に対する感情スコアと現在の入力発話に対する感情スコアとを示す図である。 図11に示す応答発話変換部の概略構成を示すブロック図である。 図13に示す接続詞・相槌付与部の機能を実現するコンピュータプログラムの制御構造を示すフローチャートである。 本発明の第3の実施の形態に係る対話システムの概略構成を示すブロック図である。 図15に示す応答発話変換部の概略構成を示すブロック図である。 図16に示す文字列データベース(DB)の格納内容を示す図である。 図16に示す文字列付与部の機能を実現するコンピュータプログラムの制御構造を示すフローチャートである。 本発明の各実施の形態に係る応答発話変換部を実現するコンピュータの外観を示す図である。 図19に示すコンピュータのハードウェア構成を示すブロック図である。
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
[第1の実施の形態]
<構成>
図2に、本発明の第1の実施の形態に係る対話システム100のブロック図を示す。図2を参照して、この対話システム100は、入力発話52からユーザの感情を推定する入力発話感情推定部120と、入力発話52に基づいて、既存の手法を用いて、図2には図示しない対話・応答ベータベースから応答発話を選択する応答発話選択部122と、応答発話選択部122により選択された応答発話に対し、入力発話感情推定部120により推定された感情に応じて、接続詞又は相槌を追加することによって応答発話を変換し、最終的な応答発話102を出力する応答発話変換部124とを含む。
図3を参照して、入力発話感情推定部120は、入力発話52を構成する単語列(実際には単語ベクトル)の入力を受けると、予め準備された複数個の感情項目の各々について入力発話52の発話者の感情がその感情項目にどの程度適合しているかを示すスコアを出力するように予め学習済のコンボリューショナルニューラルネットワーク(CNN)152と、入力発話52を受けて、入力発話52を構成する各単語を対応する単語ベクトルに変換することによりCNN152への入力を生成しCNN152に与えるためのCNN入力生成部150と、CNN152が感情項目ごとに出力するスコアを各感情項目ごとに一時記憶するスコア記憶部154とを含む。CNN152は、感情項目数と同じ数の出力を持ち、感情項目ごとに、入力発話52がその感情項目を示す確率を示すスコアを出力する。したがって、CNN152の出力を合計するとその値は1となる。
入力発話感情推定部120はさらに、各感情項目が示す感情の極性(ポジティブかネガティブか)を記憶した感情極性記憶部156と、スコア記憶部154に記憶された各感情項目について、感情極性記憶部156に記憶された対応する極性に応じてポジティブなものとネガティブなものとに区別してそれぞれスコアの合計値を算出しスコア記憶部154に保存する極性スコア算出部158とを含む。以下、ポジティブなものの合計値をポジティブ値、ネガティブなものの合計値をネガティブ値、これらをまとめて極性スコアと呼ぶ。
図4を参照して、感情極性記憶部156は感情項目(嬉しい、悲しい、楽しい、しんどい)ごとにその極性(ポジティブ又はネガティブ)を記憶している。これら感情項目は、本実施の形態では4個として説明するが、実際には予め大量の文書から抽出した、感情を表すと考えられるより多くの単語からなる。単語の形で感情項目を区別する場合、元は同じ単語であってもその形により別々の感情項目として記憶してもよい。本実施の形態ではまた、各感情項目の極性は人手で付与している。もちろん、この極性を例えば機械学習等による判別器を用いて判定してもよい。
図5を参照して、図2に示す応答発話選択部122は既存のものであって、予めウェブ及びソーシャル・ネットワーク・サービス上の対話文から収集した、入力文とその入力文に対する応答文とのペアを大量に記憶し、入力文をキーにして応答文を検索可能な入力文・応答文ペアデータベース(DB)202と、入力発話52を受けて、入力発話52に対する応答発話を検索し、入力発話52に対する応答として最もふさわしい応答発話を選択し出力する応答発話検索部200と、応答発話検索部200が出力した応答発話に対し、現在の対話にふさわしい語尾変化を行って応答発話原文220を生成する語尾変化処理部204とを含む。語尾変化処理部204の出力である応答発話原文220は図2に示す応答発話変換部124に与えられる。
図6を参照して、応答発話変換部124は、語尾変化処理部204から応答発話原文220を受取り、図3に示すCNN入力生成部150と同じ手法によりCNNへの入力を生成するCNN入力生成部240と、図3に示すCNN152と同一のCNN242と、CNN242が応答発話原文220に対して出力するスコアを各感情項目別に記憶する、図3に示すスコア記憶部154と同様のスコア記憶部244とを含む。
応答発話変換部124はさらに、図3に示す感情極性記憶部156及び極性スコア算出部158と同様、スコア記憶部244に記憶されたスコアから応答発話原文220の極性スコアを算出しスコア記憶部244に保存する感情極性記憶部246及び極性スコア算出部248と、応答発話の前に追加される可能性がある接続詞を記憶した接続詞記憶部250と、同じく応答発話の前に追加される可能性がある相槌を記憶した相槌DB252と、入力発話感情推定部120(図2を参照)により推定された入力発話52の感情を受け、スコア記憶部244から出力される各感情項目のスコア及び極性スコアに基づいて、応答発話原文220の先頭に適切な接続詞又は相槌を追加して応答発話102を生成し出力する接続詞・相槌付与部254とを含む。
本実施の形態では、接続詞記憶部250には「でも、」「だけど、」「しかし、」等の逆接の接続詞が記憶されている。また相槌DB252には、図10に示すように、感情項目ごとに、応答発話原文220に付与すべき相槌が記憶されている。本実施の形態では、図10の「嬉しい」で示されるように、1つの感情項目に2つ以上の相槌が記憶されていてもよい。
図7に、コンピュータを接続詞・相槌付与部254として機能させるコンピュータプログラムの制御構造をフローチャート形式で示す。図7を参照して、このプログラムは、図2に示す入力発話感情推定部120のスコア記憶部154に保存された入力発話52のポジティブ値Pと、図6に示すスコア記憶部244に保存された応答発話原文220のポジティブ値Psystemとの差の絶対値が0.5以上か否かを判定するステップ280と、ステップ280の判定が肯定のときに、接続詞記憶部250に記憶されている「でも、」「だけど、」「しかし、」等の逆接の接続詞から1つをランダムに選択し応答発話原文220の先頭に付与するステップ282と、ステップ282の後、及びステップ280の判定が否定であったときに、図3のスコア記憶部154に記憶された各感情項目のスコアの内の最大値が0.4以上か否かを判定するステップ284と、ステップ284の判定が肯定のときに、相槌DB252からその感情項目に応じた相槌を取得し、応答発話原文220の先頭に付与するステップ286とを含む。なお、ある感情項目に対して相槌DB252に複数の相槌が記憶されている場合、本実施の形態に係る接続詞・相槌付与部254はそれらの内からランダムに1つを選択する。
このプログラムはさらに、ステップ284の判定が否定であるときに、入力発話52のポジティブ値Pと応答発話原文220のポジティブ値Psystemとの差の絶対値が0.1以下か否かを判定するステップ288と、ステップ288の判定が肯定であるときに、「うんうん」、「なるほど」という、相手の発話を聞いていることを示す単語のいずれかをランダムに選択し応答発話原文220の先頭に付与するステップ290と、ステップ286の後、ステップ290の後、及びステップ288の判定が否定であるときのいずれにおいても変換後の応答発話原文220を応答発話102として出力するステップ292とを含む。
<動作>
上記した第1の実施の形態に係る対話システム50は以下のように動作する。予め、図3及び図6にそれぞれ示す感情極性記憶部156及び246には、図4に示すように感情項目ごとに極性が記憶されている。同様に、CNN152及び242については、入力発話を構成する単語の単語ベクトルが与えられると、その入力発話に対する各感情項目のスコアを出力するよう学習が行われているものとする。また図5に示す入力文・応答文ペアDB202にはウェブ等のコーパスから収集された大量の入力文・応答文ペアが、入力文をキーに応答文を検索可能なように構築されている。さらに、図6に示す接続詞記憶部250には逆接の接続詞がいくつか記憶されており、相槌DB252には感情項目ごとに相槌が1又は複数個記憶されている。
なお、本実施の形態では、CNN152及び242への入力として単語ベクトルを用いているが、本発明はそうした実施の形態には限定されず、例えば単語の識別子列の形で入力するようにしてもよい。
図3を参照して、CNN入力生成部150は、入力発話52を構成する単語を単語ベクトルに変換することによりCNN152への入力を生成しCNN152に与える。CNN152は、入力に応答して、感情極性記憶部156に記憶された各感情項目について入力発話52のスコアを出力する。このスコアはスコア記憶部154に記憶される。このスコア例を図8に示す。極性スコア算出部158は、スコア記憶部154に記憶された各感情項目を、感情極性記憶部156を参照してポジティブ及びネガティブに分類し、ポジティブ値及びネガティブ値を算出してスコア記憶部154に保存する。
図8に示される例では、ポジティブ値は0.1+0.1=0.2、ネガティブ値は0.3+0.5=0.8である。なお、この実施の形態では、スコアが確率でありその和が1となるので、ポジティブ値とネガティブ値との和も1となる。もちろん、ポジティブ値及びネガティブ値は、両者の相対的な大きさの相違が得られるような方法であればどのような方法で算出しても良い。
図5を参照して、応答発話検索部200は、入力発話52をキーに入力文・応答文ペアDB202を検索することにより入力発話52に対する応答発話としてふさわしい応答発話原文を入力文・応答文ペアDB202から取出し、語尾変化処理部204に与える。語尾変化処理部204は、この応答発話原文に、現在の対話に応じた語尾変化を行って応答発話原文220とし、図6に示す応答発話変換部124に出力する。
図6を参照して、応答発話変換部124のCNN入力生成部240は、CNN入力生成部150と同様に応答発話原文220からCNN242への入力となる単語ベクトルを生成しCNN242に与える。CNN242はこの単語ベクトルに応答し、感情極性記憶部246に記憶されている各感情項目についてスコアを出力する。このスコアはスコア記憶部244に記憶される。極性スコア算出部248は、スコア記憶部244に記憶された各感情項目について感情極性記憶部246を参照してポジティブ及びネガティブに分類し、ポジティブ値とネガティブ値とを算出し、スコア記憶部244に保存する。
スコア記憶部244に記憶された応答発話候補に対して計算されたスコアの例を図9に示す。この例では、ポジティブ値は0.1+0.1=0.2、ネガティブ値は0.2+0.6=0.8である。
接続詞・相槌付与部254は、応答発話原文220に対して、スコア記憶部244に記憶されたスコア及び入力発話感情推定部120のスコア記憶部154に記憶されたスコアを用いて、以下のように応答発話原文220の先頭に逆接の接続詞又は相槌を付与して応答発話102として出力する。
図7を参照して、スコア記憶部154に記憶された入力発話52のポジティブ値Pと応答発話原文220のポジティブ値Psystemとの差が0.5以上(ステップ280の判定が肯定)であれば、接続詞記憶部250に記憶された逆接の接続詞のいずれかをランダムに選択し、応答発話原文220の先頭に付与する。
続いて、ユーザ発話の感情項目のスコアの最大値Fmaxが0.4以上(ステップ284の判定が肯定で)であればステップ286で相槌DB252からその感情項目に対応する相槌を取出し、応答発話原文220に付与する。ここでは、ステップ282で接続詞が付与されている場合にはその前に相槌が付与される。接続詞が付与されていない場合には応答発話原文220の先頭に相槌が付与される。この後、ステップ292でこうした変換後の応答発話原文220が出力される。
一方、ステップ284の判定が否定であればさらにステップ288で入力発話52のポジティブ値と応答発話原文220のポジティブ値との差が0.1以下か否かが判定される。判定が肯定であれば、入力発話52と応答発話原文220との感情はほぼ同じと考えられる。この場合にはステップ290で「うんうん。」及び「なるほど。」のいずれかをランダムに選択して応答発話原文220の先頭に付与し、ステップ292で変換後の応答発話原文220を出力する。
以上のように本実施の形態によれば、既存の122で応答発話の原文を選択した後、発話の感情スコア及び極性スコアと、応答発話原文の感情スコア及び極性スコアとに基づいて選択された接続詞及び/又は相槌が応答発話原文の先頭に付与されて出力される。図2に示す応答発話選択部122としては既存のものをそのまま利用しながら、入力発話52により表される感情に応じて適切な応答発話を生成し出力できる。感情を考慮せずに応答発話を選択するような従来の対話システムの末尾に応答発話変換部124を追加することで感情を考慮した適切な応答発話を行うことができるという効果がある。
[第2の実施の形態]
<構成>
応答発話の変換手法としては種々のものを選択できる。この第2の実施の形態は、その1例である。この実施の形態では、過去の入力発話に対して算出された感情スコア及び極性スコアが履歴として残され、この履歴を用いて応答発話の変換が行われる。なお、この第2の実施の形態では、直前の入力発話に対する履歴のみを用いるが、さらに前の履歴を用いるようにしてもよい。
図11を参照して、この第2の実施の形態に係る対話システム330は、図2に示すものと同じ入力発話感情推定部120及び応答発話選択部122と、入力発話感情推定部120により入力発話52について算出された感情項目ごとのスコアの履歴を記憶する履歴記憶部350と、入力発話感情推定部120により算出された入力発話52のスコアと、履歴記憶部350に記憶された前回の入力発話のスコアとに基づいて、応答発話選択部122により選択された応答発話原文に接続詞及び/又は相槌を付与して応答発話原文を変換し応答発話360として出力するための応答発話変換部352とを含む。
図12に、図11の履歴記憶部350に記憶されたスコアの履歴と今回の入力発話52から得られたスコアの履歴の例を示す。前述したとおり、本実施の形態では、直前の入力発話から得られたスコア(「前のスコア」)と、今回の入力発話52から得られたスコア(今回の「スコア」)とを利用して応答発話原文を変換する。図12には示していないが前述したとおり履歴の極性スコアも応答発話原文の変換に利用する。なお、対話を開始する場合には履歴が存在しないが、その場合には全ての履歴の感情スコアを0とする。
図13を参照して、応答発話変換部352は、図6に示す応答発話変換部124と同様の構成であるが、図6に示す接続詞・相槌付与部254に代えて、接続詞・相槌付与部380を含む点で異なる。接続詞・相槌付与部380は、入力発話感情推定部120により得られた入力発話52に対する感情スコア及び極性スコアと、履歴記憶部350に記憶されている、前の入力発話から得られた感情スコアと、この感情スコアと感情極性記憶部246に記憶された感情極性とから算出される履歴の極性スコアとを用いて、接続詞記憶部250及び相槌DB252に記憶されている接続詞及び/又は相槌を応答発話原文220の先頭に付与して応答発話360を出力する。
図14に、コンピュータにより接続詞・相槌付与部380を実現するコンピュータプログラムの制御構造をフローチャート形式で示す。図14を参照して、このプログラムは、図7に示すものとほぼ同じ構造であるが、図7のステップ284に代えて、ステップ400を含む点で異なる。ステップ400は、感情項目ごとに、直前の感情スコアと現在の感情スコアとの差(|Fit−Fi(t-1)|、ただし、Fitはi番目の感情項目の、現在のスコアを示し、Fi(t-1)は同じ感情項目の、履歴にあるスコアを示す。)の最大値を求め、その値が0.3以上か否かを判定する。このステップ400を含む点で図7に示すものと異なる。ステップ400の判定が肯定である場合には、図7と同様ステップ286に制御が進み、否定である場合にはステップ288に進む点も図7と同様である。
<動作>
この第2の実施の形態では、図11を参照して、最初に履歴記憶部350に記憶されている履歴の感情スコアは全て感情スコア初期値で初期化する。感情スコア初期値は、合計が1.0となるように、1.0/(感情スコアの項目数)とするのが良い。入力発話52が入力されると、入力発話感情推定部120は入力発話52に対する感情スコアを算出し履歴記憶部350に格納される。この履歴記憶部350に格納された感情スコアは、図13に示す応答発話変換部352の接続詞・相槌付与部380に与えられる。応答発話選択部122は入力発話52に対する応答発話原文を入力文・応答文ペアDB202(図5参照)において検索して取出し、応答発話変換部352に与える。
図13を参照して、CNN入力生成部240及びCNN242は応答発話原文220の感情スコアを算出しスコア記憶部244に記憶する。極性スコア算出部248は感情極性記憶部246に記憶された感情極性を用いてスコア記憶部244に記憶された感情スコアの極性スコアを算出しスコア記憶部244に保存する。
接続詞・相槌付与部380は、図14に示すフローチャートにしたがって逆接の接続詞及び/又は相槌を選択し、応答発話原文220の先頭に付与して応答発話360を出力する。図14に示すフローチャートに従った接続詞・相槌付与部380の動作は、ステップ400の判定を除き第1の実施の形態のものと同様である。したがってここではその詳細は繰返さない。
この第2の実施の形態によれば、入力発話の感情が大きく変化した場合に、その感情の変化に応じた相槌が応答発話に付与される。対話の相手方から見ると、単に発話したときの感情だけでなく、感情の変化に対しても敏感に変化する応答が得られることになり、対話がより滑らかになるという効果がある。
[第3の実施の形態]
<構成>
図15に、本発明の第3の実施の形態に係る対話システム430の構成を示す。この対話システム430が図11に示す第2の実施の形態に係る対話システム330と異なるのは、図11に示す応答発話変換部352に代えて、履歴記憶部350に記憶された感情スコアの履歴と、入力発話52に対して入力発話感情推定部120から得られた感情スコアとを用いて、応答発話変換部352とは異なる手法で応答発話原文に文字列を付与することで応答発話を変換し応答発話432として出力する応答発話変換部450を含む点である。
図16を参照して、応答発話変換部450は、図13に示す第2の実施の形態の応答発話変換部352と同様の構成を持つが、図13の接続詞記憶部250及び相槌DB252に代えて、単なる接続詞又は相槌とは異なる、感情の変化に対応して予め準備された文字列を記憶した文字列DB470とを含む点で異なる。応答発話変換部450はさらに、図13の接続詞・相槌付与部380に代えて、履歴記憶部350に記憶された感情スコアの履歴、入力発話感情推定部120により入力発話52について算出された感情スコア、及び応答発話原文220から得られた感情スコア、並びにこれら感情スコアの極性スコアに基づいて、文字列DB470から応答発話原文220の先頭に付与すべき文字列を検索して取出し、応答発話原文220の先頭に付与して応答発話432として出力する文字列付与部472を含む点においても、応答発話変換部352とは異なっている。
図17を参照して、本実施の形態では、文字列DB470に記憶された文字列は、例えば「嬉しい」という感情にたいして「君は嬉しいかもしれないけど、」及び「貴方はハッピーなんだろうが、」というように、相手の発言に対する逆接的な発話を導く文字列となっている。これは、後述する文字列付与部472において、相手の感情が大きく変化したときに、その直前の相手の発言に基づいて応答するような制御構造になっているためである。この文字列の選択については、文字列付与部472における判定の方法によって色々な方法が考えられることはいうまでもない。
図18に、コンピュータにより文字列付与部472の機能を実現するプログラムの制御構造をフローチャート形式で示す。図18を参照して、このプログラムは、図14に示す第2の実施の形態のプログラムとほぼ同じ制御構造を持つが、図14のステップ282を含まない点、及びステップ280の判定結果が否定であるときにステップ400ではなくステップ288に制御が進む点において異なる。このプログラムはさらに、図14のステップ286に代えて、ステップ400の判定が肯定であるときに、文字列DB470からスコア差が最大の感情をキーにして対応する文字列を取得し応答発話原文220の先頭に付与するステップ502を含む点においても図14と異なっている。なお、本実施の形態では、ステップ280及び400の判定が否定のときには制御はステップ288に進み、それ以後は図14に示したものと同じである。またステップ502の後には、図14のステップ286の後と同様に制御はステップ252に進む。
<動作>
本実施の形態に係る対話システム430の動作は基本的に第2の実施の形態と同様である。ただし、図18に示すフローチャートから分かるように、入力発話のポジティブ値とシステム発話のポジティブ値との差が0.5以上でかつ入力発話の履歴の各感情スコアと、現在の入力発話の各感情スコアの差の最大値が0.3以上の場合には対話システム430は以下のように動作する。すなわち、この場合、本実施の形態では、単なる相槌ではなく、ステップ502において、感情スコアの差の最大値を与えるような感情に対応する文字列が図17に示す文字列DB470から選択され、応答発話原文220の先頭に付与される。単に逆接の接続詞が付与されるのではなく、入力発話の感情と応答発話の感情とがかなり異なっているときには、感情項目の内で特に異なっている感情に応じて、逆接の接続詞と同様の働きを持ち、かつ具体的に応答発話を発するための導入となる文字列が付与される。そのため、対話が機械的なものにならず、自然に感じられるという効果がある。
なお、第2の実施の形態と第3の実施の形態とのシステムの考え方を混在させ、入力発話ごとに何れかの方法にしたがって応答発話を生成するようにしてもよい。
さらに、上記各実施の形態における接続詞・相槌付与部254及び380、並びに文字列付与部472における判定方法が上記実施の形態に限定されないことは当然である。また、判断結果にしたがってどのような接続詞、相槌、及び文字列を選択し、応答発話に付与するかも、実施の際の設計にしたがって様々に変化させることができる。
また、図7のステップ284、図14及び図18のステップ400における判定のためのしきい値は、使用される感情項目の数に応じて変化する。これらの値は、事前の実験等により適切な値に設定して置くことが望ましいが、必ずしも実験によらず、任意の値を選択してもよい。
本発明では、既存の手法により応答発話を選択した後に、入力発話の感情スコアを用いて応答発話を加工できる枠組みを提供する点に大きな特徴がある。入力発話の感情に応じて応答発話を変換する場合、応答発話の選択手法に変更を加える必要がなく、応答発話の選択手法とは独立に、入力発話の感情に応じて適切な応答発話を簡便に生成できるという効果がある。
[コンピュータによる実現]
本発明の実施の形態に係る対話システム100、330及び430及びその構成要素は、いずれもコンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図19はこのコンピュータシステム630の外観を示し、図20はコンピュータシステム630の内部構成を示す。
図19を参照して、コンピュータシステム630は、メモリポート652及びDVD(Digital Versatile Disk)ドライブ650を有するコンピュータ640と、いずれもコンピュータ640に接続されたキーボード646と、マウス648と、モニタ642とを含む。
図20を参照して、コンピュータ640は、メモリポート652及びDVDドライブ650に加えて、CPU(中央処理装置)656と、CPU656、メモリポート652及びDVDドライブ650に接続されたバス666と、起動プログラム等を記憶する読出専用メモリ(ROM)658と、バス666に接続され、上記対話システム100、330及び430の各部の機能を実現するプログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ(RAM)660と、ハードディスク654を含む。コンピュータシステム630はさらに、他端末との通信を可能とするネットワーク668への接続を提供するネットワークインターフェイス(I/F)644を含む。
コンピュータシステム630を上記した実施の形態に係る対話システム100、330及び430及びその各機能部として機能させるためのコンピュータプログラムは、DVDドライブ650又はメモリポート652に装着されるDVD662又はリムーバブルメモリ664に記憶され、さらにハードディスク654に転送される。又は、プログラムはネットワーク668を通じてコンピュータ640に送信されハードディスク654に記憶されてもよい。プログラムは実行の際にRAM660にロードされる。DVD662から、リムーバブルメモリ664から又はネットワーク668を介して、直接にRAM660にプログラムをロードしてもよい。
このプログラムは、コンピュータ640を、上記実施の形態に係る対話システム100、330及び430の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ640にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ640上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ640にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の内、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、独立したプログラムのみで必要な機能を全て提供してもよい。
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
50、100、330、430 対話システム
52 入力発話
54、102、360、432 応答発話
70、120 入力発話感情推定部
72 応答発話感情決定部
74 応答発話選択・生成部
122 応答発話選択部
124、352、450 応答発話変換部
150、240 CNN入力生成部
152、242 CNN
154、244 スコア記憶部
156、246 感情極性記憶部
158、248 極性スコア算出部
200 応答発話検索部
202 入力文・応答文ペアDB
204 語尾変化処理部
220 応答発話原文
250 接続詞記憶部
252 相槌DB
254、380 接続詞・相槌付与部
350 履歴記憶部
470 文字列DB
472 文字列付与部

Claims (6)

  1. 入力発話を受け、当該入力発話に対する応答発話原文を生成する応答発話生成手段と、
    複数の感情の各々に対し、前記入力発話が表す感情と前記複数の感情とが合致する度合いを表す入力発話感情スコアを算出することにより前記入力発話の感情を推定する入力発話感情推定手段と、
    前記応答発話原文に対し、前記複数の感情の各々に対する感情スコアである応答発話感情スコアを算出するための応答発話感情スコア算出手段と、
    前記応答発話生成手段により生成された応答発話原文を、前記入力発話感情スコア及び前記応答発話感情スコアの値により定められる変換方法にしたがって変換して応答発話を生成し出力する応答発話変換手段とを含む、対話システム。
  2. 前記応答発話変換手段は、
    前記応答発話原文に付与すべき文字列を記憶する文字列記憶手段と、
    前記入力発話感情スコア及び前記応答発話感情スコアの値により定められる選択方法にしたがって前記文字列記憶手段から文字列を選択し、前記応答発話原文に付与して応答発話を生成するための手段とを含む、請求項1に記載の対話システム。
  3. さらに、入力発話に対して算出された前記入力発話感情スコアの履歴を記憶する履歴記憶手段を含み、
    前記応答発話変換手段は、
    前記入力発話感情スコア及び前記応答発話感情スコア、並びに前記履歴記憶手段に記憶された以前の入力発話の前記入力発話感情スコアの値により定められる選択方法にしたがって前記文字列記憶手段から任意の文字列を選択し、前記応答発話原文に付与して応答発話を生成するための手段を含む、請求項2に記載の対話システム。
  4. 前記文字列は接続詞及び/又は相槌であり、前記文字列記憶手段は、
    逆接の接続詞を記憶する接続詞記憶手段と、
    相槌を記憶する相槌記憶手段とを含み、
    前記応答発話変換手段は、
    前記入力発話感情スコア及び前記応答発話感情スコアの値により定められる選択方法にしたがって前記接続詞記憶手段及び/又は前記相槌記憶手段から接続詞及び/又は相槌を選択し、前記応答発話原文に付与して応答発話を生成するための手段を含む、請求項2または3に記載の対話システム。
  5. 前記複数の感情の各々は、いずれも第1の極性及び当該第1の極性と異なる第2の極性とに分類され、
    さらに、前記入力発話感情スコア及び前記応答発話感情スコアの各々について、前記第1の極性の感情スコアの合計からなる第1極性スコアを算出する第1極性算出手段と、
    前記入力発話の前記第1極性スコアと、前記応答発話の前記第1極性スコアとの差の絶対値がしきい値以下であることに応答して、同意を示す文言を前記応答発話原文に付与するための手段とを含む、請求項1〜請求項4のいずれかに記載の対話システム。
  6. コンピュータを、請求項1〜5の何れかに記載の対話システムとして機能させる、コンピュータプログラム。
JP2017051504A 2017-03-16 2017-03-16 対話システム及びそのためのコンピュータプログラム Active JP6884947B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017051504A JP6884947B2 (ja) 2017-03-16 2017-03-16 対話システム及びそのためのコンピュータプログラム
PCT/JP2018/010230 WO2018169000A1 (ja) 2017-03-16 2018-03-15 対話システム及びそのためのコンピュータプログラム
US16/487,041 US11113335B2 (en) 2017-03-16 2018-03-15 Dialogue system and computer program therefor
KR1020197025856A KR20190127708A (ko) 2017-03-16 2018-03-15 대화 시스템 및 그것을 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017051504A JP6884947B2 (ja) 2017-03-16 2017-03-16 対話システム及びそのためのコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2018156273A JP2018156273A (ja) 2018-10-04
JP6884947B2 true JP6884947B2 (ja) 2021-06-09

Family

ID=63523141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017051504A Active JP6884947B2 (ja) 2017-03-16 2017-03-16 対話システム及びそのためのコンピュータプログラム

Country Status (4)

Country Link
US (1) US11113335B2 (ja)
JP (1) JP6884947B2 (ja)
KR (1) KR20190127708A (ja)
WO (1) WO2018169000A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10741169B1 (en) * 2018-09-25 2020-08-11 Amazon Technologies, Inc. Text-to-speech (TTS) processing
CN109977215B (zh) * 2019-03-29 2021-06-18 百度在线网络技术(北京)有限公司 基于关联兴趣点的语句推荐方法和装置
IT201900008295A1 (it) * 2019-06-06 2020-12-06 Univ Degli Studi Di Verona Metodo per l’allenamento della prevenzione ad un disastro, nonché sistema computerizzato ed un programma eseguibile al calcolatore per l’implementazione di tale metodo.
CN111833907B (zh) * 2020-01-08 2023-07-18 北京嘀嘀无限科技发展有限公司 一种人机交互方法与终端、计算机可读存储介质
WO2021217769A1 (zh) * 2020-04-27 2021-11-04 平安科技(深圳)有限公司 基于情绪识别的答复方法、装置、计算机设备及存储介质
US11393462B1 (en) * 2020-05-13 2022-07-19 Amazon Technologies, Inc. System to characterize vocal presentation
US20230298580A1 (en) * 2022-03-18 2023-09-21 Google Llc Emotionally Intelligent Responses to Information Seeking Questions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001215993A (ja) * 2000-01-31 2001-08-10 Sony Corp 対話処理装置および対話処理方法、並びに記録媒体
JP2006071936A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
JP2009129405A (ja) * 2007-11-28 2009-06-11 Toyota Central R&D Labs Inc 感情推定装置、事例感情情報生成装置、及び感情推定プログラム
JP2013109575A (ja) 2011-11-21 2013-06-06 Nec Corp メンタルケア装置、メンタルケア方法及びメンタルケアプログラム
JP6343823B2 (ja) * 2013-07-03 2018-06-20 株式会社Lassic 機械対話による感情推定システム及びそのプログラム
CN105723360A (zh) * 2013-09-25 2016-06-29 英特尔公司 利用情感调节改进自然语言交互
JP6262613B2 (ja) * 2014-07-18 2018-01-17 ヤフー株式会社 提示装置、提示方法及び提示プログラム
JP2016090775A (ja) * 2014-11-04 2016-05-23 トヨタ自動車株式会社 応答生成装置、応答生成方法およびプログラム
US10289731B2 (en) * 2015-08-17 2019-05-14 International Business Machines Corporation Sentiment aggregation
EP3185523B1 (en) * 2015-12-21 2018-10-10 Wipro Limited System and method for providing interaction between a user and an embodied conversational agent
US9812151B1 (en) * 2016-11-18 2017-11-07 IPsoft Incorporated Generating communicative behaviors for anthropomorphic virtual agents based on user's affect

Also Published As

Publication number Publication date
WO2018169000A1 (ja) 2018-09-20
JP2018156273A (ja) 2018-10-04
US11113335B2 (en) 2021-09-07
KR20190127708A (ko) 2019-11-13
US20200233908A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
JP6884947B2 (ja) 対話システム及びそのためのコンピュータプログラム
US9865264B2 (en) Selective speech recognition for chat and digital personal assistant systems
CN109657054A (zh) 摘要生成方法、装置、服务器及存储介质
US11586689B2 (en) Electronic apparatus and controlling method thereof
CN110472043B (zh) 一种针对评论文本的聚类方法及装置
CN111832308B (zh) 语音识别文本连贯性处理方法和装置
KR20200056261A (ko) 전자 장치 및 이의 제어 방법
CN107393529A (zh) 语音识别方法、装置、终端及计算机可读存储介质
JP2010157081A (ja) 応答生成装置及びプログラム
JP2018156272A (ja) 対話システム、対話装置及びそのためのコンピュータプログラム
CN110929505A (zh) 房源标题的生成方法和装置、存储介质、电子设备
CN116401354A (zh) 一种文本处理方法、装置、存储介质及设备
WO2022142823A1 (zh) 人机对话方法、装置、计算机设备及可读存储介质
JP6449368B2 (ja) 会話提供装置、会話提供方法及びプログラム
JP6806619B2 (ja) 音声合成システム、音声合成方法、及び音声合成プログラム
CN113609301A (zh) 一种基于知识图谱的对话方法、介质及系统
CN110931002B (zh) 人机交互方法、装置、计算机设备和存储介质
CN109002498B (zh) 人机对话方法、装置、设备及存储介质
CN108206020A (zh) 一种语音识别方法、装置及终端设备
JP6097791B2 (ja) 話題継続願望判定装置、方法、及びプログラム
WO2020080228A1 (ja) 発話生成装置、方法、及びプログラム
CN112307181A (zh) 基于特定语料库的提取语料的方法及语料提取器
CN112037780A (zh) 用于智能语音机器人的语义识别方法、装置及电子设备
JP2020129061A (ja) 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
JP2020140674A (ja) 回答選択装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210413

R150 Certificate of patent or registration of utility model

Ref document number: 6884947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150