JP7425368B2 - 推定装置、推定方法、学習装置、学習方法およびプログラム - Google Patents

推定装置、推定方法、学習装置、学習方法およびプログラム Download PDF

Info

Publication number
JP7425368B2
JP7425368B2 JP2022532313A JP2022532313A JP7425368B2 JP 7425368 B2 JP7425368 B2 JP 7425368B2 JP 2022532313 A JP2022532313 A JP 2022532313A JP 2022532313 A JP2022532313 A JP 2022532313A JP 7425368 B2 JP7425368 B2 JP 7425368B2
Authority
JP
Japan
Prior art keywords
utterance
unit
paragraph
topic
utterances
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022532313A
Other languages
English (en)
Other versions
JPWO2021256043A1 (ja
Inventor
隆明 長谷川
節夫 山田
和之 磯
正之 杉崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021256043A1 publication Critical patent/JPWO2021256043A1/ja
Application granted granted Critical
Publication of JP7425368B2 publication Critical patent/JP7425368B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

特許法第３０条第２項適用 ２０２０年１０月１日付で西田京介、齋藤邦子、甘粕哲郎、磯和之、西岡秀一が、ＮＴＴ技術ジャーナル、第３２巻、第１０号、第６９～７３頁、一般社団法人電気通信協会 にて、長谷川隆明、山田節夫、磯和之、杉崎正之が発明した「推定装置、推定方法、学習装置、学習方法およびプログラム」に関する技術について公開。
本開示は、推定装置、推定方法、学習装置、学習方法およびプログラムに関する。
オペレータがカスタマ（顧客）からの商品あるいはサービスなどについての問い合わせに応対する部門（いわゆる、コンタクトセンタ）では、カスタマが抱えている問題に対する解決のサポートなどが求められる。コンタクトセンタでは、オペレータによるカスタマとの応対の履歴（応対ログ）が作成され、蓄積・共有される。オペレータあるいはコンタクトセンタの管理者などが、蓄積された応対ログを見直すことで、カスタマからの問い合わせを分析したり、カスタマへの応対の質の向上を図ったりすることができる。応対ログを見直し、カスタマとの応対を振り返る際に、オペレータとカスタマとの対話を話あるいは話題ごとに分割することができれば、応対の振り返りの作業効率を上げることができる。
オペレータとカスタマとの対話は、時間軸に沿った複数の発話から構成された系列データとみなすことができる。一連の系列データに対して、系列データにおける話題を示すラベルを付与した教師データを準備することで、ＬＳＴＭ（Long Short-Term Memory）などのＤＮＮ（Deep Neural Network）を用いた機械学習により、対話における話題を分類する分類モデルの学習が可能である（非特許文献１参照）。
坪井祐太、他２名、「深層学習による自然言語処理」、講談社、２０１７年５月２４日、ｐ．３２－３６
一般に、コンタクトセンタで扱うタスクは様々であり、取り扱う商品あるいはサービスの種類によっては、数えられる程度の少数の種類の話題で済む場合もあれば、非常に多くの、数えきれない種類の話題に至る場合もある。対話における話題を、非特許文献１に記載のモデルを用いて、多くの種類の話題に分類しようとすると、少量の教師データでは分類の精度が低下し、精度を上げるために大量の教師データを準備するには、多くのコストがかかってしまう。
上記のような問題点に鑑みてなされた本開示の目的は、複数の話題を含む対話の系列データにおける、段落の範囲を推定することができる推定方法、推定装置、学習装置、学習方法およびプログラムを提供することにある。
上記課題を解決するため、本開示に係る推定装置は、複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、第１の教師データに基づいて予め学習された第１のモデルを用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する判定部と、前記判定の結果に基づき、前記処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または前記話の切り替わりから前記対話の終わりの発話までの段落の範囲を推定する段落推定部と、を備え、前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである。
また、上記課題を解決するため、本開示に係る推定装置は、複数の話題を含む対話の系列データを構成する発話または前記発話を分割した分割単位に対して、第１の教師データに基づいて予め学習された第１のモデルを用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する判定部と、前記判定の結果に基づき、前記処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または前記話の切り替わりから前記対話の終わりの発話までの段落の範囲を推定する段落推定部と、前記段落に含まれる発話からキーワードを抽出するキーワード抽出部と、前記段落に含まれる発話から抽出されたキーワードに基づき、前記段落または前記段落に含まれる発話における話題を推定する話題推定部と、１以上の処理対象の系列データに基づき前記範囲が推定された複数の段落を、類似する段落ごとにクラスタリングするクラスタリング部と、を備え、前記キーワード抽出部は、類似する段落からなるクラスタに含まれる段落のうち、代表の段落に含まれる発話からキーワードを抽出し、前記話題推定部は、前記代表の段落に含まれる発話から抽出されたキーワードに基づき、前記代表の段落を含むクラスタを構成する段落における話題を推定する。
また、上記課題を解決するため、本開示に係る推定方法は、推定装置により実行される推定方法であって、複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、第１の教師データに基づいて予め学習された第１のモデルを用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する判定ステップと、前記判定の結果に基づき、前記処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または前記話の切り替わりから前記対話の終わりの発話までの段落の範囲を推定する段落推定ステップと、を含み、前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである。
また、上記課題を解決するため、本開示に係る学習装置は、複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、話の切り替わりであるか否かを示す第１のラベルが付与された第１の教師データに基づき、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する第１のモデルを学習する第１のモデル学習部と、前記系列データにおける１つの話題が続く範囲に、前記範囲における話題を示す第２のラベルが付与された第２の教師データに基づき、前記処理対象の系列データを構成する発話における話題を推定する第２のモデルを学習する第２のモデル学習部と、を備え、前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである。
また、上記課題を解決するため、本開示に係る学習方法は、学習装置により実行される学習方法であって、複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、話の切り替わりであるか否かを示す第１のラベルが付与された第１の教師データに基づき、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する第１のモデルを学習する第１の学習ステップと、前記系列データにおける１つの話題が続く範囲に、前記範囲における話題を示す第２のラベルが付与された第２の教師データに基づき、前記処理対象の系列データを構成する発話における話題を推定する第２のモデルを学習する第２の学習ステップと、を含み、前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである。
また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを、上述した推定装置として動作させる。
本開示に係る推定装置、推定方法、学習装置、学習方法およびプログラムによれば、複数の話題を含む対話の系列データにおける、段落の範囲を推定することができる。
二値分類モデルを学習する学習装置の構成例を示す図である。 多値分類モデルを学習する学習装置の構成例を示す図である。 本開示の第１の実施形態に係る推定装置の構成の一例を示す図である。 本開示の第１の実施形態に係る推定装置の構成の別の一例を示す図である。 本開示の第１の実施形態に係る推定装置の構成のさらに別の一例を示す図である。 図２に示す多値ラベル補完部の動作の一例を示すフローチャートである。 図３に示す推定装置の動作の一例を示すフローチャートである。 図４に示す推定装置の動作の一例を示すフローチャートである。 図５に示す推定装置による段落の範囲の推定の動作の一例を示すフローチャートである。 図５に示す推定装置による話題の推定の動作の一例を示すフローチャートである。 二値分類モデルおよび多値分類モデルの学習について説明するための図である。 図３に示す推定装置による話題の推定について説明するための図である。 図３に示す推定装置による話題の推定について説明するための図である。 図４に示す推定装置による話題の推定について説明するための図である。 図５に示す推定装置による話題の推定について説明するための図である。 本開示の第２の実施形態に係る推定装置の構成の一例を示す図である。 図１６に示す推定装置の動作の一例を示すフローチャートである。 図１６に示す推定装置による話題の推定について説明するための図である。 本開示の第３の実施形態に係る学習データ作成装置の構成例を示す図である。 図１９に示す学習データ作成部の構成例を示す図である。 図２０に示す組み合わせ生成部の構成例を示す図である。 図２０に示す付与部の構成例を示す図である。 図２１に示す組み合わせ生成部の動作の一例を示すフローチャートである。 図２２に示す付与部の動作の一例を示すフローチャートである。 本開示の第３の実施形態に係る推定装置の構成例を示す図である。 図２５に示す入力部の構成例を示す図である。 図２５に示す推定部の構成例を示す図である。 図２７に示す組み合わせ生成部の構成例を示す図である。 図２７に示す切り替わり推定部の動作の一例を示すフローチャートである。 図２７に示す推定部による、文の分割から組み合わせＩＤ列の生成までの動作の一例を説明するための図である。 図２７に示す推定部による、推定モデルを用いた推定から推定結果の出力までの動作の一例を説明するための図である。 図２７に示す推定部による、文の分割から組み合わせＩＤ列の生成までの動作の他の一例を説明するための図である。 図２７に示す推定部による、推定モデルを用いた推定から推定結果の出力までの動作の他の一例を説明するための図である。 本開示に係る学習装置の他の構成例を示す図である。 図３２に示す学習装置の動作の一例を示すフローチャートである。 図３に示す推定装置のハードウェア構成の一例を示す図である。
以下、本開示の実施の形態について図面を参照して説明する。
（第１の実施形態）
まず、本開示の概要について説明する。
系列データを構成する発話においては、語句が省略されることが比較的多いため、発話の長さ、すなわち、単語数が少なくなる場合がある。また、話題の種類が少なくても、話題同士が類似していたり、話題の出現順序が不定であったりする場合がある。これらの場合にも話題の分類が可能な分類モデルを構築するためには、教師データの準備に多くのコストがかかってしまう。
複数の話題を含む対話の系列データにおける話題を推定するためには、話の切り替わり（区切り）から次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定することが有効である。段落の範囲を推定することができれば、その段落に含まれる発話に範囲を限定して話題を推定することができるので、話題の推定をより高精度に行うことができる。
本開示は、オペレータとカスタマとの対話といった、複数の話題を含む対話の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲の推定、および、段落における話題の推定に関する。
以下では、コンタクトセンタにおけるオペレータとカスタマとの対話を例として考える。オペレータが主導して対話を進めるケースとして、カスタマが抱えている問題を解決するに当たり、オペレータが現在の状況あるいはこれまでの経緯などをカスタマに問診しながら原因を突き止めていくケース、オペレータがカスタマの状況についてインタビューを行いながら業務の手続きに必要な書類を作成するケースなどが存在する。
上述したようなケースの対話では、オペレータが質問している内容の単位を１つの話題と捉えることができる。ただし、多くの話題の種類から最も適切な話題の種類を一意に決定することは難しい。また、上述したような対話における話題はいずれも特定の業務に関連した範囲の話題であり、ある話題と別の話題とが類似していることが多い。そして、類似している話題を区別することは難しい。そのため、対話全体を、話題ごとの一連のまとまりに分割するのは困難である。
しかしながら、オペレータが次の話に移る際には、オペレータは、「このたび」、「では」、「あと」といった、話が切り替わることをカスタマに伝える語句を発することが多い。また、話が終わる際には、オペレータは、カスタマの発話を受けて、「かしこまりました」、「承知いたしました」といった、話が終わることをカスタマに伝える語句を発することが多い。これらの語句は、話の内容に依存しないため、話の切り替わり（話の区切り）を検出する上で有用である。
本開示においては、例えば、上述した話の切り替わりを示す語句などを利用して、系列データにおける発話が、話の切り替わり発話であるか否かを判定するルールを作成する。そして、本開示においては、作成したルールに基づき、系列データにおける発話が、話の切り替わりの発話であるか否かを判定する。また、本開示においては、例えば、話の切り替わりの発話には、話の切り替わりであることを示すラベルを付与し、その他の発話には、話の切り替わりの発話でないことを示すラベルを付与した教師データに基づき、話の切り替わりの発話であるか否かを判定するモデルを作成し、作成したモデルの判定の結果を用いて、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定する。また、本開示においては、段落あるいは段落に含まれる発話における話題を推定する。対話に多くの話題あるいは類似した内容の話題が含まれている場合であっても、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定することができれば、その段落に含まれる発話に絞って話題を推定することができるので、より精度の高い話題の推定が可能となる。
上述したように、本開示においては、予め学習されたモデルを用いて、系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する。また、本開示においては、段落における話題の推定に、教師データに基づき学習されたモデルを用いてもよい。まず、これらのモデルの学習について説明する。
系列データを構成する発話が、話題の切り替わりの発話であるか否かを判定するモデルを用いて、系列データを構成する発話が、話題の切り替わりの発話であるか否かを判定し、その判定結果を用いて、段落の範囲を推定してもよい。ただし、系列データを構成する発話が話題の切り替わりの発話であるか否かを判定するモデルの作成のためには、系列データを構成する発話ごとに話題を示す多値ラベルが付与された教師データが必要となる。通常、そのような教師データを作成することは、手間がかかり、困難であることが多い。そこで、本実施形態においては、系列データを構成する発話が、話の切り替わりの発話であるか否かを判定し、その判定結果を用いて、段落の範囲を推定する。ただし、系列データを構成する発話ごとに話題を示す多値ラベルが付与された教師データを用意することができれば、話題の切り替わりに基づき、段落の範囲を推定してもよい。従って、本開示における「話の切り替わり」は、「話題の切り替わり」も含む概念である。
図１は、系列データを構成する発話が話の切り替わりの発話であるか否かを判定する二値分類モデル１を学習する学習装置１０の構成例を示す図である。
図１に示す学習装置１０は、入力部１１と、二値分類学習部１２とを備える。
入力部１１は、複数の話題を含む対話の系列データが入力される。系列データは、例えば、オペレータおよびカスタマの時系列的な発話が音声認識されたテキストデータである。入力部１１に入力される系列データは、発話単位であってもよく、発話を分割した分割単位（例えば、単語単位、文字単位、句点単位など）であってもよい。入力部１１は、オンラインで系列データが入力される場合には、対話中の各発話の音声認識により得られたテキストデータが逐次、入力されてよい。入力部１１は、オフラインで系列データが入力される場合には、対話中の各発話の開始時刻あるいは終了時刻でソートして、各発話のテキストデータが入力されてよい。
また、入力部１１は、系列データを構成する発話または発話を分割した分割単位に対して付与された、話の切り替わりであるか否かを示す二値ラベル（切り替わりラベル）が入力される。二値ラベルは、例えば、「１（話の切り替わりである）」または「０（話の切り替わりでない）」、あるいは、「Ｔｒｕｅ（話の切り替わりである）」または「Ｆａｌｓｅ（話の切り替わりでない）」などのラベルである。また、入力部１１は、発話またはその分割単位に対して、話の切り替わりを示す何らかのラベルが付与されていれば、「Ｔｒｕｅ（話の切り替わりである）」とみなし、話の切り替わりを示す何らかのラベルが付与されていなければ、「Ｆａｌｓｅ（話の切り替わりでない）」とみなしてよい。
二値ラベルは系列データを構成する発話またはその分割単位に対して予め人手により付与される。上述したように、話の切り替わりに発せられることが多い語句がある。二値ラベルは、例えば、これらの語句に基づき付与される。なお、例えば、機器の故障を例にすると、機器の故障に関する話題であるか否かを分類したい場合には、原因に関わらず機器の故障に関する発話の話題は「機器の故障」となる。一方、故障の原因に応じて話題を分類したい場合には、故障の原因ごとに異なる話題となる。したがって、分類したい話題の決め方によっては、話に区切りがついても、話題が切り替わっていない場合がある。そのため、二値ラベルの付与にあたっては、ある話題から同じ話題に遷移する発話であっても、話の切り替わりである可能性がある発話またはその分割単位に対して、話の切り替わりであることを示すラベルが付与されることが好ましい。こうすることで、話の切り替わりの発話についての正例を増やし、話の切り替わりの発話の判定の精度を高めることができる。
このように、入力部１１は、複数の話題を含む対話の系列データと、系列データを構成する発話またはその分割単位に対して付与された、話の切り替わりであるか否かを示す二値ラベル（第１のラベル）とが入力される。入力部１１は、入力された系列データおよび二値ラベルを二値分類学習部１２に出力する。
二値分類学習部１２は、入力部１１から出力された系列データおよび二値ラベルを教師データとして学習を行い、系列データにおける発話が話の切り替わりの発話であるか否かを判定する二値分類モデル１（第１のモデル）を学習する。したがって、二値分類モデル１は、複数の話題を含む対話の系列データを構成する発話またはその分割単位に対して、教師データ（第１の教師データ）に基づいて予め学習されたモデルである。二値分類モデル１の学習に用いられる教師データ（第１の教師データ）は、複数の話題を含む対話の系列データを構成する発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与されたデータである。モデルの学習には、時系列的なデータの学習に適したＬＳＴＭなどを用いることができる。
上述したように、二値分類モデル１の学習に用いられる教師データにおいては、ある話題から同じ話題に遷移する発話を含めて、話の切り替わりである可能性がある発話またはその分割単位に対して、話の切り替わりであることを示すラベルが付与される。したがって、このような教師データを用いて学習された二値分類モデル１によれば、分類したい話題の決め方によっては、話題が切り替わっておらず、同じ話題に関連する発話が続く区間内の発話であっても、話の切り替わりの発話と判定されることがある。
次に、図２を参照して、話題を分類（推定）する多値分類モデル２を学習する学習装置２０の構成について説明する。
図２に示すように、学習装置２０は、入力部２１と、多値ラベル補完部２２と、多値分類学習部２３とを備える。
入力部２１は、複数の話題を含む対話の系列データが入力される。また、入力部２１は、系列データを構成する発話またはその分割単位に対して付与された、話の切り替わりであるか否かを示す二値ラベルが入力される。また、入力部２１は、系列データにおける、１つの話題が続く範囲およびその範囲における話題を示す多値ラベル（第２のラベル）が入力される。系列データおよび二値ラベルは、図１に示す入力部１１に入力される系列データおよび二値ラベルと同様である。多値ラベルは人手により付与される。具体的には、系列データにおいて、１つの話題が続く範囲が特定され、複数の話題のラベルの中から、その特定された範囲における話題を示す多値ラベルが付与される。１つの系列データに対する二値ラベルと多値ラベルとは、別々のファイルで入力されてもよいし、１つのファイルでまとめて入力されてもよい。
入力部２１は、入力された、系列データ、二値ラベルおよび多値ラベルを多値ラベル補完部２２に出力する。
多値ラベル補完部２２は、入力部２１から入力された系列データ、二値ラベルおよび多値ラベルから、多値分類モデル２を学習するための教師データ（第２の教師データ）を生成する。具体的には、多値ラベル補完部２２は、話の切り替わりであることを示すラベルが付与された発話またはその分割単位に対して、その発話が含まれる範囲における話題を示す多値ラベルを付与する。上述したように、教師データとしての二値ラベルの付与においては、ある話題から同じ話題に遷移する発話も含めて、話の切り替わりである可能性がある発話またはその分割単位に対して、話の切り替わりであることを示すラベルが付与される。したがって、例えば、同じ話題に関連する発話が続く範囲内の発話であっても、話の切り替わりであることを示すラベルが付与されることがある。多値ラベル補完部２２は、そのような発話またはその分割単位に対しても、その発話が含まれる範囲における話題を示す多値ラベルを付与する。こうすることで、各話題に関連する発話の教師データを増やし、話題の推定の精度向上を図ることができる。
多値ラベル補完部２２は、多値ラベルを付与した発話またはその分割単位と、その発話または分割単位に付与した多値ラベルとを多値分類学習部２３に出力する。
多値分類学習部２３は、多値ラベル補完部２２から出力された、発話またはその分割単位と、その発話または分割単位に付与された多値ラベルとを教師データ（第２の教師データ）として、多値分類モデル２（第２のモデル）を学習する。したがって、多値分類モデル２は、系列データを構成する発話またはその分割単位に対して、教師データ（第２の教師データ）に基づいて予め学習されたモデルである。多値分類モデル２の学習に用いられる教師データは、話の切り替わりの発話またはその分割単位に対して、話の切り替わりであることを示す二値ラベルが付与されるとともに、話題が続く範囲およびその範囲における話題が特定された系列データにおいて、話の切り替わりであることを示すラベルが付与された発話またはその分割単位に、その発話が含まれる範囲における話題を示す多値ラベルを付与することで生成されたデータである。
次に、本実施形態に係る推定装置３０の構成について、図３を参照して説明する。本実施形態に係る推定装置３０は、オペレータとカスタマとの対話といった、複数の話題を含む対話の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定し、その段落における話題を推定する。
図３に示すように、本実施形態に係る推定装置３０は、入力部３１と、判定部３２と、段落推定部３３と、話題推定部３４と、出力部３５とを備える。
入力部３１は、複数の話題を含む系列データが入力される。入力部３１に入力される系列データは、段落の範囲および段落における話題の推定の対象となる処理対象のデータである。系列データは、例えば、オペレータおよびカスタマの時系列的な発話が音声認識されたテキストデータである。入力部３１は、オンラインで系列データが入力される場合には、対話中の各発話の音声認識により得られたテキストデータが逐次、入力されてよい。また、入力部３１は、オフラインで系列データが入力される場合には、対話中の各発話の開始時刻あるいは終了時刻でソートして、各発話のテキストデータが入力されてよい。入力部３１は、入力された系列データを判定部３２に出力する。
判定部３２は、二値分類モデル１（第１のモデル）を用いて、入力部３１から出力された系列データを構成する発話が、話の切り替わりの発話であるか否かを判定し、判定の結果を段落推定部３３に出力する。上述したように、二値分類モデル１は、複数の話題を含む対話の系列データを構成する、発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与された教師データ（第１の教師データ）に基づいて予め学習されたモデルである。
段落推定部３３は、判定部３２による判定の結果に基づき、系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定する。具体的には、段落推定部３３は、判定部３２により話の切り替わりの発話であると判定された発話から、その次に話の切り替わりの発話であると判定された発話の直前の発話までの範囲を、１つの段落と推定する。上述したように、二値モデル１の学習に用いられる教師データにおいては、同じ話題に関連する発話が続く範囲内の発話であっても、話の切り替わりであることを示すラベルが付与されることがある。そのため、段落推定部３３は、同じ話題に関連する発話が続く範囲であっても、その範囲を複数の段落に分類することがある。
話題推定部３４は、多値分類モデル２（第２のモデル）を用いて、段落推定部３３により範囲が推定された、段落または段落に含まれる発話における話題を推定する。上述したように、多値分類モデル２は、系列データを構成する発話またはその分割単位に対して、その発話が関連する話題を示す多値ラベルが付与された教師データに基づいて予め学習されたモデルである。多値分類モデル２の学習に用いられる教師データは、話の切り替わりの発話またはその分割単位に対して、話の切り替わりであることを二値ラベルが付与されるとともに、話題が続く範囲およびその範囲における話題が特定された系列データを用いて生成される。具体的には、多値分類モデル２の学習に用いられる教師データは、上記の系列データにおいて、話の切り替わりであることを二値ラベルが付与された発話またはその分割単位に、その発話が含まれる範囲における話題を示す多値ラベルを付与することで生成される。
出力部３５は、系列データにおける範囲が推定された段落ごとに、その段落を構成する発話を出力する。また、出力部３５は、段落における話題を示す多値ラベル、段落の開示時刻および終了時刻などを出力してもよい。
このように本実施形態においては、判定部３２は、複数の話題を含む対話の系列データを構成する発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与された教師データに基づいて予め学習された二値分類モデル１を用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する。そして、段落推定部３３は、判定部３２による判定の結果に基づき、処理対象の系列データにおける段落の範囲を推定する。また、話題推定部３４は、多値分類モデル２を用いて、段落推定部３３により範囲が推定された段落または段落に含まれる発話における話題を推定する。また、出力部３５は、範囲が推定された段落ごとの発話、段落における話題を示す多値ラベル、あるいは、段落の開示時刻および終了時刻などを出力する。
また、本実施形態においては、学習装置１０は、発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与された教師データを学習することで、系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する二値分類モデル１を生成することができる。また、学習装置２０は、系列データを構成する発話またはその分割単位に対して、その発話が関連する話題を示す多値ラベルが付与された教師データを学習することで、段落または段落に含まれる発話における話題を判定する多値分類モデル２を学習することができる。また、推定装置３０は、二値分類モデル１の判定の結果に基づき、系列データにおける段落の範囲を推定することができる。また、推定装置３０は、多値分類モデル２を用いて、範囲が推定された段落または段落を構成する発話における話題を推定することができる。したがって、本実施形態に係る推定装置３０によれば、複数の話題を含む対話の系列データから、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定することができる。また、本実施形態に係る推定装置３０によれば、系列データにおける段落の範囲を推定することで、段落に含まれる発話に限って話題を推定することができるので、話題の推定の精度向上を図ることができる。
図３においては、推定装置３０は、多値分類モデル２を用いて話題を推定する例を用いて説明したが、本開示はこれに限られるものではない。上述したように、多値分類モデル２の学習には、系列データにおける１つの話題が連続する範囲およびその範囲における話題が人手により特定された教師データが用いられる。少数の話題を対象とする場合には、このような教師データを準備することも比較的容易である。一方、多数の話題を対象とする場合など、１つの話題が続く範囲、およびその範囲における話題を特定した教師データを、準備することが困難な場合がある。本開示においては、このような場合にも、多値分類モデル２を用いずに、話題を推定することも可能である。
図４は、本実施形態に係る、多値分類モデル２を用いずに話題を推定する推定装置３０ａの構成例を示す図である。図４において、図３と同様の構成には同じ符号を付し、説明を省略する。
図４に示すように、推定装置３０ａは、入力部３１と、判定部３２と、段落推定部３３と、キーワード抽出部３６と、話題推定部３４ａと、出力部３５とを備える。図４に示す推定装置３０ａは、図３に示す推定装置３０と比較して、キーワード抽出部３６を追加した点と、話題推定部３４を話題推定部３４ａに変更した点とが異なる。
キーワード抽出部３６は、段落推定部３３により範囲が推定された段落に含まれる発話から、少なくとも１つのキーワードを抽出する。キーワードを抽出する手法は、任意の手法を用いることができ、例えば、ｔｆ－ｉｄｆ（Term Frequency - Inverse Document Frequency）などの既存の手法を用いることができる。キーワード抽出部３６が抽出するキーワードの数は、予め所定の数に制限されてもよいし、ユーザが指定してもよい。
話題推定部３４ａは、キーワード抽出部３６により、段落に含まれる発話から抽出されたキーワードに基づき、その段落または段落に含まれる発話における話題を推定する。話題推定部３４ａは、例えば、抽出されたキーワードを段落または段落に含まれる発話における話題と推定してよい。また、話題推定部３４ａは、例えば、予め規定された複数の話題の中から、抽出されたキーワードと類似性の高い話題を、段落または段落に含まれる発話における話題と推定してもよい。
このように、図４に示す推定装置３０ａによれば、多値分類モデル２を用いずに、段落または段落に含まれる発話における話題を推定することができる。そのため、話題の範囲およびその範囲における話題が特定された大量の教師データを用意することが困難な場合にも、系列データにおける話題を推定することができる。
図５は、本実施形態に係る推定装置３０ｂの構成例を示す図である。図５に示す推定装置３０ｂは、図４に示す推定装置３０ａと同様に、多値分類モデル２を用いずに話題を推定する。図５において、図４と同様の構成には同じ符号を付し、説明を省略する。
図５に示すように、推定装置３０ｂは、入力部３１と、判定部３２と、段落推定部３３と、クラスタリング部３７と、キーワード抽出部３６ｂと、話題推定部３４ｂと、出力部３５とを備える。図５に示す推定装置３０ｂは、図４に示す推定装置３０ａと比較して、クラスタリング部３７を追加した点と、キーワード抽出部３６をキーワード抽出部３６ｂに変更した点と、話題推定部３４ａを話題推定部３４ｂに変更した点とが異なる。
図５に示す推定装置３０ｂにおいては、少なくとも１以上の系列データが入力される。クラスタリング部３７は、入力された１つ以上の系列データについて段落推定部３３により範囲が推定された複数の段落を、類似する段落ごとにクラスタリングする。クラスタリングの手法は、既存の任意の手法を用いることができる。クラスタリング部３７は、類似する段落からなるクラスタの中で代表の段落を決定する。クラスタリング部３７は、例えば、クラスタを構成する段落のうち、クラスタの中心の段落を代表の段落と決定する。また、クラスタリング部３７は、例えば、クラスタを構成する段落のうち、任意の段落を代表の段落と決定してもよい。
キーワード抽出部３６ｂは、クラスタを構成する段落のうち、クラスタリング部３７により決定された、代表の段落に含まれる発話からキーワードを抽出する。
話題推定部３４ｂは、クラスタの代表の段落に含まれる発話から、キーワード抽出部３６ｂにより抽出されたキーワードに基づき、そのクラスタを構成する段落における話題を推定する。具体的には、話題推定部３４ｂは、クラスタの代表の段落に含まれる発話から抽出されたキーワードに基づき推定した話題を、そのクラスタを構成する全ての段落における話題と推定する。
図３から図５においては、推定装置３０，３０ａ，３０ｂは、コンタクトセンタにおけるオペレータとカスタマとの対話の音声認識の結果を処理する例を用いて説明したが、本開示はこれに限られるものではない。例えば、推定装置３０，３０ａ，３０ｂにおいて、テキストチャットに対する形態素解析を行う形態素解析部が入力部３１の後段に設けられてもよい。
また、図３から図５においては、複数の発話が時系列的に並ぶ系列データが入力される例を用いて説明したが、本開示はこれに限られるものではない。系列データを構成する発話を１つずつ入力するために、系列データから発話を１つずつ取り出す機能部が入力部３１の前段に設けられてもよい。
図６は、図２に示す学習装置２０における多値ラベルの補完について説明するためのフローチャートである。
多値ラベル補完部２２は、入力部２１に入力された系列データから話題を示す多値ラベル、および、話の切り替わりを示す二値ラベルが付与されている発話を１つずつ読み込む（ステップＳ１１）。なお、多値ラベルは話題を示す範囲の最初の発話のみに付与され、他の発話には付与されていない。話の切り替わりを示す二値ラベルは、話の切り替わりを示す発話のみに付与されており、他の発話には付与されていない。
多値ラベル補完部２２は、読み込んだ発話に話題を示す多値ラベルが付与されているか否かを判定する（ステップＳ１２）。
多値ラベルが付与されていると判定した場合（ステップＳ１２：Ｙｅｓ）、多値ラベル補完部２２は、読み込んだ発話の多値ラベルが分かるように上記発話とは別に、不図示の多値ラベル一時記憶装置にその多値ラベルを記憶する。多値ラベル補完部２２は、既に多値ラベル一時記憶装置に記憶している多値ラベルが存在している場合には、記憶している多値ラベルを読み込んだ発話に付与されている多値ラベルに更新して多値ラベル一時記憶装置に記憶する（ステップＳ１３）。
多値ラベルが付与されていないと判定した場合（ステップＳ１２：Ｎｏ）、あるいは、読み込んだ発話に付与されている多値ラベルを更新・記憶すると、多値ラベル補完部２２は、読み込んだ発話に、話の切り替わりであることを示す二値ラベルが付与されているか否かを判定する（ステップＳ１４）。
話の切り替わりであることを示す二値ラベルが付与されていると判定した場合（ステップＳ１４：Ｙｅｓ）、多値ラベル補完部２２は、多値ラベル一時記憶装置に記憶している多値ラベルを読み込んだ発話に付与する（ステップＳ１５）。このように、多値ラベル補完部２２は、読み込んだ発話に、対話の切り替わりであることを示す二値ラベルが付与されている場合、系列データにおける、その発話が含まれる範囲の話題を示す多値ラベルを付与する。
話の切り替わりであることを示す二値ラベルが付与されていないと判定した場合（ステップＳ１４：Ｎｏ）、あるいは、読み込んだ発話に多値ラベルを付与すると、多値ラベル補完部２２は、読み込んだ発話が対話の終わりの発話であるか否かを判定する（ステップＳ１６）。
読み込んだ発話が対話の終わりの発話であると判定した場合（ステップＳ１６：Ｙｅｓ）、多値ラベル補完部２２は、処理を終了する。
読み込んだ発話が対話の終わりの発話でないと判定した場合（ステップＳ１６：Ｎｏ）、多値ラベル補完部２２は、ステップＳ１１の処理に戻り、次の発話を読み込む。
図６においては、多値ラベルは、話題を示す範囲の最初の発話のみに付与され、他の発話には付与されていない例を用いて説明したが、あらかじめ、話題を示す範囲の全ての発話にその話題の多値ラベルが付与されていてもよい。この場合、話の切り替わりを示す二値ラベルが付与されていない発話から多値ラベルを削除すると、話の切り替わりを示す二値ラベルが付与されている発話のみに話題を示す多値ラベルが付与される。
このように、話の切り替わりの発話に、話題を示す多値ラベルが付与される方法であればどのような方法であっても構わない。
次に、図３に示す推定装置３０の動作について説明する。図７は、推定装置３０の動作の一例を示すフローチャートであり、推定装置３０による推定方法を説明するための図である。
判定部３２は、入力部３１に入力された処理対象の系列データから１つずつ発話を読み込む（ステップＳ２１）。判定部３２は、二値分類モデル１を用いて、読み込んだ発話が話の切り替わりの発話であるか否かを判定する（ステップＳ２２）。
段落推定部３３は、読み込まれた発話が、判定部３２により話の切り替わりの発話であると判定されたか、または、読み込まれた発話が対話の終わりの発話であるか否かを判定する（ステップＳ２３）。
読み込まれた発話が話の切り替わりの発話でないと判定され、かつ、読み込まれた発話が対話の終わりの発話でないと判定した場合（ステップＳ２３：Ｎｏ）、段落推定部３３は、読み込まれた発話を、段落を構成する発話として蓄積する（ステップＳ２４）。読み込まれた発話が蓄積されると、ステップＳ２１から処理が繰り返される。
読み込まれた発話が話の切り替わりの発話であると判定された、あるいは、読み込まれた発話が対話の終わりの発話であると判定した場合（ステップＳ２３：Ｙｅｓ）、段落推定部３３は、蓄積した発話があるか否かを判定する（ステップＳ２５）。
蓄積した発話があると判定した場合（ステップＳ２５：Ｙｅｓ）、段落推定部３３は、蓄積した発話の範囲が段落であると推定し、蓄積した発話を、段落を構成する発話として話題推定部３４に出力する。話題推定部３４は、多値分類モデル２を用いて、段落推定部３３により範囲が推定された段落における話題を推定する(ステップＳ２６)。
図７においては、多値分類モデル２を用いて、段落ごとに話題を推定する例を用いて説明しているが、本開示はこれに限られるものではない。話題推定部３４は、段落に含まれる少なくとも１つ以上の発話単位で、話題を推定してもよい。この場合、話題推定部３４は、段落の最初の発話だけを用いて話題を推定してもよいし、段落の最初の発話から予め指定された数の発話を用いて話題を推定してもよい。１つ以上の発話を単位として話題を推定する場合、多値分類モデル２は、話題を推定する単位ごとに多値ラベルが付与された教師データに基づき学習される。
話題推定部３４は、推定した話題を示す多値ラベルを段落に付与する（ステップＳ２７）。段落推定部３３は、発話の蓄積をリセットし（ステップＳ２８）、読み込まれた発話が対話の終わりの発話であるか否かを判定する（ステップＳ２９）。
読み込まれた発話が対話の終わりの発話でないと判定した場合（ステップＳ２９：Ｎｏ）、段落推定部３３は、ステップＳ２４の処理に戻り、読み込まれた発話を蓄積する。こうすることで、読み込まれた発話が新たな段落の最初の発話として蓄積される。
読み込まれた発話が対話の終わりの発話であると判定した場合（ステップＳ２９：Ｙｅｓ）、段落推定部３３は、処理を終了する。
このように、推定装置３０による推定方法は、判定ステップ（ステップＳ２２）と、段落推定ステップ（ステップＳ２３～ステップＳ２５）とを含む。判定ステップでは、複数の話題を含む対話の系列データを構成する発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベル（第１のラベル）が付与された教師データ（第１の教師データ）に基づいて予め学習された二値分類モデル１（第１のモデル）を用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する。段落推定ステップでは、判定の結果に基づき、処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定する。
発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与された教師データを学習することで、系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する二値分類モデル１を生成することができる。そして、二値分類モデル１の判定の結果に基づき、処理対象の系列データにおける段落の範囲を推定することができる。したがって、複数の話題を含む対話の系列データにおける段落の範囲を推定することができる。
また、本実施形態に係る推定方法は、話題推定ステップ（ステップＳ２６）をさらに含んでよい。話題推定ステップでは、系列データを構成する発話またはその分割単位に対して、その発話が関連する話題を示す多値ラベル（第２のラベル）が付与された教師データに基づいて予め学習された多値分類モデル２（第２のモデル）を用いて、段落または段落に含まれる発話における話題を推定する。段落の範囲を推定することで、段落に含まれる発話に限定して、話題を推定することができるので、話題の推定精度の向上を図ることができる。
次に、図４に示す推定装置３０ａの動作について説明する。図８は、図４に示す推定装置３０ａの動作の一例を示すフローチャートであり、推定装置３０ａによる推定方法を説明するための図である。図８において、図７と同様の処理には同じ符号を付し、説明を省略する。
蓄積した発話があると判定した場合（ステップＳ２５：Ｙｅｓ）、段落推定部３３は、蓄積した発話の範囲が段落であると推定し、蓄積した発話をキーワード抽出部３６に出力する。キーワード抽出部３６は、段落推定部３３により範囲が推定された段落に含まれる発話からキーワードを抽出する（ステップＳ３１）。話題推定部３４ａは、段落に含まれる発話からキーワード抽出部３６により抽出されたキーワードに基づき、その段落または段落に含まれる発話における話題を推定する（ステップＳ３２）。
このように、推定装置３０ａによる推定方法は、キーワード抽出ステップ（ステップＳ３１）と、話題推定ステップ（ステップＳ３２）とを含む。キーワード抽出ステップでは、範囲が推定された段落に含まれる発話からキーワードを抽出する。話題推定ステップでは、段落に含まれる発話から抽出されたキーワードに基づき、段落または段落に含まれる発話における話題を推定する。
次に、図５に示す推定装置３０ｂの動作について説明する。図９は、図５に示す推定装置３０ｂによる段落の範囲の推定の動作の一例を示すフローチャートであり、推定装置３０ｂによる推定方法を説明するための図である。図９において、図７と同様の処理には同じ符号を付し、説明を省略する。
推定装置３０ｂにおいては、蓄積した発話があると判定した場合（ステップＳ２５：Ｙｅｓ）、段落推定部３３は、蓄積した発話の範囲が段落であると推定する。そして、段落推定部３３は、発話の蓄積をリセットする（ステップＳ２８）。
図１０は、図５に示す推定装置３０ｂによる話題の推定の動作の一例を示すフローチャートであり、推定装置３０ｂによる推定方法を説明するための図である。
クラスタリング部３７は、段落推定部３３により範囲が推定された段落を読み込む（ステップＳ４１）。クラスタリング部３７は、少なくとも１つ以上の系列データに含まれる複数の段落を読み込む。すなわち、クラスタリング部３７は、ステップＳ４１の処理を必要な回数だけ繰り返す。
クラスタリング部３７は、読み込んだ複数の段落を、類似する段落ごとにクラスタリングする（ステップＳ４２）。
次に、クラスタリング部３７は、未処理のクラスタがないか否かを判定する（ステップＳ４３）。未処理のクラスタとは、クラスタに含まれる段落に対する多値ラベルの付与が行われていないクラスタである。
未処理のクラスタが存在すると判定した場合（ステップＳ４３：Ｎｏ）、クラスタリング部３７は、未処理のクラスタのうちの１つのクラスタを処理対象のクラスタと決定し、処理対象のクラスタに含まれる段落の中から、代表の段落を決定する（ステップＳ４４）。クラスタリング部３７は、例えば、クラスタの中心の段落を代表の段落と決定する。
キーワード抽出部３６ｂは、クラスタリング部３７により決定されたクラスタの代表の段落に含まれる発話からキーワードを抽出する（ステップＳ４５）。
話題推定部３４ｂは、キーワード抽出部３６ｂにより抽出されたキーワードに基づき、クラスタの代表の段落における話題を推定する（ステップＳ４６）。次に、話題推定部３４ｂは、未処理の段落がないか否かを判定する（ステップＳ４７）。未処理の段落とは、処理対象のクラスタに含まれる段落のうち、多値ラベルが付与されていない段落である。
未処理の段落があると判定した場合（ステップＳ４７：Ｎｏ）、話題推定部３４ｂは、クラスタに含まれる未処理の段落に対して、そのクラスタの代表の段落から抽出したキーワードに基づき推定した話題を示す多値ラベルを付与する（ステップＳ４８）。そして、話題推定部３４ｂは、ステップＳ４７の処理に戻る。
話題推定部３４ｂにより未処理の段落がないと判定された場合（ステップＳ４７：Ｙｅｓ）、ステップＳ４３から処理が繰り返される。
このように、推定装置３０ｂによる推定方法は、クラスタリングステップ（ステップＳ４２）をさらに備える。クラスタリングステップでは、１または複数の系列データに基づき範囲が推定された複数の段落を、類似する段落ごとにクラスタリングする。キーワード抽出ステップでは、類似する段落からなるクラスタに含まれる段落のうち、代表の段落に含まれる発話からキーワードを抽出する。話題推定ステップでは、代表の段落に含まれる発話から抽出されたキーワードに基づき、代表の段落を含むクラスタを構成する段落における話題を推定する。
次に、モデルの学習（二値分類モデル１および多値分類モデル２）について、図１１に示す具体例を用いて説明する。以下では、系列データには、「話題Ａ」、「話題Ｂ」、「話題Ｃ」、「話題Ｄ」および「話題Ｅ」の５つの話題が含まれるものとする。
図１１に示すように、教師データとして用いられる系列データにおいて、１つの話題が続く範囲と、その範囲における話題とが人手により特定され、１つの話題が続く範囲それぞれに対して、その範囲における話題を示す多値ラベルが付与される。また、系列データを構成する発話に対して、話の切り替わりであるか否かを示す二値ラベルが人手により付与される。なお、図１１においては、図の簡略化のため、話の切り替わりの発話に対してのみ、その発話が話の切り替わりであることを示している。上述したように、１つの話題に関連する発話が続く範囲内であっても、話の切り替わりの発話に対しては、話の切り替わりであることを示す二値フラグが付与される。したがって、図１１においては、例えば、話題Ａに関連する発話が続く範囲の途中に存在する発話にも、話の切り替わりであることを示す二値ラベルが付与されることがある。
上述した系列データおよび二値ラベルが学習装置１０に入力され、入力された系列データおよび二値ラベルに基づき、ＬＳＴＭなどを用いて、二値分類モデル１が学習される。
また、上述した系列データ、二値ラベルおよび多値ラベルが学習装置２０に入力される。学習装置２０では、多値ラベルの補完が行われる。すなわち、図１１に示すように、話の切り替わりであることを示すラベルが付与された発話に対して、その発話が含まれる系列データの範囲における話題を示す多値ラベルが付与される。こうすることで、系列データを構成する発話に対して、その発話が関連する話題を示す多値ラベルが付与された教師データが作成される。なお、上述したように、系列データを構成する発話の分割単位に対して、その発話が関連する話題を示す多値ラベルが付与されてもよい。
作成された教師データに基づき、ＬＳＴＭなどを用いて、多値分類モデル２が学習される。多値分類モデル２の学習においては、多値ラベルが付与された発話だけが学習されてもよいし、多値ラベルが付与された発話を含む段落全体の発話が学習されてもよい。
図１２は、図３に示す推定装置３０による話題の推定の一例を示す図である。図１２においては、多値分類モデル２が発話単位で学習されているものとする。
１つの対話の系列データが推定装置３０に入力されると、図１２に示すように、二値分類モデル１を用いて、系列データを構成する発話が、話の切り替わりの発話であるか否か判定される。そして、話の切り替わりの発話から、次の話の切り替わりの発話の直前の発話までの範囲あるいは話の切り替わりの発話から、対話の終わりの発話までの範囲が１つの段落と推定される。
次に、図１２に示すように、範囲が推定された段落に含まれる発話のうち、話の切り替わりの発話であると判定された発話について、多値分類モデル２により、その発話における話題が推定される。なお、多値分類モデル２は、発話単位でなく、段落単位で学習が行われてもよい。この場合、図１３に示すように、多値分類モデル２により、段落単位で、話題が推定される。
図１４は、図４に示す推定装置３０ａによる話題の推定の一例を示す図である。
１つの対話の系列データが推定装置３０ａに入力されると、図１４に示すように、二値分類モデル１を用いて、系列データを構成する発話が、話の切り替わりの発話であるか否か判定される。そして、話の切り替わりの発話から、次の話の切り替わりの発話の直前の発話までの範囲が１つの段落と推定される。
次に、範囲が推定された段落に含まれる発話からキーワードが抽出され、抽出されたキーワードに基づき、その段落の話題が推定され、推定された話題を示す多値ラベルが付与される。このように、多値分類モデル２を用いなくても、段落における話題を推定することができる。そのため、多値分類モデル２の学習に必要な教師データを用意することが難しい場合にも、系列データに含まれる段落の話題を推定することができる。なお、図１４においては、各段落に対して異なる多値ラベル（「話題１」～「話題１０」）が付与された例を示しているが、これらは必ずしも異なる話題であることを示しているわけではない。
図１５は、図５に示す推定装置３０ｂによる話題の推定の一例を示す図である。
１つ以上の対話の系列データが推定装置３０ｂに入力されると、図１５に示すように、二値分類モデル１を用いて、系列データを構成する発話が、話の切り替わりの発話であるか否か判定される。そして、話の切り替わりの発話から、次の話の切り替わりの発話の直前の発話までの範囲が１つの段落と推定される。
次に、図１５に示すように、範囲の推定された複数の段落が、類似する段落ごとにクラスタリングされる。類似する段落からなるクラスタから代表の段落が決定され、代表の段落に含まれる発話からキーワードが抽出される。図１５においては、太線で示される段落が、代表の段落を示す。
次に、クラスタの代表の段落に含まれる発話から抽出されたキーワードに基づき、代表の段落における話題が推定され、推定された話題を示す多値ラベルが代表の段落に付与される。さらに、図１５に示すように、クラスタを構成する他の段落にも、クラスタの代表の段落と同じ多値ラベルが付与される。
本実施形態に係る推定方法（以下、「本手法」と称することがある）の有効性を示すために、実験により従来手法との比較を行った。実験では、モデルの学習用に３４９通話、検証用に５０通話を用いた。話題を示す多値ラベルとして、話題Ａから話題Ｈ、および、通話の最初の発話から１番目の話の切り替わりまでの固定的な話題Ｓを示す８種類のラベルを用意した。従来手法とは、発話が話の切り替わりである否かを示す二値ラベルを、多値ラベルが切り替わる発話のみに付与したデータを教師データとして二値分類モデルを学習し、また、多値ラベルが切り替わる発話のみを教師データとして多値分類モデルを学習する手法である。
まず、二値分類モデルによる、話の切り替わりであるか否かの判定に基づく、段落の範囲の推定精度（系列データの段落単位での分割精度）を比較した。比較結果を表１に示す。
Figure 0007425368000001
上述したように、本手法では、ある話題から同じ話題に遷移する発話についても、話の切り替わり発話に含めて、段落の範囲を推定する。そのため、表１に示すように、本手法では、従来手法と比べて、適合率は下がっている。しかしながら、本手法では、従来手法では検出しきれなかった段落および話の切り替わりの発話を検出することができるようになったため、段落分割の再現率は上がった。
次に、二値分類モデルにより話の切り替わりと判定された発話における、多値分類モデルによる話題の推定の精度について比較した。上述したように、従来手法では、多値ラベルが切り替わる発話のみに、人手によりその発話における話題を示す多値ラベルが付与された教師データを学習して多値分類モデルを生成した。一方、本手法では、話の切り替わりであることを示すラベルが人手により付与された発話に対して、多値ラベルを補完した教師データを学習して多値分類モデル２を生成した。従来手法で学習された多値分類モデルおよび本手法で学習された多値分類モデル２それぞれを用いて、従来手法および本手法で学習された二値分類モデルにより話の切り替わりの発話であると判定された発話における話題を推定し、その発話に対して人手により付与された正解の話題と比較した。比較の結果（適合率）を表２に示す。
Figure 0007425368000002
表２に示すように、本手法では、ある話題から同じ話題に遷移する発話も含めて、話の切り替わりの発話であると判定された発話における話題を、高い精度で推定できていることが分かった。話題Ｓについては、話の切り替わりの発話は通話の最初の発話となるため、評価を行わなかった。
最後に、評価対象とした１００通話において、全ての発話の話題の分類の結果（Ｆ値）を評価した。この評価は、二値分類モデルによる話の切り替わりの発話の判定と、多値分類モデルによる話題の推定とを総合的に評価したものである。本手法においては、多値分類モデル２により、ある話題から同じ話題に遷移する発話についても、話の切り替わりの発話であると判定されるが、多値分類モデル２により、同じ話題への遷移の発話の多くが正しい話題に分類された。そのため、表３に示すように、従来手法と比べて、本手法の方が、総合的に高い評価結果が得られた。
Figure 0007425368000003
このように本実施形態においては、推定装置３０は、判定部３２と、段落推定部３３とを備える。判定部３２は、複数の話題を含む対話の系列データを構成する発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与された教師データ（第１の教師データ）に基づいて予め学習された二値分類モデル１（第１のモデル）を用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する。段落推定部３３は、判定部３２による判定の結果に基づき、処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または話の切り替わりから対話の終わりの発話までの段落の範囲を推定する。
発話またはその分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与された教師データを学習することで、系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する二値分類モデル１を生成することができる。そして、二値分類モデル１の判定の結果に基づき、系列データにおける段落の範囲を推定することができる。また、系列データにおける段落の範囲を推定することで、段落に含まれる発話に話題を推定する範囲を限定することができるので、段落における話題の推定の精度の向上を図ることができる。
（第２の実施形態）
第１の実施形態においては、系列データを構成する発話またはその分割単位が、話の切り替わりであるか否かを判定し、その判定結果に基づき段落の範囲を推定する例を用いて説明した。ただし、上述したように、系列データを構成する発話またはその分割単位が、話題の切り替わりであるか否かを判定し、その判定結果に基づき段落の範囲を推定してもよい。
上述したように、コンタクトセンタにおけるオペレータとカスタマとの対話は、時間軸に沿った系列データと見なすことができる。一連の系列データに対して客観的に分類される話題の区間ごとに系列データを分割する手法として、Text Tilingという手法が知られている（例えば、参考文献１参照）。この手法では、テキストの近傍にある単語同士の結束性に基づいて、結束度の極小点でテキストを分割する。また、トピックモデルの代表であるLatent Dirichlet Allocation(LDA)を用いてテキストを分割するTopic Tilingという手法も提案されている（参考文献２参照）。また、事前に定義された分類のラベルを付与した教師データから学習したモデルに基づき、時系列データの各データに対して、そのデータが属するラベルに分類する手法が提案されている（参考文献３参照）。
［参考文献１］
平尾努、北内啓、木谷強「語彙的結束性と単語重要度に基づくテキストセグメンテーション」情報処理学会論文誌、41(SIG_3(TOD_6))pp.24-36、2000-05-15.
［参考文献２］
M.Riedl and C.Biemann、 TopicTiling: A Text Segmentation Algorithm based on LDA"、 Proceedings of the 50th ACL 2012、 2012.
［参考文献３］
坪井祐太、他２名、「深層学習による自然言語処理」、講談社、2017年5月24日、p.32-36
しかしながら、コンタクトセンタにおける対話のような、特定のサービスあるいは商品に関する対話においては、事前に作成されているスクリプトに沿った応対を行っているかなどの、後々に種々の分析ができるように、コンタクトセンタ側から見た主観的な話題に分類することが求められている。主観的な話題とは、例えば、オペレータが特定のサービスを利用できなくなったカスタマ側の原因を切り分ける観点、あるいは、オペレータからカスタマへの営業電話におけるニーズあるいは要望のインタビューの観点から分類される話題である。これらの対話においては、サービス名、商品名あるいはこれらに関連する語彙として同じキーワードが、対話のいたるところで出現するので、内容としては主観的に区別したい話題であっても、表層的・客観的には区別できない話題が対話の大半を占めている。そのため、参考文献１および参考文献２に記載の手法では、主観的な話題ごとに対話を精度よく分割・分類することができない。
また、コンタクトセンタの対話においては、発話自体が短く、その発話だけでは、どの話題に属するのかを一意に決定することができない発話も存在する。このような発話には、本来の話題とは異なる話題のラベルが付与されることになる。本来の話題とは異なるラベルが付与された教師データを学習したモデルでは、分類の精度が低下する。そのため、参考文献３の記載の手法では、時系列順に入力された短い会話を含む各発話のそれぞれを、主観的な話題で適切に分類することは困難である。
以下では、本開示の第２の実施形態に係る推定装置３０ｃの構成および動作について説明する。本実施形態に係る推定装置３０ｃは、系列データを構成する発話またはその分割単位が話題の切り替わりであるか否かを判定し、その判定結果に基づき段落の範囲を推定するものである。
図１６は、本実施形態に係る推定装置３０ｃの構成例を示す図である。
図１６に示すように、本実施形態に係る推定装置３０ｃは、入力部４１と、判定部４２と、話題推定部４３と、段落推定部４４と、出力部４５とを備える。
入力部４１は、複数の話題を含む対話の系列データが入力される。入力部４１に入力される系列データは、段落の範囲および段落における話題の推定の対象となる処理対象のデータである。系列データは、例えば、オペレータおよびカスタマの時系列的な発話が音声認識されたテキストデータである。入力部４１は、オンラインで系列データが入力される場合には、対話中の各発話の音声認識により得られたテキストデータが逐次、入力されてよい。また、入力部４１は、オフラインで系列データが入力される場合には、対話中の各発話の開始時刻あるいは終了時刻でソートして、各発話のテキストデータが入力されてよい。入力部４１は、入力された系列データを判定部４２に出力する。
判定部４２は、二値分類モデル１ａを用いて、入力部４１から出力された系列データを構成する発話が、話題の切り替わりの発話であるか否かを判定する。ここで、二値分類モデル１ａは、対話の系列データを構成する発話またはその分割単位に対して、話題の切り替わりであるか否かを判定するように予め学習したモデルである。二値分類モデル１ａは、例えば、系列データを構成する発話またはその分割単位に対して、話題の切り替わりであるか否かを示す二値ラベル（切り替わりラベル）が付与された教師データを、図１を参照して説明した学習装置１０により学習することで作成することができる。
判定部４２は、二値分類モデル１ａを用いた判定結果から、系列データを構成する発話またはその分割単位を、後述する話題推定部４３による処理対象とするか否かを決定する。具体的には、判定部４２は、話題の切り替わりであると判定した発話またはその分割単位を、話題推定部４３による処理対象と決定する。判定部４２は、話題推定部４３による処理対象とするか否かの決定結果を、話題推定部４３および段落推定部４４に出力する。
話題推定部４３は、多値分類モデル２ａを用いて、判定部４２により処理対象と決定された発話（話題の切り替わりの発話）またはその分割単位に対して、その発話が含まれる範囲における話題を示す多値ラベルを付与する。ここで、多値分類モデル２ａは、発話またはその分割単位に対して、その発話が含まれる範囲における話題を推定するモデルである。多値分類モデル２ａは、例えば、系列データを構成する発話またはその分割単位に対して、その発話が関連する話題を示す多値ラベル（話題ラベル）が付与された教師データを、図２を参照して説明した学習装置２０により学習することで作成することができる。多値分類モデル２ａの学習にあたっては、話題の切り替わりの発話であり、多値ラベルが付与された発話のみを対象にして、話題の推移についての学習が行われてもよい。話題の切り替わりの発話から次の話題の切り替わりの発話までの間の発話を学習の対象から除外することで、話題の分類に対するノイズを除去することができる。
話題推定部４３は、話題の推定結果（推定した話題に対応する多値ラベル）をラベル情報テーブルに保存する。ラベル情報テーブルは、処理しているデータに対する話題の推定結果を格納しておく領域であり、計算機上のメモリであってもよいし、データベースであってもよいし、ファイルであってもよい。
段落推定部４４は、判定部４２により処理対象と決定された発話（話題の切り替わりの発話）から、次に処理対象と決定された発話の直前の発話までの範囲を１つの段落の範囲と推定する。段落推定部４４は、ラベル情報テーブルに格納されている多値ラベルを、範囲を推定した段落に含まれる発話に付与する。具体的には、段落推定部４４は、話題の切り替わりの発話から、次の話題の切り替わりの発話の直前の発話までの発話に、ラベル情報テーブルに格納されている、その話題の切り替わりの発話に付与された多値ラベルを付与する。
出力部４５は、系列データにおける範囲が推定された段落ごとに、その段落を構成する発話を出力する。また、出力部３５は、段落における話題を示す多値ラベル、段落の開始時刻および終了時刻などを出力してもよい。
第１の実施形態と同様に、推定装置３０ｃにおいて、テキストチャットに対する形態素解析を行う形態素解析部が入力部４１の後段に設けられてもよい。また、オフラインで処理対象の系列データが入力される場合には、推定装置３０ｃの構成は、話題の切り替わりの発話であるか否かの判定および話題の推定の結果を一度に全て使って、段落の範囲を推定してもよい。この場合、段落推定部４４は、話題の切り替わりであるか否かの判定結果と、話題の推定結果とに基づいて、話題の切り替わりから次の話題の切り替わりの直前の発話までの範囲の発話に、話題推定部４３により推定された多値ラベルを付与してよい。
図１７は、本実施形態に係る推定装置３０ｃの動作の一例を示すフローチャートである。
判定部４２は、入力部４１に入力された処理対象の系列データにおける対話が終了したか否かを判定する（ステップＳ５１）。
対話が終了したと判定された場合（ステップＳ５１：Ｙｅｓ）、推定装置３０ｃは処理を終了する。
対話が終了していないと判定した場合（ステップＳ５１：Ｎｏ）、判定部４２は、処理対象の発話を読み込む（ステップＳ５２）。判定部４２は、二値分類モデル１ａを用いて、読み込んだ発話が話題の切り替わりの発話であるか否かを判定する（ステップＳ５３）。
読み込まれた発話が話題の切り替わりの発話でないと判定された場合（ステップＳ５４：Ｎｏ）、後述するステップＳ５７の処理が行われる。
読み込まれた発話が話題の切り替わりの発話であると判定された場合（ステップＳ５４：Ｙｅｓ）、話題推定部４３は、多値分類モデル２ａを用いて、読み込まれた発話の話題を推定する（ステップＳ５５）。話題推定部４３は、推定した話題をラベル情報テーブルに格納して、ラベル情報テーブルを更新する（ステップＳ５６）。すなわち、読み込まれた発話が話題の切り替わりの発話であるごとに、ラベル情報テーブルが更新される。
段落推定部４４は、読み込まれた発話に、ラベル情報テーブルに格納された多値ラベルを付与する（ステップＳ５７）。上述したように、読み込まれた発話が話題の切り替わりの発話であるごとに、ラベル情報テーブルが更新される。したがって、一つの段落を構成する、話題の切り替わりの発話から次の話題の切り替わりの発話の直前までの発話までに、同一の多値ラベルが付与される。
読み込まれた発話に多値ラベルが付与されると、判定部４２は、系列データにおける次の発話を処理対象として（ステップＳ５８）、ステップＳ５１の処理に戻る。
図１８は、本実施形態に係る推定装置３０ｃによる話題の推定の一例を示す図である。図１８においては、二値分類モデル１ａおよび多値分類モデル２ａが発話単位で学習されているものとする。
１つの対話の系列データが推定装置３０ｃに入力されると、判定部４２は、図１８に示すように、二値分類モデル１ａを用いて、系列データを構成する発話が、話題の切り替わりの発話であるか否かを判定する。話題推定部４３は、多値分類モデル２ａを用いて、話題の切り替わりであると判定された発話の話題を推定し、推定した話題を示す多値ラベルをラベル情報テーブルに格納する。段落推定部４４は、話題の切り替わりの発話から、次の話題の切り替わりの発話の直前の発話までの範囲を一つの段落と推定する。そして、段落推定部４４は、その段落を構成する全ての発話に対して、ラベル情報テーブルに格納されている、その段落の先頭の発話の話題を示す多値ラベルを付与する。
このように本実施形態においては、推定装置３０ｃは、二値分類モデル１ａを用いて、系列データを構成する発話が、話題の切り替わりの発話であるか否かを判定する。また、推定装置３０ｃは、多値分類モデル２ａを用いて、話題の切り替わりの発話の話題を推定する。また、推定装置３０ｃは、話題の切り替わりの発話から、次の話題の切り替わりの発話の直前までの発話までを段落の範囲と推定し、話題の切り替わりの発話について推定した話題を、その話題の切り替わりの発話を含む段落における話題と推定する。
これにより、類似した話題が大半を占める対話あるいは話題の順序が不定である対話であっても、話題の切り替わりの発話を検出し、その発話に付与すべき多値ラベルを推定することができる。そのため、話題の切り替わりの発話から、次の話題の切り替わりの発話の直前までの発話を、一つの話題からなる段落として推定することができる。
（第３の実施形態）
上述した第１および第２の実施形態においては、発話あるいはその分割単位で、話（話題）の切り替わりであるか否かの推定を行うモデルおよび話題の推定を行うモデルを作成した。上述したように、発話の分割単位とは、例えば、発話を単語ごとに分割した単語単位である。また、発話の分割単位とは、例えば、発話に句読点が付与されている場合には、句読点あるいは句点で分割した単位である。また、上述した第１および第２の実施形態においては、発話の話題を推定する場合、発話あるいは予め定められた分割単位で、話題を推定していた。そして、第１および第２の実施形態においては、発話の分割単位は固定であった。
しかしながら、コンタクトセンタにおける顧客と応対担当者との対話では、予め定められた単位で話題（場面）が切り替わるとは限らない。例えば、自動車事故に関するコンタクトセンタの応対では、けがの有無を確認する場面と、車の損傷を確認する場面とを分けて、応対履歴を記録する場合がある。以下では、発話１から発話４で示す顧客と応対担当者との対話を、けがの有無を確認する場面と、車の損傷を確認する場面とに分ける例を用いて説明する。
応対担当者：「車を車庫に入れるときに、事故にあったと聞いていますが、どのような状況でしたか？」（発話１）
顧客：「車庫に入れているときに、車の後ろのバンパーが電柱に当たり、傷がついてしまったのです。」（発話２）
応対担当者：「そうでしたか、車庫に入れる際、車の後ろのバンパーを電柱で擦ったということで、お体は、大丈夫でしたでしょうか？」（発話３）
顧客：「ケガはなかったです。」（発話４）
上述した例において、発話１および発話２は、車の損傷を確認する場面での発話である。発話３の途中で、車の損傷を確認する場面からケガの有無を確認する場面に切り替わり、ケガの有無を確認する場面が発話４へと続いている。具体的には、発話３の「そうでしたか、車庫に入れる際、車の後ろのバンパーを電柱で擦ったということで、」までが車の損傷を確認する場面であり、発話３の「お体は、大丈夫でしたでしょうか？」からが、ケガの有無を確認する場面である。
第１および第２の実施形態においては、予め単位を決めて学習データを用意する必要がある。そのため、上述した発話３のように、発話の途中で場面が切り替わる場合に対応するモデルを作成することは困難である。発話３の例では、「そうでしたか、車庫に入れる際、車の後ろのバンパーを電柱で擦ったということで、」という単位には、車の損傷を確認する場面であることを示すラベルを付与し、「お体は、大丈夫でしたでしょうか？」という単位には、ケガの有無を確認する場面であることを示すラベルを付与することが望ましいが、予めこのような単位を決定することは困難である。
例えば、句読点単位の分割を採用した場合、発話３は、「そうでしたか」「車庫に入れる際」「車の後ろのバンパーを電柱で擦ったということで」「お体は」「大丈夫でしたでしょうか？」という単位に分割される。しかしながら、例えば、「そうでしたか」「お体は」「大丈夫でしたでしょうか？」といった単位だけでは、どのような場面かを特定することができず、ラベルを付与することが困難である。
また、予め定められた単位を繋げて学習データを作成する場合、「そうでしたか」「車庫に入れる際」「車の後ろのバンパーを電柱で擦ったということで」までを繋げて１つの単位とし、「お体は」「大丈夫でしたでしょうか？」までを繋げて１つの単位とすることで学習データを作成することは可能である。ただし、「そうでしたか」、「車庫に入れる際」、「そうでしたか、車庫に入れる際」など、他の単位で負例とすべきか否かを判定して学習データを作成することは困難である。
また、発話の途中で話（話題）の切り替わりの箇所を推定する場合、推定前に発話の単位を決定することが困難である。
本実施形態においては、学習の単位を固定せず、教師データから動的に様々な単位で正例、負例および対象外の学習データを作成する。すなわち、本実施形態においては、発話の分割単位を可変にして学習データを作成する。こうすることで、発話の途中で話（場面）が切り替わる場合であっても、切り替わりの箇所を高精度に推定することが可能なモデルを学習するための学習データを作成することができる。また、学習の単位を固定せずに作成した学習データを学習したモデルを用いることで、発話の途中で場面が切り替わる場合にも、発話内の各場面を推定することができる。
図１９は、本実施形態に係る学習データ作成装置５０の構成例を示す図である。本実施形態に係る学習データ作成装置５０は、教師データから動的に様々な単位で正例、負例および対象外の学習データを作成する。
図１９に示すように、本実施形態に係る学習データ作成装置５０は、入力部５１と、学習データ作成部５２と、出力部５３とを備える。
入力部５１は、対話の系列データが入力される。系列データは、例えば、オペレータとカスタマとの時系列的な対話の音声データあるいはその対話に含まれる発話が音声認識されたテキストデータである。入力部５１は、入力された系列データを学習データ作成部５２に出力する。
学習データ作成部５２は、入力部５１から出力された系列データと、教師データとが入力される。教師データは、学習データを作成する前に、系列データを構成する発話における、場面を特定するために最低限必要な発話の範囲にラベルが付与されたデータである。教師データにおけるラベルは人手により付与される。学習データ作成部５２は、入力された系列データおよび教師データに基づき、発話の任意の分割単位で、当該発話における話題（場面）を推定するモデルの学習に用いる学習データを作成する。
図２０は、学習データ作成部５２の構成例を示す図である。
図２０に示すように、学習データ作成部５２は、文出力部５２１と、ＩＤ付与部５２２と、組み合わせ生成部５２３と、付与部５２４とを備える。
文出力部５２１は、入力部５１から入力された系列データを構成する発話の文字列を文として出力する。系列データがテキストデータである場合には、文出力部５２１は、形態素解析により単語単位に分割された文を出力する。また、系列データが音声データである場合には、文出力部５２１は、音声認識により単語単位に分割された文を出力する。
ＩＤ付与部５２２は、文出力部５２１から出力された文から、発話を所定の規則で分割した要素を生成する。ＩＤ付与部５２２による分割の単位（要素の単位）は、単語単位、句読点単位、音声認識単位、話し終わり単位など、特定可能な単位なら任意の単位であってよい。ＩＤ付与部５２２は、発話を分割した要素それぞれに対してＩＤを付与し、各要素に付与したＩＤをＩＤ集合に格納する。
組み合わせ生成部５２３は、ＩＤ集合に格納されたＩＤに基づいて、モデルの学習に必要なＩＤの組み合わせ（組み合わせＩＤ列）を生成する。
図２１は、組み合わせ生成部５２３の構成例を示す図である。
図２１に示すように、組み合わせ生成部５２３は、ＩＤ取り出し部５２３１と、組み合わせ対象ＩＤ格納部５２３２と、組み合わせ生成ＩＤ格納部５２３３と、組み合わせＩＤ生成部５２３４と、を備える。
ＩＤ取り出し部５２３１は、ＩＤ集合から、予め定められた最長単位のＩＤを取り出し、最長単位のＩＤ集合に格納する。ここで、最長単位とは、文出力部５２１による文の出力の際に分割された単位よりも長い単位であって、予め特定可能な単位であれば、任意の単位であってよい。例えば、文の出力の際の分割の単位が単語単位であれば、最長単位は、単語単位よりも長い、句読点単位あるいは句点単位などである。また、例えば、文の出力の際の分割の単位が句読点単位であれば、最長単位は、句読点単位よりも長い、句点単位あるいは音声認識単位などである。
組み合わせ対象ＩＤ格納部５２３２は、最長単位のＩＤ集合から、組み合わせ対象となる範囲のＩＤを取り出し、組み合わせ対象のＩＤ集合に格納する。
組み合わせ生成ＩＤ格納部５２３３は、組み合わせ対象のＩＤ集合から、組み合わせＩＤ列を生成するための組み合わせ生成ＩＤを取得し、組み合わせ生成ＩＤの集合に格納する。
組み合わせＩＤ生成部５２３４は、組み合わせ生成ＩＤの集合に基づき、組み合わせＩＤ列を生成し、組み合わせＩＤ列の集合に格納して、組み合わせＩＤ列の集合を更新する。
図２０を再び参照すると、組み合わせ生成部５２３は、生成した組み合わせＩＤ列を付与部５２４に出力する。
付与部５２４は、組み合わせ生成部５２３から出力された組み合わせＩＤ列と、教師データとが入力される。付与部５２４は、組み合わせＩＤ列を文字列に置き換えた分割単位ごとに、教師データに基づき、正例、負例あるいは学習の対象外とするラベルを付与して、学習データを作成する。
図２２は、付与部５２４の構成例を示す図である。
図２２に示すように、付与部５２４は、正例付与部５２４１と、負例付与部５２４２と、対象外付与部５２４３とを備える。
正例付与部５２４１は、教師データに基づき、組み合わせＩＤ列の集合のうち、所定のＩＤ列に正例を示すラベルを付与する。こうすることで、所定のＩＤ列を文字列に置き換えた分割単位に正例を示すラベルが付与される。
負例付与部５２４２は、組み合わせＩＤ列の集合のうち、所定のＩＤ列に負例を示すラベルを付与する。こうすることで、所定のＩＤ列を文字列に書き換えた分割単位に負例を示すラベルが付与される。
対象外付与部５２４３は、組み合わせＩＤ列の集合のうち、所定のＩＤ列に学習の対象外であることを示すラベルを付与する。こうすることで、組み合わせＩＤ列を文字列に置き換えた分割単位に、対象外であることを示すラベルが付与される。対象外付与部５２４３は、学習の対象外であることを示すラベルが付与された組み合わせＩＤ列を削除し、正例あるいは負例を示すラベルが付与された組み合わせＩＤ列に対応する分割単位と、正例あるいは負例を示すラベルとを学習データとして出力する。付与部５２４の動作の詳細については後述する。
図１９を再び参照すると、出力部５３は、学習データ作成部５２により作成された学習データを出力する。
次に、学習データ作成部５２の動作について説明する。なお、以下では、場面（話）の切り替わりであるか否かを判定するモデルの学習のための学習データを作成する場合を例として説明する。具体的には、上述した発話３には場面の切り替わりが含まれているので、発話３を例として説明する。また、以下では、場面の切り替わりと判定する範囲にはラベル「Ｔ」が付与され、場面の切り替わりと判定しない範囲にはラベル「Ｆ」が付与されるものとする。また、文の分割単位は句読点単位であり、最長単位は句点単位であるとする。また、教師データとして、発話３において場面の切り替わりと判定される範囲（「お体は、大丈夫でしたでしょうか？」）にラベル「Ｔ」が付与されているものとする。
ＩＤ付与部５２２は、発話３を句読点で分割し、句読点で分割した要素ごとにＩＤを付与する。以下では、ＩＤ付与部５２２は、以下のようにＩＤを付与したものとする。
ＩＤ１：そうでしたか、
ＩＤ２：車庫に入れる際、
ＩＤ３：車の後ろのバンパーを電柱で擦ったということで、
ＩＤ４：お体は、
ＩＤ５：大丈夫でしょうか。
ＩＤ付与部５２２は、発話の各要素に付与したＩＤをＩＤ集合に格納する。
組み合わせ生成部５２３は、ＩＤ集合から、予め定められた最長単位の範囲内で、句読点分割した要素のＩＤの組み合わせ（ＩＤ列）を作成する。組み合わせ生成部５２３の動作について、図２３を参照して説明する。図２３は、組み合わせ生成部５２３の動作の一例を示すフローチャートである。
ＩＤ取り出し部５２３１は、ＩＤ集合から、最長単位ごとに全てのＩＤを取り出し、最長単位のＩＤ集合に格納する（ステップＳ６１）。上述したように、最長単位は句点単位なので、最長単位の範囲はＩＤ１～ＩＤ５となる。ＩＤ取り出し部５２３１は、ＩＤ集合からＩＤ１～ＩＤ５を取り出し、（１，２，３，４，５）を最長単位のＩＤ集合に格納する。
組み合わせ対象ＩＤ格納部５２３２は、最長単位のＩＤ集合に格納されているＩＤのうち、一番小さいＩＤを最長単位のＩＤ集合から削除し、組み合わせ対象のＩＤ集合に格納する（ステップＳ６２）。上述した例では、組み合わせ対象ＩＤ格納部５２３２は、最長単位のＩＤ集合からＩＤ１を取り出し、組み合わせ対象のＩＤ集合に格納する。また、組み合わせ対象ＩＤ格納部５２３２は、最長単位のＩＤ集合からＩＤ１を削除する。したがって、最長単位のＩＤ集合には、（２，３，４，５）が格納される。
組み合わせ生成ＩＤ格納部５２３３は、組み合わせ対象のＩＤ集合に含まれる全てのＩＤを小さい順に並べて、組み合わせ生成ＩＤの集合と、組み合わせＩＤ列の集合とに格納する（ステップＳ６３）。上述した例では、組み合わせ対象のＩＤ集合には（１）が格納されているので、全てのＩＤを小さい順に並べた組み合わせ列は［１］となる。組み合わせ生成ＩＤ格納部５２３３は、組み合わせ生成ＩＤの集合には（１）を格納し、組み合わせＩＤ列の集合には［１］を格納する。
組み合わせＩＤ生成部５２３４は、組み合わせ生成ＩＤの集合に格納されているＩＤ列のうち、一番小さいＩＤを削除し、残ったＩＤを小さい順に並べて組み合わせＩＤ列の集合に格納する（ステップＳ６４）。上述した例では、組み合わせ生成ＩＤの集合には、（１）が格納されている。したがって、組み合わせＩＤ生成部５２３４は、一番小さいＩＤ１を削除する。
次に、組み合わせＩＤ生成部５２３４は、組み合わせ生成ＩＤの集合が空であるか否かを判定する（ステップＳ６５）。上述した例では、ＩＤ１が削除されることで、組み合わせ生成ＩＤの集合は空となっている。
組み合わせ生成ＩＤの集合が空でないと判定すると（ステップＳ６５：Ｎｏ）、組み合わせＩＤ生成部５２３４は、ステップＳ６４の処理を繰り返す。
組み合わせＩＤ生成部５２３４により組み合わせ生成ＩＤの集合が空であると判定されると（ステップＳ６５：Ｙｅｓ）、組み合わせ対象ＩＤ格納部５２３２は、最長単位のＩＤ集合が空であるか否かを判定する（ステップＳ６６）。上述した例では、最長単位のＩＤ集合には、（２，３，４，５）が格納されているので、最長単位のＩＤ集合は空ではない。
最長単位のＩＤ集合が空ではないと判定すると（ステップＳ６６：Ｎｏ）、組み合わせ対象ＩＤ格納部５２３２は、ステップＳ６２の処理に戻る。上述した例では、最長単位のＩＤ集合には（２，３，４，５）が格納されているので、組み合わせ対象ＩＤ格納部５２３２は、一番小さいＩＤ２を取り出し、組み合わせ対象ＩＤに格納する。また、組み合わせ対象ＩＤ格納部５２３２は、最長単位のＩＤ集合からＩＤ２を削除する。したがって、最長単位のＩＤ集合には、（３，４，５）が格納される。
以下、ステップＳ６３およびステップＳ６４の処理が行われ、組み合わせ対象のＩＤ集合には、（１，２）が格納される。また、組み合わせ対象のＩＤ集合に格納された全てのＩＤを小さい順に並べたＩＤ列が組み合わせ生成ＩＤの集合および組み合わせＩＤ列の集合に格納される。組み合わせ対象のＩＤ集合には、（１，２）が格納されているので、全てのＩＤを小さい順に並べた組み合わせ列は［１，２］となり、組み合わせ生成ＩＤの集合には（１，２）が格納される。また、組み合わせ列［１，２］が組み合わせ列の集合に追加され、組み合わせ列の集合は、（［１］，［１，２］）となる。
組み合わせＩＤ生成部５２３４は、組み合わせ生成ＩＤの集合に格納されているＩＤ列のうち、一番小さいＩＤを削除し、残ったＩＤを小さい順に並べて組み合わせＩＤ列の集合に格納する。上述した例では、組み合わせ生成ＩＤの集合には、（１，２）が格納されている。したがって、組み合わせＩＤ生成部５２３４は、一番小さいＩＤ１を削除する。ＩＤ１が削除され、組み合わせ生成ＩＤの集合には、（２）が残る。組み合わせ生成ＩＤの集合には（２）が残っているので、組み合わせＩＤ生成部５２３４は、組み合わせＩＤ列の集合に［２］を格納する。したがって、組み合わせＩＤ列の集合は、（［１］，［１，２］，[２]）となる。
以下、同様の処理が、最長単位のＩＤ集合が空になるまで繰り返される。最長単位のＩＤ集合が空になった際には、組み合わせＩＤ列の集合には、以下のＩＤ列が格納される。このように、組み合わせ生成部５２３は、発話を所定の規則で分割した一の要素または連続する複数の要からなる組み合わせＩＤ列を生成する。
［１］
［１，２］
［２］
［１，２，３］
［２，３］
［３］
［１，２，３，４］
［２，３，４］
［３，４］
［４］
［１，２，３，４，５］
［２，３，４，５］
［３，４，５］
［４，５］
［５］
組み合わせ対象ＩＤ格納部５２３２により最長単位のＩＤ集合が空であると判定されると（ステップＳ６６：Ｙｅｓ）、ＩＤ取り出し部５２３１は、ＩＤ集合のうち、最長単位のＩＤ集合に格納していないＩＤがあるか否かを判定する（ステップＳ６７）。
最長単位のＩＤ集合に格納していないＩＤがあると判定すると（ステップＳ６７：Ｙｅｓ）、ＩＤ取り出し部５２３１は、ステップＳ６１の処理に戻る。
最長単位のＩＤ集合に格納していないＩＤがないと判定されると（ステップＳ６７：Ｎｏ）、組み合わせ生成部５２３は、処理を終了する。
次に、付与部５２４の動作について、図２４を参照して説明する。図２４は、付与部５２４の動作の一例を示すフローチャートである。
正例付与部５２４１は、組み合わせ生成部５２３により生成された組み合わせＩＤ列の集合に含まれるＩＤ列の中で、教師データと一致する範囲のＩＤ列全てに正例を示すラベルを付与する（ステップＳ７１）。上述したように、教師データとして、発話３において場面の切り替わりと判定される範囲（「お体は、大丈夫でしたでしょうか？」）にラベル「Ｔ」が付与されているものとする。したがって、正例付与部５２４１は、発話３における「お体は、大丈夫でしたでしょうか？」と同じ範囲のＩＤ列［４，５］に正例を示すラベル（「Ｔ」）を付与する。
負例付与部５２４２は、組み合わせＩＤ列の集合に含まれるＩＤ列の中で、正例を示すラベルが付与されたＩＤ列に含まれるＩＤを１つも含まない組み合わせＩＤ列全てに、負例を示すラベルを付与する（ステップＳ７２）。上述した例では、ＩＤ列［４，５］に正例を示すラベルが付与される。したがって、負例付与部５２４２は、ＩＤ４もＩＤ５も含まれない以下の全ての組み合わせＩＤ列に、負例を示すラベル（「Ｆ」）を付与する。
［１］：Ｆ
［１，２］：Ｆ
［２］：Ｆ
［１，２，３］：Ｆ
［２，３］：Ｆ
［３］：Ｆ
対象外付与部５２４３は、組み合わせＩＤ列の集合に含まれるＩＤ列の中で、正例を示すラベルも負例を示すラベルも付与されていない組み合わせＩＤ列全てに、対象外を示すラベルを付与する（ステップＳ７３）。上述した例では、対象外付与部５２４３は、以下の組み合わせＩＤ列に、対象外を示すラベルを付与する。
［１，２，３，４］：対象外
［２，３，４］：対象外
［３，４］：対象外
［４］：対象外
［１，２，３，４，５］：対象外
［２，３，４，５］：対象外
［３，４，５］：対象外
［５］
対象外付与部５２４３は、組み合わせＩＤ列の集合から、対象外を示すラベルが付与されている組み合わせＩＤ列を削除する。そして、対象外付与部５２４３は、正例あるいは負例を示すラベルが付与されている組み合わせＩＤ列に対応する分割単位を学習データに格納する。上述した例では、以下の組み合わせＩＤ列に対応する分割単位を学習データに格納する。
［１］：Ｆ
［１，２］：Ｆ
［２］：Ｆ
［１，２，３］：Ｆ
［２，３］：Ｆ
［３］：Ｆ
［４，５］：Ｔ
このように本実施形態に係る学習データ作成装置５０、発話を所定の規則（例えば、句読点単位）で分割した一の要素または連続する複数の要素により構成される分割単位に対してラベルを付与して、学習データを作成する。ここで、本実施形態においては、学習データには、構成する要素の数が異なる分割単位が含まれる。
そのため、発話の途中で場面（話）が切り替わるような場合にも、その切り替わりに応じた発話の分割単位で、学習データを作成することができる。また、このようにして作成された学習データを学習することで、発話の途中で場面（話）が切り替わる場合にも、場面の切り替わりを高精度に推定することが可能なモデルを作成することができる。
次に、本実施形態に係る推定装置３０ｄについて説明する。本実施形態に係る推定装置３０ｄは、学習データ作成装置５０により作成された学習データに基づいて学習したモデルを用いて、構成する要素の数が異なる発話の分割単位で、場面（話）の切り替わりを推定するものである
図２５は、本実施形態に係る推定装置３０ｄの構成例を示す図である。
図２５に示すように、本実施形態に係る推定装置３０ｄは、入力部６１と、推定部６２と、出力部６３とを備える。
入力部６１は、対話の系列データが入力される。入力部６１は、図２６に示すように、文出力部６１１を備える。文出力部６１１は、文出力部５２１と同様に、入力部６１に入力された系列データを構成する発話の文字列を文として推定部６２に出力する。系列データがテキストデータである場合には、文出力部６１１は、形態素解析により単語単位に分割された文を出力する。また、系列データが音声データである場合には、出力部６１１は、音声認識により単語単位に分割された文を出力する。
図２５を再び参照すると、推定部６２は、推定モデル３を用いて、入力部６１から出力された文から、話の切り替わりを推定する。推定モデル３は、学習データ作成装置５０により作成された学習データの学習により作成されたモデルである。上述したように、学習データ作成部５０が作成する学習データは、構成する要素の数が異なる分割単位を含み、分割単位それぞれに対して、話の切り替わりであるか否かのラベルが付与されたデータである。したがって、推定モデル３は、構成する要素の数が異なる分割単位それぞれに対して、話の切り替わりであるか否かを判定するように予め学習したモデルである。推定部６２は、処理対象の系列データを構成する発話から、構成する要素の数が異なる分割単位を生成し、生成した分割単位ごとに、第１のモデルとしての推定モデル３を用いて、話の切り替わりであるか否かを判定する
出力部６３は、推定部６２による推定結果を出力する。
次に、推定部６２の構成について説明する。図２７は、推定部６２の構成例を示す図である。
図２７に示すように、推定部６２は、ＩＤ付与部６２１と、組み合わせ生成部６２２と、切り替わり推定部６２３とを備える。
ＩＤ付与部６２１は、文出力部６１１から出力された文から、発話を所定の規則で分割した要素を生成する。ＩＤ付与部６２１による分割の単位は、単語単位、句読点単位、音声認識単位、話し終わり単位など、特定可能な単位なら任意の単位であってよい。ＩＤ付与部６２１は、発話を分割した要素それぞれに対してＩＤを付与し、各要素に付与したＩＤをＩＤ集合に格納する。
組み合わせ生成部６２２は、ＩＤ集合に格納されたＩＤに基づいて、話の切り替わりの推定に用いるＩＤの組み合わせ（組み合わせＩＤ列）を生成する。
図２８は、組み合わせ生成部６２２の構成例を示す図である。図２８に示すように、組み合わせ生成部６２２は、ＩＤ取り出し部６２２１と、組み合わせ対象ＩＤ格納部６２２２と、組み合わせ生成ＩＤ格納部６２２３と、組み合わせＩＤ生成部６２２４と、を備える。
ＩＤ取り出し部６２２１は、ＩＤ取り出し部５２３１と同様に、ＩＤ集合から、予め定められた最長単位のＩＤを取り出し、最長単位のＩＤ集合に格納する。
組み合わせ対象ＩＤ格納部６２２２は、組み合わせ対象ＩＤ格納部５２３２と同様に、最長単位のＩＤ集合から、組み合わせ対象となる範囲のＩＤを取り出し、組み合わせ対象のＩＤ集合に格納する。
組み合わせ生成ＩＤ格納部６２２３は、組み合わせ生成ＩＤ格納部６２２３と同様に、組み合わせ対象のＩＤ集合から、組み合わせＩＤ列を生成するための組み合わせ生成ＩＤを取得し、組み合わせ生成ＩＤの集合に格納する。
組み合わせＩＤ生成部６２２４は、組み合わせＩＤ生成部５２３４と同様に、組み合わせ生成ＩＤの集合に基づき、組み合わせＩＤ列を生成し、組み合わせＩＤ列の集合に格納して、組み合わせＩＤ列の集合を更新する。
図２７を再び参照すると、組み合わせ生成部６２２は、生成した組み合わせＩＤ列の集合を切り替わり推定部６２３に出力する。
切り替わり推定部６２３は、組み合わせ生成部６２２から出力された組み合わせＩＤ列の集合が入力される。切り替わり推定部６２３は、推定モデル３を用いて、組み合わせＩＤ列に対応する分割単位ごとに、その分割単位が話の切り替わりであるか否かを判定し、判定結果を出力する。
次に、推定部６２の動作について、切り替わり推定部６２３の動作を中心に説明する。組み合わせ生成部６２２による組み合わせＩＤ列の生成の動作は、図２３を参照して説明した組み合わせ生成部５２３の動作と同様であるため、説明を省略する。
図２９は、切り替わり推定部６２３の動作の一例を示すフローチャートである。
切り替わり推定部６２３は、組み合わせＩＤ列の集合から、話の切り替わりであるか否かをまだ推定していないＩＤだけからなる組み合わせＩＤ列を１つ取り出す（ステップＳ８１）。
切り替わり推定部６２３は、取り出した組み合わせＩＤ列を単語列に置き換える（ステップＳ８２）。すなわち、切り替わり推定部６２３は、組み合わせＩＤ列に含まれるＩＤを、そのＩＤに対応する発話の要素に置き換える。
次に、切り替わり推定部６２３は、推定モデル３を用いて、組み合わせＩＤ列を置き換えた文字列（発話の分割単位）が、話の切り替わりであるか否かを推定する（ステップＳ８３）。
次に、切り替わり推定部６２３は、推定結果が正例であったか（話の切り替わりであったか）否かを判定する（ステップＳ８４）。
推定結果が正例でなかったと判定した場合（ステップＳ８４：Ｎｏ）、切り替わり推定部６２３は、組み合わせＩＤ列の集合が空であるか否かを判定する（ステップＳ８５）。
組み合わせＩＤ列の集合が空でないと判定した場合（ステップＳ８５：Ｎｏ）、切り替わり推定部６２３は、ステップＳ８１の処理に戻る。
組み合わせＩＤ列の集合が空であると判定した場合（ステップＳ８５：Ｙｅｓ）、切り替わり推定部６２３は、出力部６３を介して、ＩＤごとに推定結果を出力し（ステップＳ８６）、処理を終了する。
判定結果が正例であると判定した場合（ステップＳ８４：Ｙｅｓ）、切り替わり推定部６２３は、組み合わせＩＤ列の集合のなかに、話の切り替わりであるか否かを推定していないＩＤだけからなる組み合わせＩＤ列があるか否かを判定する（ステップＳ８７）。
話の切り替わりであるか否かを推定していないＩＤだけからなる組み合わせＩＤ列があると判定した場合（ステップＳ８７：Ｙｅｓ）、切り替わり推定部６２３は、ステップＳ８１の処理に戻る。
話の切り替わりであるか否かを推定していないＩＤだけからなる組み合わせＩＤ列がないと判定した場合（ステップＳ８７：Ｎｏ）、切り替わり判定部６２３は、出力部６３を介して、ＩＤごとに推定結果と推定単位とを出力し（ステップＳ８８）、処理を終了する。
以下では、具体例を挙げて、推定部６２の動作についてさらに説明する。
以下のような発話を例として考える。
発話：「信号で止まっている時に、追突されたと伺っておりますが、お怪我は、大丈夫でしょうか。」
ＩＤ付与部６２１は、図３０Ａに示すように、上述した発話を、句読点単位で４つの要素に分割し、各要素にＩＤ（ＩＤ１～ＩＤ４）を付与する。組み合わせ生成部６２２は、図２３を参照して説明した処理により、組み合わせＩＤ列を生成する。図３０Ａに示す例では、組み合わせ生成部６２２は、１０個の組み合わせＩＤ列（［１］，［１，２］，［２］，［１，２，３］，［２，３］，［３］，［１，２，３，４］，［２，３，４］，［３，４］，［４］）を生成する。
切り替わり推定部６２３は、生成された組み合わせＩＤ列の集合から、１つの組み合わせＩＤ列を取り出し、取り出した組み合わせＩＤ列に対応する分割単位が話の切り替わりであるか否かを推定する。切り替わり推定部６２３は、図３０Ｂに示すように、正例である（話の切り替わりである）と推定されるまで、組み合わせＩＤ列の集合内の組み合わせＩＤ列に対応する分割単位が話の切り替わりであるか否かを順に推定する。組み合わせＩＤ列［１］，［１，２］，［２］，［１，２，３］，［２，３］，［３］，［１，２，３，４］，［２，３，４］，に対応する分割単位は正例でないと推定され、組み合わせＩＤ列［３，４］に対応する分割単位が正例であると推定されたとする。
切り替わり推定部６２３は、推定していないＩＤだけからなる組み合わせＩＤ列がないため、ＩＤごとに推定結果と推定単位とを、出力部６３を介して出力する。組み合わせＩＤ列［３，４］に対応する分割単位が正例であると推定されたため、切り替わり推定部６２３は、図３０Ｂに示すように、ＩＤ３およびＩＤ４対して推定結果が正例であったこと、また、正例であると推定された単位（推定単位）が、組み合わせ列［３，４］であったことを出力する。
別の具体例を挙げて、推定部６２の動作についてさらに説明する。
以下のような発話を例として考える。
発話：「では、お車の状況を詳しく教えて頂きたいのですが、今回は、等級が下がることはございません。」
ＩＤ付与部６２１は、図３１Ａに示すように、上述した発話を、句読点単位で４つの要素に分割し、各要素にＩＤ（ＩＤ１～ＩＤ４）を付与する。組み合わせ生成部６２２は、図２３を参照して説明した処理により、組み合わせＩＤ列を生成する。図３１Ａに示す例では、組み合わせ生成部６２２は、１０個の組み合わせＩＤ列（［１］，［１，２］，［２］，［１，２，３］，［２，３］，［３］，［１，２，３，４］，［２，３，４］，［３，４］，［４］）を生成する。
切り替わり推定部６２３は、生成された組み合わせＩＤ列の集合から、１つの組み合わせＩＤ列を取り出し、取り出した組み合わせＩＤ列に対応する分割単位が話の切り替わりであるか否かを推定する。切り替わり推定部６２３は、図３１Ｂに示すように、正例である（話の切り替わりである）と推定されるまで、組み合わせＩＤ列の集合内の組み合わせＩＤ列に対応する分割単位が話の切り替わりであるか否かを順に推定する。以下では、組み合わせＩＤ列［１］に対応する分割単位は正例でないと推定され、組み合わせＩＤ列［１，２］に対応する分割単位が正例であると推定されたとする。
切り替わり推定部６２３は、正例であるか否かを推定していないＩＤ（ＩＤ３およびＩＤ４）だけからなる組み合わせＩＤ列（［３］，［３，４］，［４］）が存在するため、これらのＩＤ列についてさらに、正例であるか否かを推定する。以下では、組み合わせＩＤ列［３］に対応する分割単位は正例でないと推定され、組み合わせＩＤ列［３，４］に対応する分割単位が正例であると推定されたとする。
切り替わり推定部６２３は、推定していなＩＤだけからなる組み合わせＩＤ列がないため、ＩＤごとに推定結果と推定単位とを、出力部６３を介して出力する。組み合わせＩＤ列［１，２］および組み合わせＩＤ列［３，４］に対応する分割単位が正例であると推定されたため、切り替わり推定部６２３は、図３１Ｂに示すように、ＩＤ１，ＩＤ２に対して、推定結果が正例であったこと、また、推定単位が組み合わせ列［１，２］であったことを出力する。また、切り替わり推定部６２３は、ＩＤ３，ＩＤ４に対して、推定結果が正例であったこと、また、推定単位が組み合わせ列［３，４］であったことを出力する。
次に、本実施形態のように、分割単位の範囲を可変にする場合と、第１および第２の実施形態のように、分割単位の範囲を固定にする場合とで、話の切り替わりの推定精度の比較を行った結果について説明する。分割単位の範囲を固定にした場合、適合率は０．４６、再現率は０．３３、Ｆ値は０．３８であった。一方、分割単位の範囲を可変にした場合、適合率は０．４９、再現率は０．３５、Ｆ値は０．４１であった。この結果より、分割単位の範囲を可変にする場合に、分割単位の範囲を固定にする場合よりも、高い推定精度が得られることが確認された。
このように本実施形態においては、発話を所定の規則で分割した一の要素または連続する複数の要素からなり、構成する要素の数が異なる分割単位それぞれに対して、話の切り替わりであるか否かを示すラベルを付与した学習データを作成する。さらに、本実施形態においては、処理対象の系列データを構成する発話から、構成する要素の数が異なる分割単位を生成し、上記学習データを学習済みの推定モデル３を用いて、生成した分割単位ごとに、推定モデル３を用いて、話の切り替わりであるか否かを判定する。
そのため、発話の途中で話が切り替わる場合にも、切り替わりの箇所を高精度に推定することができる。
なお、第１の実施形態においては、二値分類モデル１が学習装置１０により作成され、多値分類モデル２が学習装置２０により作成される例を用いて説明したが、これに限れられるものではない。例えば、図３２に示すように、１つの学習装置７０が、二値分類モデル１と、多値分類モデル２とを作成してもよい。
学習装置７０は、図３２に示すように、入力部１１と、第１のモデル学習部としての二値分類学習部１２と、入力部２１と、多値ラベル補完部２２と、第２のモデル学習部としての多値分類学習部２３とを備える。
入力部１１および二値分類学習部１２それぞれの動作は、図１を参照して説明した入力部１１および二値分類学習部１２それぞれの動作と同じである。詳細な説明は省略するが、二値分類学習部１２は、複数の話題を含む対話の系列データを構成する発話または発話を分割した分割単位に対して、話の切り替わりであるか否かを示す二値ラベル（第１のラベル）が付与された教師データ（第１の教師データ）に基づき、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する二値分類モデル１（第１のモデル）を学習する。
入力部２１、多値ラベル補完部２２および多値分類学習部２３それぞれの動作は、図２を参照して説明した入力部２１、多値ラベル補完部２２および多値分類学習部２３それぞれの動作と同じである。詳細な説明は省略するが、多値分類学習部２３は、系列データにおける１つの話題が続く範囲に、その範囲における話題を示す多値ラベル（第２のラベル）が付与された教師データ（第２の教師データ）に基づき、処理対象の系列データを構成する発話における話題を推定する多値分類モデル２（第２のモデル）を学習する。
図３３は、学習装置７０の動作の一例を示す図であり、学習装置７０による学習方法について説明するための図である。
二値分類学習部１２は、複数の話題を含む対話の系列データを構成する発話または発話を分割した分割単位に対して、話の切り替わりであるか否かを示す二値ラベルが付与された教師データ（第１の教師データ）に基づき、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する二値分類モデル１を学習する（ステップＳ９１）。
多値分類学習部２３は、系列データにおける１つの話題が続く範囲に、その範囲における話題を示す多値ラベルが付与された教師データに基づき、処理対象の系列データを構成する発話における話題を推定する多値分類モデル２を学習する（ステップＳ９２）。
次に、本開示に係る推定装置３０～３０ｄのハードウェア構成について説明する。なお、以下では、推定装置３０のハードウェア構成について説明するが、推定装置３０ａ～３０ｄについても同様のハードウェア構成であってよい。また、学習装置１０，２０，７０および学習データ作成装置５０についても同様のハードウェア構成であってよい。
図３４は、本開示の推定装置３０がプログラム命令を実行可能なコンピュータである場合のハードウェア構成を示すブロック図である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
図３２に示す例では、推定装置３０は、プロセッサ１１０、ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、ストレージ１４０、入力部１５０、表示部１６０および通信インタフェース（Ｉ／Ｆ）１７０を有する。各構成は、バス１９０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。
プロセッサ１１０は、各構成の制御、および各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０に記憶されているプログラムに従って、推定装置３０の上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２０またはストレージ１４０には、本開示に係るプログラムが格納されている。プロセッサ１１０は、当該プログラムを読み出して実行する。判定部３２、段落推定部３３および話題推定部３４は、制御部３８を構成する（図３）。該制御部３８は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)など専用のハードウェアによって構成されてもよいし、上述したように１つ以上のプロセッサによって構成されてもよい。また、学習装置７０が図３４に示すハードウェア構成を備える場合、二値分類学習部１２、多値ラベル補完部２２および多値分類学習部２３は、制御部７１を構成する。制御部６１は、ＡＳＩＣ、ＦＰＧＡなど専用のハードウェアによって構成されてもよいし、上述したように１つ以上のプロセッサによって構成されてもよい。
プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
ＲＯＭ１２０は、各種プログラムおよび各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。例えば、ストレージ１４０は、作成した二値分類モデル１，１ａ、多値分類モデル２，２ａおよび推定モデル３を格納する。
入力部１５０は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
表示部１６０は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６０は、タッチパネル方式を採用して、入力部１５０として機能してもよい。
通信インタフェース１７０は、外部装置（図示しない）などの他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
プロセッサを備える推定装置であって、
前記プロセッサは、
複数の話題を含む対話の系列データを構成する発話または前記発話を分割した分割単位に対して、第１の教師データに基づいて予め学習された第１のモデルを用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定し、
前記判定の結果に基づき、前記処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または前記話の切り替わりから前記対話の終わりの発話までの段落の範囲を推定する、推定装置。
（付記項２）
プロセッサを備える学習装置であって、
前記プロセッサは、
複数の話題を含む対話の系列データを構成する発話または前記発話を分割した分割単位に対して、話の切り替わりであるか否かを示す第１のラベルが付与された第１の教師データに基づき、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する第１のモデルを学習し、
前記系列データにおける１つの話題が続く範囲に、前記範囲における話題を示す第２のラベルが付与された第２の教師データに基づき、前記処理対象の系列データを構成する発話における話題を推定する第２のモデルを学習する、学習装置。
（付記項３）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項１に記載の推定装置として機能させる、プログラムを記憶した非一時的記憶媒体。
（付記項４）
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項２に記載の学習装置として機能させる、プログラムを記憶した非一時的記憶媒体。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
上述した推定装置３０，３０ａ，３０ｂ，３０ｃ，３０ｄおよび学習装置７０の各部として機能させるためにコンピュータを好適に用いることが可能である。そのようなコンピュータは、推定装置３０，３０ａ，３０ｂの各部の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができる。すなわち、プログラムは、コンピュータを、上述した推定装置３０，３０ａ，３０ｂ，３０ｃ，３０ｄおよび学習装置７０として機能させることができる。
また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介して提供することも可能である。
本開示は、上述した各実施形態で特定された構成に限定されず、請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形が可能である。例えば、各構成部などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部などを１つに組み合わせたり、或いは分割したりすることが可能である。
１，１ａ 二値分類モデル（第１のモデル）
２，２ａ 多値分類モデル（第２のモデル）
３ 推定モデル
１０ 学習装置
１１ 入力部
１２ 二値分類学習部（第１のモデル学習部）
２０ 学習装置
２１ 入力部
２２ 多値ラベル補完部
２３ 多値分類学習部（第２のモデル学習部）
３０，３０ａ，３０ｂ，３０ｃ，３０ｄ 推定装置
３１ 入力部
３２ 判定部
３３ 段落推定部
３４，３４ａ，３４ｂ 話題推定部
３５ 出力部
３６，３６ｂ キーワード抽出部
３７ クラスタリング部
３８ 制御部（プロセッサ）
４１ 入力部
４２ 判定部
４３ 話題推定部
４４ 段落推定部
４５ 出力部
５０ 学習データ作成装置
５１ 入力部
５２ 学習データ作成部
５３ 出力部
６１ 入力部
６２ 推定部
６３ 出力部
５２１ 文出力部
５２２ ＩＤ付与部
５２３ 組み合わせ生成部
５２４ 付与部
６１１ 文入力部
６２１ ＩＤ付与部
６２２ 組み合わせ生成部
６２３ 切り替わり推定部
５２３１ ＩＤ取り出し部
５２３２ 組み合わせ対象ＩＤ格納部
５２３３ 組み合わせ生成ＩＤ格納部
５２３４ 組み合わせＩＤ生成部
５２４１ 正例付与部
５２４２ 負例付与部
５２４３ 対象外付与部
６２２１ ＩＤ取り出し部
６２２２ 組み合わせ対象ＩＤ格納部
６２２３ 組み合わせ生成ＩＤ格納部
６２２４ 組み合わせＩＤ生成部
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 表示部
１７０ 通信インタフェース
１９０ バス
７０ 学習装置
７１ 制御部（プロセッサ）

Claims (10)

  1. 複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、第１の教師データに基づいて予め学習された第１のモデルを用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する判定部と、
    前記判定の結果に基づき、前記処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または前記話の切り替わりから前記対話の終わりの発話までの段落の範囲を推定する段落推定部と、を備え、
    前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、
    前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである推定装置。
  2. 請求項１に記載の推定装置において、
    前記系列データを構成する発話を分割した分割単位に対して、第２の教師データに基づいて予め学習された第２のモデルを用いて、前記段落または前記段落に含まれる発話における話題を推定する話題推定部をさらに備える、推定装置。
  3. 請求項１に記載の推定装置において、
    前記段落に含まれる発話からキーワードを抽出するキーワード抽出部と、
    前記段落に含まれる発話から抽出されたキーワードに基づき、前記段落または前記段落に含まれる発話における話題を推定する話題推定部と、をさらに備える推定装置。
  4. 請求項３に記載の推定装置において、
    １以上の処理対象の系列データに基づき前記範囲が推定された複数の段落を、類似する段落ごとにクラスタリングするクラスタリング部をさらに備え、
    前記キーワード抽出部は、類似する段落からなるクラスタに含まれる段落のうち、代表の段落に含まれる発話からキーワードを抽出し、
    前記話題推定部は、前記代表の段落に含まれる発話から抽出されたキーワードに基づき、前記代表の段落を含むクラスタを構成する段落における話題を推定する、推定装置。
  5. 請求項１に記載の推定装置において、
    前記処理対象の系列データを構成する発話から、構成する前記要素の数が異なる分割単位を生成し、生成した分割単位ごとに、前記第１のモデルを用いて、話の切り替わりであるか否かを判定する、推定装置。
  6. 複数の話題を含む対話の系列データを構成する発話または前記発話を分割した分割単位に対して、第１の教師データに基づいて予め学習された第１のモデルを用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する判定部と、
    前記判定の結果に基づき、前記処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または前記話の切り替わりから前記対話の終わりの発話までの段落の範囲を推定する段落推定部と、
    前記段落に含まれる発話からキーワードを抽出するキーワード抽出部と、
    前記段落に含まれる発話から抽出されたキーワードに基づき、前記段落または前記段落に含まれる発話における話題を推定する話題推定部と、
    １以上の処理対象の系列データに基づき前記範囲が推定された複数の段落を、類似する段落ごとにクラスタリングするクラスタリング部と、を備え、
    前記キーワード抽出部は、類似する段落からなるクラスタに含まれる段落のうち、代表の段落に含まれる発話からキーワードを抽出し、
    前記話題推定部は、前記代表の段落に含まれる発話から抽出されたキーワードに基づき、前記代表の段落を含むクラスタを構成する段落における話題を推定する、推定装置。
  7. 推定装置により実行される推定方法であって、
    複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、第１の教師データに基づいて予め学習された第１のモデルを用いて、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する判定ステップと、
    前記判定の結果に基づき、前記処理対象の系列データにおける、話の切り替わりから次の切り替わりの直前の発話までの段落または前記話の切り替わりから前記対話の終わりの発話までの段落の範囲を推定する段落推定ステップと、を含み、
    前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、
    前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである、推定方法。
  8. 複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、話の切り替わりであるか否かを示す第１のラベルが付与された第１の教師データに基づき、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する第１のモデルを学習する第１のモデル学習部と、
    前記系列データにおける１つの話題が続く範囲に、前記範囲における話題を示す第２のラベルが付与された第２の教師データに基づき、前記処理対象の系列データを構成する発話における話題を推定する第２のモデルを学習する第２のモデル学習部と、を備え、
    前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、
    前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである学習装置。
  9. 学習装置により実行される学習方法であって、
    複数の話題を含む対話の系列データを構成する発話を分割した分割単位に対して、話の切り替わりであるか否かを示す第１のラベルが付与された第１の教師データに基づき、処理対象の系列データを構成する発話が、話の切り替わりの発話であるか否かを判定する第１のモデルを学習する第１の学習ステップと、
    前記系列データにおける１つの話題が続く範囲に、前記範囲における話題を示す第２のラベルが付与された第２の教師データに基づき、前記処理対象の系列データを構成する発話における話題を推定する第２のモデルを学習する第２の学習ステップと、を含み、
    前記発話の分割単位は、前記発話を所定の規則で分割した一の要素または連続する複数の要素からなり、
    前記第１のモデルは、構成する前記要素の数が異なる分割単位を含み、前記分割単位それぞれに対して、前記話の切り替わりであるか否かを示すラベルが付与された学習データを予め学習済みのモデルである、学習方法。
  10. コンピュータを、請求項１から６のいずれか一項に記載の推定装置として動作させるプログラム。
JP2022532313A 2020-06-16 2021-03-25 推定装置、推定方法、学習装置、学習方法およびプログラム Active JP7425368B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPPCT/JP2020/023644 2020-06-16
PCT/JP2020/023644 WO2021255840A1 (ja) 2020-06-16 2020-06-16 推定方法、推定装置およびプログラム
PCT/JP2021/012692 WO2021256043A1 (ja) 2020-06-16 2021-03-25 推定装置、推定方法、学習装置、学習方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021256043A1 JPWO2021256043A1 (ja) 2021-12-23
JP7425368B2 true JP7425368B2 (ja) 2024-01-31

Family

ID=79267817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022532313A Active JP7425368B2 (ja) 2020-06-16 2021-03-25 推定装置、推定方法、学習装置、学習方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7425368B2 (ja)
WO (2) WO2021255840A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100853A1 (ja) 2009-03-04 2010-09-10 日本電気株式会社 言語モデル適応装置、音声認識装置、言語モデル適応方法、及びコンピュータ読み取り可能な記録媒体
JP2012247912A (ja) 2011-05-26 2012-12-13 Chubu Electric Power Co Inc 音声信号処理装置
JP2018045639A (ja) 2016-09-16 2018-03-22 株式会社東芝 対話ログ分析装置、対話ログ分析方法およびプログラム
JP2018128575A (ja) 2017-02-08 2018-08-16 日本電信電話株式会社 話し終わり判定装置、話し終わり判定方法およびプログラム
JP2019053126A (ja) 2017-09-13 2019-04-04 株式会社日立製作所 成長型対話装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100853A1 (ja) 2009-03-04 2010-09-10 日本電気株式会社 言語モデル適応装置、音声認識装置、言語モデル適応方法、及びコンピュータ読み取り可能な記録媒体
JP2012247912A (ja) 2011-05-26 2012-12-13 Chubu Electric Power Co Inc 音声信号処理装置
JP2018045639A (ja) 2016-09-16 2018-03-22 株式会社東芝 対話ログ分析装置、対話ログ分析方法およびプログラム
JP2018128575A (ja) 2017-02-08 2018-08-16 日本電信電話株式会社 話し終わり判定装置、話し終わり判定方法およびプログラム
JP2019053126A (ja) 2017-09-13 2019-04-04 株式会社日立製作所 成長型対話装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三村 正人、外２名，パネル討論音声の話者と話題に関する自動インデキシングの検討，情報処理学会研究報告，日本，社団法人情報処理学会，1996年05月28日，第９６巻，第５５号，ｐ．１３－１８
長谷川 隆明、外３名，オペレータの応対を支援する自動知識支援システム，ＮＴＴ技術ジャーナル，一般社団法人電気通信協会，2019年07月，第３１巻，第７号，ｐ．１６－１９

Also Published As

Publication number Publication date
WO2021256043A1 (ja) 2021-12-23
JPWO2021256043A1 (ja) 2021-12-23
WO2021255840A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
US10839335B2 (en) Call center agent performance scoring and sentiment analytics
US10616414B2 (en) Classification of transcripts by sentiment
US9792905B2 (en) Apparatus and method for analysis of language model changes
US7634406B2 (en) System and method for identifying semantic intent from acoustic information
CN108153800B (zh) 信息处理方法、信息处理装置以及记录介质
US10347250B2 (en) Utterance presentation device, utterance presentation method, and computer program product
JP4745094B2 (ja) クラスタリングシステム、クラスタリング方法、クラスタリングプログラムおよびクラスタリングシステムを用いた属性推定システム
WO2018150245A1 (en) Unsupervised automated topic detection, segmentation and labeling of conversations
CN107305541A (zh) 语音识别文本分段方法及装置
US11232266B1 (en) Systems and methods for generating a summary of a multi-speaker conversation
US20210026890A1 (en) Faq consolidation assistance device, faq consolidation assistance method, and program
CN104299623A (zh) 语音应用中用于自动确认和消歧模块的方法和系统
JP6208794B2 (ja) 会話分析装置、方法及びコンピュータプログラム
US11955111B2 (en) Learning data generation device, learning data generation method and non-transitory computer readable recording medium
CN112966082A (zh) 音频质检方法、装置、设备以及存储介质
KR20150101341A (ko) 분산 퍼지 연관 규칙 마이닝에 기반한 영화 추천 장치 및 방법
CN113342955A (zh) 一种问答语句的处理方法、装置及电子设备
CN113609865A (zh) 文本情感的识别方法、装置、电子设备及可读存储介质
JP7425368B2 (ja) 推定装置、推定方法、学習装置、学習方法およびプログラム
KR101565143B1 (ko) 대화시스템에서 사용자 발화의 정보 분류를 위한 자질 가중치 산출 장치 및 방법
CN115577109A (zh) 文本分类方法、装置、电子设备及存储介质
JP2019197293A (ja) 会話支援システムおよび会話支援方法
CN114141235A (zh) 语音语料库生成方法、装置、计算机设备和存储介质
KR102078541B1 (ko) 이슈 관심도 기반의 뉴스 가치 평가 장치 및 방법, 이를 기록한 기록매체
US20240211700A1 (en) Dialogue support system and dialogue support method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20221014

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20221014

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R150 Certificate of patent or registration of utility model

Ref document number: 7425368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150