JP6671020B2 - 対話行為推定方法、対話行為推定装置及びプログラム - Google Patents

対話行為推定方法、対話行為推定装置及びプログラム Download PDF

Info

Publication number
JP6671020B2
JP6671020B2 JP2016124900A JP2016124900A JP6671020B2 JP 6671020 B2 JP6671020 B2 JP 6671020B2 JP 2016124900 A JP2016124900 A JP 2016124900A JP 2016124900 A JP2016124900 A JP 2016124900A JP 6671020 B2 JP6671020 B2 JP 6671020B2
Authority
JP
Japan
Prior art keywords
sentence
speaker
dialogue
dialogue act
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016124900A
Other languages
English (en)
Other versions
JP2017228160A (ja
Inventor
貴志 牛尾
貴志 牛尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016124900A priority Critical patent/JP6671020B2/ja
Priority to CN201710275956.6A priority patent/CN107545897A/zh
Priority to US15/615,856 priority patent/US10460721B2/en
Priority to EP17176522.5A priority patent/EP3260996A1/en
Publication of JP2017228160A publication Critical patent/JP2017228160A/ja
Priority to JP2020022292A priority patent/JP6910002B2/ja
Application granted granted Critical
Publication of JP6671020B2 publication Critical patent/JP6671020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Description

本開示は、発話文が分類される対話行為を推定する対話行為推定方法及び対話行為推定装置に関する。
対話行為推定技術は、ユーザの発話を当該発話の意味を指す対話行為へ変換する技術である。このような技術として、１発話単位で対話行為を付与された対話コーパスを用いて、対話行為に寄与している高頻度の語句を特徴として学習する従来技術が存在する（例えば特許文献１及び特許文献２を参照）。また、語句だけでなく、文脈情報（特に、一つ前の発話）を用いて、文脈依存の対話行為を学習する従来技術も存在する（例えば特許文献３及び非特許文献１を参照）。
特許第３０１６７７９号公報 特許第３０５９４１３号公報 特許第５５９１７７２号公報
Nal Kalchbrenner, Phil Blunsom, "Recurrent Convolutional Neural Networks for Discourse Compositionality", arXiv preprint arXiv:1306.3584, 2013.
このような対話行為推定技術では、さらなる精度の向上が望まれている。
本開示は、精度を向上できる対話行為推定方法又は対話行為推定装置を提供することを目的とする。
本開示の一態様に係る対話行為推定方法は、発話文が分類される対話行為を推定する対話行為推定装置における対話行為推定方法であって、前記対話行為学習装置が備えるプロセッサに、現在の発話文となりうる第１の文章のテキストデータと、前記第１の文章の直前の発話文となりうる第２の文章のテキストデータと、前記第１の文章の話者が前記第２の文章の話者と同一であるか否かを示す第１の話者交代情報と、前記第１の文章の分類を示す対話行為情報とを対応付けた第１の訓練データを取得させ、前記第１の訓練データを所定のモデルに適用することにより、前記現在の発話文と前記対話行為情報との対応付けを学習させ、前記学習した結果を学習結果情報として記憶装置に記憶させる。
本開示は、精度を向上できる対話行為推定方法又は対話行為推定装置を提供できる。
実施の形態に係る対話行為推定装置の構成を示すブロック図である。 実施の形態に係る対話行為推定装置による処理のフローチャートである。 実施の形態に係る学習部のブロック図である。 実施の形態に係る学習処理のフローチャートである。 実施の形態に係る訓練コーパスの一例を示す図である。 実施の形態に係る訓練コーパスの一例を示す図である。 実施の形態に係るニューラルネットの概略を示す図である。 実施の形態に係る対話行為推定部のブロック図である。 実施の形態に係る対話行為推定処理のフローチャートである。 実施の形態に係る対話データの一例を示す図である。 実施の形態に係る対話データの一例を示す図である。 実施の形態に係る推定結果の一例を示す図である。 実施の形態に係る推定結果の一例を示す図である。 実施の形態に係る推定結果の精度を示す図である。 実施の形態に係る対話システムのブロック図である。
（本開示の基礎となった知見）
特許文献１では、音声認識結果と中間言語データとの対である学習データに基づいて、識別誤りが最小となるように、中間言語として対話行為と概念の組み合わせを識別する際に、理解率が低いことを問題としている。この問題の解決策として、概念推定用及び発話行為推定用有限状態オートマトンによる推定と、複数の概念及び概念の組み合わせのバイグラムモデルを用いたリランキングとを用いて、音声認識結果を、発話行為、概念又は概念の組み合わせの系列に変換している。
また、特許文献２では、特許文献１と同様の問題に対して、自然発話文に含まれる発話行為に依存する制約と、自然発話文に含まれる意味的な概念の間での組み合わせに依存する制約とを利用して、対話行為と概念の組み合わせを識別する際の理解率を向上させている。
しかしながら、特許文献１及び特許文献２は、長い１話者の発話文から、前処理として発話文の分割を行い、対話行為系列を出力するため、自身の発話以外の前の文脈情報との依存は扱っていない。よって、上位下位関係又は類似性を持つ詳細な対話行為の予測に対しては、適用することが困難である。これにより、対話において自身の発話のみでなく、相手の発話を含めた文脈情報の利用が必要であった。
特許文献３では、発話のクラスタリングに際して、対話中の発話を独立のものと見なしているため、連続した発話からなる対話データに含まれる重要な文脈情報を使っておらず、クラスタリングの精度や対話行為数の推定が十分でないという課題が示されている。この課題に対して、複数の発話の時系列である対話データから、抽出された各発話の特徴量に基づいて、複数の発話を第１クラスタリングし、各発話の特徴量と発話の文脈情報（特に、直前の発話）を用いて、発話を第２クラスタリングし、第１と第２のクラスタリング結果に基づいて、文脈に依存している度合いを推定する。
また、非特許文献１では、特許文献３と同様に、連続した発話からなる対話データに含まれる重要な文脈情報を使っていない点を問題としている。これに対して、連続した発話からなる対話データの発話の特徴量を話者毎に区別し、時系列モデルであるリカレントニューラルネットワークで学習することで、自身と相手の発話を区別して、文脈依存を抽出するモデルが提案されている。
しかしながら、特許文献３と非特許文献１との共通の問題として、学習に用いる文脈情報として、１発話前だけでなく更に過去の文脈情報を用いようとすると、低頻度の文脈情報が学習されないデータスパースネスの問題により、文脈情報が全体的な対話行為の変換性能に寄与しづらいという課題がある。特に、対話コーパスが少ない時には、低頻度の文脈情報が学習されず、全体的な対話行為の変換性能が向上しないという課題がある。
このような課題に対して、本開示の一態様に係る対話行為推定方法は、発話文が分類される対話行為を推定する対話行為推定装置における対話行為推定方法であって、現在の発話文となりうる第１の文章のテキストデータと、前記第１の文章の直前の発話文となりうる第２の文章のテキストデータと、前記第１の文章の話者が前記第２の文章の話者と同一であるか否かを示す第１の話者交代情報と、前記第１の文章の分類を示す対話行為情報とを対応付けた第１の訓練データを取得し、前記第１の訓練データを所定のモデルに適用することにより、前記現在の発話文と前記対話行為情報との対応付けを学習し、前記学習した結果を学習結果情報として記憶する。
これによれば、現在の文章の話者が直前の文章の話者と同一であるか否かを示す話者交代情報を用いて学習が行われる。これにより、発話文と対話行為情報との対応付けの精度を向上できる。
また、大規模なデータ収集は困難であるが、詳細な対話行為推定に必要な２つ以上の文章が連続する訓練データを用いることで、全体的な対話行為の変換性能を向上させることができる。また、収集が容易である連続する２つの発話のみを扱った大規模な訓練コーパスを追加で収集することで、更なる精度向上も可能である。
例えば、前記第１の訓練データは、さらに、前記第１の文章の話者を示す第１の話者識別情報と、前記第２の文章の話者を示す第２の話者識別情報とを含んでもよい。
これによれば、複数の文章の各々の話者を示す話者識別情報を用いて学習が行われる。これにより、発話文と対話行為情報との対応付けの精度を向上できる。
例えば、前記モデルは、前記第１の文章のテキストデータと、前記第２の文章のテキストデータと、前記第１の話者識別情報と、前記第２の話者識別情報と、第１の重みパラメータとに基づき、第１の特徴ベクトルを出力する第１のモデルと、前記第１の文章のテキストデータと、前記第２の文章のテキストデータと、前記第１の話者交代情報と、第２の重みパラメータとに基づき、第２の特徴ベクトルを出力する第２のモデルと、前記第１の特徴ベクトルと、前記第２の特徴ベクトルと、第３の重みパラメータとに基づき、前記第１の文章に対応する対話行為の事後確率を出力する第３のモデルとを含み、前記学習は、前記事後確率と、前記第１の訓練データで示される前記対話行為情報との間で誤差逆伝搬学習を行うことにより実行されてもよい。
例えば、前記第１のモデルは、前記第１の話者識別情報及び前記第２の話者識別情報に依存した前記第１の重みパラメータを持つ第１のＲＮＮ−ＬＳＴＭ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ−Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）に従って、前記第１の文章と前記第２の文章とから前記第１の特徴ベクトルを求め、前記第２のモデルは、前記第１の話者交代情報に依存した前記第２の重みパラメータを持つ第２のＲＮＮ−ＬＳＴＭに従って、前記第１の文章と前記第２の文章とから前記第２の特徴ベクトルを求めてもよい。
例えば、前記第１の訓練データは、２以上の訓練データを集積したコーパスから取得されてもよい。
例えば、前記対話行為推定方法は、さらに、ユーザにより発話された、現在の発話文である第３の文章のテキストデータと、前記第３の文章の直前の発話文である第４の文章のテキストデータと、前記第３の文章の話者が前記第４の文章の話者と同一であるか否かを示す第２の話者交代情報とを含む対話データを取得し、前記学習結果情報に基づき、前記対話データを前記モデルに適用することにより、前記第３の文章が分類される対話行為を推定してもよい。
これによれば、学習結果を用いて、発話文から対話行為を推定できる。
また、本開示の一態様に係る対話行為推定装置は、発話文が分類される対話行為を推定する対話行為推定装置であって、現在の発話文となりうる第１の文章のテキストデータと、前記第１の文章の直前の発話文となりうる第２の文章のテキストデータと、前記第１の文章の話者が前記第２の文章の話者と同一であるか否かを示す第１の話者交代情報と、前記第１の文章の分類を示す対話行為情報とを対応付けた第１の訓練データを取得する訓練データ取得部と、前記第１の訓練データを所定のモデルに適用することにより、前記現在の発話文と前記対話行為情報との対応付けを学習する学習部と、前記学習した結果を学習結果情報として記憶する記憶部とを備える。
これによれば、現在の文章の話者が直前の文章の話者と同一であるか否かを示す話者交代情報を用いて学習が行われる。これにより、発話文と対話行為情報との対応付けの精度を向上できる。
また、本開示の一態様に係るプログラムは、前記対話行為推定方法をコンピュータに実行させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、本開示の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。
（実施の形態）
まず、本実施の形態に係る対話行為推定装置１００の構成を説明する。図１は、本実施の形態に係る対話行為推定装置１００の構成を示すブロック図である。
この対話行為推定装置１００は、発話文が分類される対話行為を推定する。対話行為推定装置１００は、例えば、コンピュータで構成され、記憶部１０１、処理部１０２、記憶部１０３、処理部１０４及び記憶部１０５を備える。
記憶部１０１、１０３及び１０５は、例えば、ハードディスクドライブ又はソリッドステートドライブ等の書き換え可能な不揮発性のメモリーで構成される。
記憶部１０１は、訓練コーパス１２１、及び対話データ１２３を記憶する。記憶部１０３は、学習結果情報１２２を記憶する。記憶部１０５は、推定結果１２４を記憶する。
処理部１０２は、訓練データ取得部１１１と、学習部１１２と、対話データ取得部１１３とを備える。処理部１０４は、対話行為推定部１１４を備える。
処理部１０２及び１０４は、例えば、ＣＰＵ、ＡＳＩＣ、又はＦＰＧＡ等のプロセッサで構成される。なお、処理部１０２及び１０４が備える各ブロックは、ＣＰＵ等のプロセッサが、コンピュータに保持されている、コンピュータ読み取り可能なプログラムを実行することで実現される。
次に、対話行為推定装置１００の動作を説明する。図２は、対話行為推定装置１００の動作の概要を示すフローチャートである。
まず、対話行為推定装置１００は、訓練コーパス１２１に含まれる複数の訓練データを用いて、発話文と対話行為との対応関係を学習する学習処理を行う（Ｓ１０１）。
次に、対話行為推定装置１００は、上記学習処理の結果を用いて、発話文が分類される対話行為を推定する対話行為推定処理を行う（Ｓ１０２）。
以下、上記学習処理（Ｓ１０１）の詳細を説明する。図３は、学習部１１２の構成を示すブロック図である。図３に示すように、学習部１１２は、形態素解析部１３１、単語特徴抽出部１３２、文脈依存抽出部１３３、シーン依存抽出部１３４、対話行為予測部１３５及び重み更新部１３６を備える。
図４は、本実施の形態に係る学習処理（Ｓ１０１）のフローチャートである。
まず、学習部１１２は、学習対象である全ての重みパラメータを擬似乱数テーブルに基づいて初期化する（Ｓ１１１）。具体的には、学習部１１２は、後述する図７に示すニューラルネットワークモデル１５１の全ての重みパラメータを初期化する。
次に、訓練データ取得部１１１は、訓練コーパス１２１に含まれる複数の訓練データ１４１のうち一つを取得する（Ｓ１１２）。図５及び図６は、訓練コーパス１２１の一例を示す図である。図５は、英語談話の場合の訓練コーパス１２１の一例を示し、図６は、日本語問診対話の場合の訓練コーパス１２１の一例を示す。
図５及び図６に示すように、訓練コーパス１２１は、２以上の訓練データ１４１が集積されたものである。各訓練データ１４１は、連続して時系列に発話される複数の発話文に対応し、当該複数の発話文に一対一に対応する複数の訓練情報１４２を含む。各訓練情報１４２は、対話ＩＤ１４３と、時刻情報１４４と、対話行為情報１４５と、話者識別情報１４６と、話者交代情報１４７と、文章１４８とを含む。
文章１４８は、発話文となりうる文章のテキストデータである。対話ＩＤ１４３は、当該訓練情報１４２が含まれる訓練データ１４１を一意に特定するための識別子である。時刻情報１４４は、文章１４８の時刻（発話順）を示す。つまり、時刻情報１４４により、一つの訓練データ１４１に含まれる複数の訓練情報１４２内の文章１４８が発話された順番が示される。また、対話ＩＤ１４３及び時刻情報１４４により、一つの訓練データ１４１内における対話の開始及び終端が管理される。
対話行為情報１４５は、文章１４８の分類を示す教師データである。具体的には、図６に示すように、対話行為情報１４５は、「質問」、「主張−症状主訴」、「応答−否定」、「感謝」といった、文章１４８が示す意味を大別した分類を示す。言い換えると、対話行為情報１４５は、文章１４８の意味又はその概要を示す。
話者識別情報１４６は、文章１４８の話者を識別するための情報である。話者交代情報１４７は、現在の文章１４８の話者と、直前の文章１４８の話者とが同一であるか否かを示す。例えば、この話者交代情報１４７は、現在及び直前の文章の話者識別情報１４６から算出可能である。例えば、現在の時刻において話者識別情報１４６により話者が聞き手であり、前の時刻において話者が話し手であることが示される場合には、話者交代情報１４７は「応答」に設定される。現在の時刻及び前の時刻において、話者識別情報１４６により話者が共に聞き手であることが示される場合には、話者交代情報１４７は「連続発話」に設定される。これは各時刻における話し手と聞き手とが逆の場合も同様である。つまり、現在の時刻と直前の時刻とにおける話者が異なる場合には、話者交代情報１４７は「応答」に設定され、現在の時刻と直前の時刻とにおける話者が同一の場合には、話者交代情報１４７は「連続発話」に設定される。また、前の時刻の文章が存在しない場合には、つまり、現在の文章が、訓練データ１４１に含まれる最初の文章である場合には、話者交代情報１４７は「対話開始」に設定される。
また、文章１４８で示されるテキストデータは、例えば、日本語の場合は単語の区切りがない文字列データであり、英語の場合は、半角スペースにより単語が区切られた文字列データである。
このように、訓練データ１４１は、現在の発話文となりうる第１の文章１４８と、第１の文章１４８の直前の発話文となりうる第２の文章１４８と、第１の文章１４８の話者を示す第１の話者識別情報１４６と、第２の文章１４８の話者を示す第２の話者識別情報１４６と、第１の文章１４８の話者が第２の文章１４８の話者と同一であるか否かを示す話者交代情報１４７と、第１の文章１４８の分類を示す対話行為情報１４５とを対応付けるデータである。
また、ここでは、訓練データ取得部１１１は、現在の時刻（処理対象の時刻）の訓練情報１４２（対話行為情報１４５、話者識別情報１４６、話者交代情報１４７、及び文章１４８）と、現在の時刻の直前の連続する時刻であって、予め定められた文脈幅で示される数の１以上の時刻（以下、前時刻群とも呼ぶ）の話者識別情報１４６及び文章１４８とを取得する。
また、対話行為推定装置１００は、ステップＳ１１２の処理を、処理対象とする現在の時刻（訓練情報１４２）又は訓練データ１４１を変更しながら、学習が収束するまで繰り返し実行する。このとき、訓練データ取得部１１１は、対話ＩＤ１４３に基づいて、異なる対話間では非連続となるように抽出を行う。また、訓練データ取得部１１１は、抽出ごとに現在の時刻をインクリメントすることで異なる学習データを抽出する。また、通常は、文脈幅は固定であるが、対話初期など文脈情報が文脈幅に満たない場合は、通常より短い文脈幅を持つことになる。
例えば、図５に示す例において、文脈幅が５であり、処理対象が時刻５の文章１４８である場合には、現在時刻５の文章１４８と、前時刻群である時刻０〜４の文章１４８と、現在時刻及び前時刻群の時刻０〜５の話者識別情報１４６「Ｂ，Ａ，Ａ，Ａ，Ａ，Ｂ」と、現在時刻５の話者交代情報１４７「応答」とが取得される。また、現在時刻５の対話行為情報１４５「Ｕｎｉｎｔｅｒｐｒｅｔａｂｌｅ」が学習時の真値となる教師データとして取得される。
同様に、例えば、図６に示す例において、文脈幅が５であり、処理対象が時刻５の文章１４８である場合には、現在時刻５の文章１４８と、前時刻群である時刻０〜４の文章１４８と、現在時刻及び前時刻群の時刻０〜５の話者識別情報１４６「Ｂ，Ａ，Ｂ，Ａ，Ｂ，Ｂ」と、現在時刻５の話者交代情報１４７「連続発話」と、現在時刻５の対話行為情報１４５「質問」とが取得される。
次に、学習部１１２は、取得された訓練データ１４１を所定のモデルに適用することにより、現在の発話文（文章１４８）に含まれる単語の重要度を含む、現在の発話文（文章１４８）と対話行為情報１４５との対応付けを学習する。ここで、モデルとは、例えば、後述するニューラルネットワークモデル１５１である。
具体的には、形態素解析部１３１は、訓練データ取得部１１１で取得された現在時刻及び前時刻群の文章１４８の各々を、単語に分割することで単語列に変換する（Ｓ１１３）。例えば、日本語においては、形態素解析ソフト（例えば、ＭｅＣａｂ）を用いて、この処理を実現することができる。また、英語においては、発話は半角スペースを単語区切りとすることで、この処理を実現することができる。例えば、形態素解析部１３１は、「頭痛があります。」という文章１４８を、「頭痛」、「が」、「あります」、「。」に分割する。
次に、単語特徴抽出部１３２は、形態素解析部１３１で得られた、現在時刻及び前時刻群の単語列の各々を、単語特徴を表現した文ベクトル表現である特徴ベクトルに変換する（Ｓ１１４）。この方法としては、例えば、入力として想定される全ての単語のリスト（以降、辞書とも呼ぶ）に基づき、文に含まれる単語又は連続単語のみの要素値を１とした特徴ベクトルに変換する（Ｂａｇ ｏｆ Ｗｏｒｄｓ表現）方法を用いることができる。つまり、特徴ベクトルは、リストに含まれる全ての単語又は連続単語の数の要素を含み、各要素は、各単語又は連続単語に対応する。
また、教師あり学習（例えば、対話行為を教師とする学習）により、事前又は後段の学習と同時に、ある対話行為に高頻度で出現する単語を抽出したベクトル表現に変換する方法を用いることもできる。
次に、文脈依存抽出部１３３は、前時刻群の特徴ベクトルと、現在時刻の特徴ベクトルと、前時刻群及び現在時刻の話者識別情報１４６と、第１の重みパラメータとに基づき、現在時刻の文章に対する対話行為を予測する際に高頻度で用いられる文脈を示す第１の特徴ベクトルを求める（Ｓ１１５）。例えば、この機能は、図７に示すモデル１５３（第１のモデル）により実現される。つまり、モデル１５３は、現在時刻の第１の文章１４８のテキストデータと、前時刻群の第２の文章１４８のテキストデータと、現在時刻の第１の話者識別情報１４６と、前時刻群の第２の話者識別情報１４６と、第１の重みパラメータとに基づき、第１の特徴ベクトルを出力する。例えば、モデル１５３は、前時刻群の話者識別情報１４６（前話者識別情報）及び現在時刻の話者識別情報１４６（現話者識別情報）に依存した第１の重みパラメータを持つ、時系列ニューラルネットワークモデルであるＲＮＮ−ＬＳＴＭ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ−Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）に従って、現在時刻の第１の文章と前時刻群の第２の文章とから第１の特徴ベクトルを求める。このモデル１５３により、高頻度で発生する現在の文章と依存している文脈情報が最終的に隠れ層から第１の特徴ベクトルとして出力される。
また、シーン依存抽出部１３４は、現在時刻の特徴ベクトルと、現在時刻の直前の時刻（以下、直前時刻とも記す）の特徴ベクトルと、現在時刻の話者交代情報１４７と、第２の重みパラメータとに基づき、現在時刻の文章に対する対話行為を予測する際に高頻度で用いられる、シーン（対話開始、連続発話、及び応答等）ごとの現在時刻及び直前時刻の文章を示す第２の特徴ベクトルを算出する（Ｓ１１６）。例えば、この機能は、図７に示すモデル１５２（第２のモデル）により実現される。つまり、第２のモデル１５２は、現在時刻の第１の文章１４８のテキストデータと、直前時刻の第２の文章１４８のテキストデータと、現在時刻の第１の話者交代情報１４７と、第２の重みパラメータとに基づき、第２の特徴ベクトルを出力する。例えば、モデル１５２は、現在時刻の話者交代情報１４７に依存した重みパラメータを持つ時系列ニューラルネットワークモデルであるＲＮＮ−ＬＳＴＭに従って、現在時刻の第１の文章と直前時刻の第２の文章とから第２の特徴ベクトルを求める。このモデル１５２により、シーン別に高頻度で発生する現在時刻及び直前時刻の文章を示す第２の特徴ベクトルが最終的に隠れ層から出力される。
次に、対話行為予測部１３５は、第１の特徴ベクトル及び第２の特徴ベクトルと、第３の重みパラメータとに基づき、現在時刻の文章に対する対話行為の確率分布を示す事後確率を算出する（Ｓ１１７）。例えば、図７のモデル１５４に示すように、この機能は、多項ロジスティック回帰により実現される。つまり、第３のモデル１５４は、第１の特徴ベクトルと、第２の特徴ベクトルと、第３の重みパラメータとに基づき、現在時刻の第１の文章に対応する対話行為の事後確率を出力する。
次に、重み更新部１３６は、対話行為の事後確率と、現在時刻の対話行為情報１４５で示される真値となる対話行為に基づいて、モデル１５２〜１５４の第１〜第３の重みパラメータを適した数値に更新する（Ｓ１１８）。例えば、重み更新部１３６は、事後確率と、真値となる対話行為との予測誤差に基づいて、誤差逆伝搬法により重みパラメータを更新する。つまり、重み更新部１３６は、事後確率と、真値となる対話行為との誤差（差分）が最小となるように第１〜第３の重みパラメータを更新する学習を行う。このように、学習部１１２は、事後確率と、訓練データ１４１で示される現在時刻の対話行為情報１４５との間で誤差逆伝搬学習を行うことにより学習を実行する。
次に、学習部１１２は、学習処理を終了するか否かを判定する（Ｓ１１９）。例えば、学習部１１２は、学習を繰り返しても、誤差が減らなくなった場合に学習処理を終了すると判定する。
学習処理を終了しない場合（Ｓ１１９でＮｏ）、再度、ステップＳ１１２以降の処理が、次の時刻又は別の訓練データ１４１に対して行われる。また、学習処理を終了する場合（Ｓ１１９でＹｅｓ）、上記学習処理の結果を示す学習結果情報１２２が記憶部１０３に記憶される（Ｓ１２０）。具体的には、この学習結果情報１２２は、学習処理終了時の学習パラメータ（第１〜第３の重みパラメータ）を示す。
以下、ニューラルネットワークモデル１５１を用いた学習処理を詳細に説明する。図７は、本実施の形態に係る文脈依存抽出部１３３、シーン依存抽出部１３４及び対話行為予測部１３５で用いられるニューラルネットワークモデル１５１の概略を表す図である。このモデル１５１は、上述したモデル１５２〜１５４を含む。
文脈依存抽出部１３３で用いられるモデル１５３は、リカレントニューラルネットワーク（ＲＮＮ−ＬＳＴＭ）と隠れ層とによって構成されている。
リカレントニューラルネットワークは、時系列データの処理に適しており、その中でもＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）は、記憶ユニットと呼ばれるモジュールを持たせることで、長期依存関係を学習可能であることが優れている点である。
シーン依存抽出部１３４で用いられるモデル１５４も同様に、リカレントニューラルネットワーク（ＬＳＴＭ）と隠れ層によって構成されている。対話行為予測部１３５で用いられるモデル１５４は、ロジスティック回帰によって構成されている。
ニューラルネットワークモデル１５１は、下記（式１）で表すクロスエントロピー誤差の値を最小化することを目的とする。
Figure 0006671020
Ｐ（Ｙ＝ｙｔｋ｜ｘｔ−Ｔ，…ｘｔ；θ）は、Ｎ個の訓練情報１４２におけるｔ番目（現在時刻）の文章１４８の特徴ベクトルｘｔと、前時刻群の特徴ベクトルｘｔ−Ｔ…に対する、Ｋ個の対話行為中のｋ番目の対話行為ｙｔｋの事後確率を示している。ここで、Ｔは前時刻群として扱う時刻の数を示す固定の文脈幅であり、θはニューラルネットワークの全ての学習パラメータであり、ｕｔｋはｔ番目の発話文に対する真値である対話行為である。そのため、（式１）は、全データに対する対話行為の予測誤差を示しており、学習部１１２は、（式１）の予測誤差を最小化するために、θを誤差逆伝搬法により更新していく。
以降、各事後確率が求まるまでの、ニューラルネットワークの処理の流れを説明する。まず、ＬＳＴＭにおいて、下記（式２）〜（式５）に示すように、特徴ベクトルｘに４つの重み行列Ｗｉ，Ｗｃ，Ｗｆ，Ｗｏを掛け、一つ前のＬＳＴＭの出力を示すｈｔ−１に重み行列Ｈｉ，Ｈｃ，Ｈｆ，Ｈｏを掛け、これらの結果にバイアス項であるｂｉ，ｂｃ，ｂｆ，ｂｏを足し合わせる。この結果を、活性化関数であるｓｉｇｍｏｉｄ関数の引数とすることで、０〜１の範囲で要素値を持つ４つのベクトルｉｔ，ｃ〜ｔ，ｆｔ，ｏｔが算出される。ｉｔ，ｃ〜ｔ，ｆｔ，ｏｔは、記憶ユニットの制御を行うためのベクトルであり、前から順に記憶入力制御、入力記憶セル、記憶忘却制御、記憶出力制御を担っている。
Figure 0006671020
次に、学習部１１２は、下記（式６）に示すように、入力制御ベクトルｉｔと入力記憶セルｃ〜ｔ、忘却制御ベクトルｆｔ、及び前記憶ユニット値ｃｔ−１を用いて、ニューラルネットワークが持つ記憶セルｃｔの値を更新する。
Figure 0006671020
次に、学習部１１２は、（式７）で示すように、出力制御ベクトルｏｔ及び記憶セルｃｔにより現在のＬＳＴＭの出力であるｈｔを算出する。
Figure 0006671020
ここで、ｔは、前時刻群及び現在時刻の文章を時系列に並べた際において、その時刻が過去から何番目かを指している。ｔａｎｈ関数を（式８）に示す。
Figure 0006671020
学習部１１２は、対話行為の予測対象である現在時刻であるｔ＝ｅに至るまで再帰的に演算を繰り返す。なお、上記の処理は、文脈依存抽出部１３３とシーン依存抽出部１３４とで異なる重みパラメータを用いて行われる。
特に、本実施の形態の特徴として、下記（式９）に示すように、図７のモデル１５３において、（式２）〜（式６）の重み行列Ｈｉ，Ｈｃ，Ｈｆ，Ｈｏに対して、前の話者識別情報に依存した変数Ｈｉ ａｔ−１，Ｈｃ ａｔ−１，Ｈｆ ａｔ−１，Ｈｏ ａｔ−１が用いられる。つまり、前話者の文章の特徴ベクトルを、前話者の識別番号に応じて異なる重みパラメータによって演算した結果が、次の話者の文章の特徴ベクトルに再帰的に加算される。これにより、対話行為を予測する現在時刻におけるＬＳＴＭの出力には、話者が話し手か聞き手かで区別された状態で文脈が反映される。
Figure 0006671020
また、下記（式１０）に示すように、図７に示すモデル１５２において、（式２）〜（式６）の重み行列Ｈｉ，Ｈｃ，Ｈｆ，Ｈｏに対して、話者交代情報１４７に依存した変数Ｈｉ ｓｔ−１，Ｈｃ ｓｔ−１，Ｈｆ ｓｔ−１，Ｈｏ ｓｔ−１が用いられる。
Figure 0006671020
つまり、前話者の文章の特徴ベクトルを、シーン（対話開始、連続発話、又は応答等）に応じて異なる重みパラメータによって演算した結果が、次の話者の文章の特徴ベクトルに再帰的に加算される。また、シーン依存抽出部１３４では、文脈依存抽出部１３３と異なり、現在の文章とその一つ前の文章との２つの連続する文章しか用いず、話者を区別しないため、長期の文脈情報は反映されないが、シーンごとに話者共通で行い易い対話行為が反映される。
次に、図７に示すモデル１５３における隠れ層で、下記（式１１）に示すように、対話行為の予測対象である現在の文章の時刻であるｔ＝ｅにおけるｈｌ ｅと、話者識別情報に依存した重み行列Ｏｌ ａｅとを掛け、その結果にバイアス項ｂｌを足すことで第１の特徴ベクトルｆｌ−ｄｅｐが得られる。
Figure 0006671020
同様に、図７に示すモデル１５２における隠れ層で、下記（式１２）に示すように、対話行為の予測対象である現在の文章の時刻であるｔ＝ｅにおけるｈｒ ｅと重み行列Ｏｒとを掛け、その結果にバイアス項ｂｒを足すことで第２の特徴ベクトルｆｒ−ｄｅｐが得られる。
Figure 0006671020
最後に、図７に示すモデル１５４のロジスティック回帰において、下記（式１３）に示すように、（式１１）と（式１２）で求めた第１の特徴ベクトルｆｌ−ｄｅｐと第２の特徴ベクトルｆｒ−ｄｅｐとを結合し、得られた結果に重み行列Ｏｃｌａｓｓを掛け、得られた結果にバイアス項ｂｃｌａｓｓを足す。さらに、得られた各要素を下記（式１４）で示すｓｏｆｔｍａｘ関数の引数とすることで、対話行為の確率分布が得られる。そして、確率分布の各要素が事後確率Ｐ（Ｙ＝ｙｔｋ｜ｘｔ−Ｔ，…ｘｔ；θ）を示している。
Figure 0006671020
なお、（式１１）〜（式１３）は、ある特徴量を示すベクトルから、確率分布を導出する近似関数をニューラルネットワークにおいて、実現する方法である。
以上により、図７に示すニューラルネットワークモデル１５１により、対話行為の事後確率が算出される。
次に、上記学習処理により得られた学習結果を用いる対話行為推定処理（図２のＳ１０２）の詳細を説明する。図８は、対話行為推定部１１４の構成を示すブロック図である。
対話行為推定部１１４は、形態素解析部１６１、単語特徴抽出部１６２、文脈依存抽出部１６３、シーン依存抽出部１６４、対話行為予測部１６５及び推定部１６６を備える。
図９は、本実施の形態における対話行為推定処理（Ｓ１０２）のフローチャートである。
まず、文脈依存抽出部１６３、シーン依存抽出部１６４、及び対話行為予測部１６５は、上述した学習処理（Ｓ１０１）により記憶部１０３に格納された学習結果情報１２２（第１〜第３の重みパラメータ）を読み込む（Ｓ１３１）。具体的には、図７に示すニューラルネットワークモデル１５１の第１〜第３の重みパラメータが更新される。
次に、対話データ取得部１１３は、記憶部１０１に記憶されている対話データ１２３を取得する（Ｓ１３２）。図１０及び図１１は、対話データ１２３の一例を示す図である。図１０は、英語談話の場合の対話データ１２３の一例を示し、図１０は、日本語問診対話の場合の対話データ１２３の一例を示す。
図１０及び図１１に示すように、対話データ１２３は、時系列に発せられた複数の発話文に対応する複数の対話情報１７１を含む。各対話情報１７１は、時刻情報１７２と、話者識別情報１７３と、話者交代情報１７４と、発話文１７５とを含む。
発話文１７５は、ユーザにより発話された文章のテキストデータである。なお、時刻情報１７２、話者識別情報１７３及び話者交代情報１７４の意味は、上述した訓練コーパス１２１に含まれる時刻情報１４４、話者識別情報１４６及び話者交代情報１４７の意味と同様である。
このように、対話データ１２３は、ユーザにより発話された、現在の発話文１７５である第３の文章のテキストデータと、第３の文章の直前の発話文１７５である第４の文章のテキストデータと、第３の文章の話者を示す第３の話者識別情報１７３と、第４の文章の話者を示す第４の話者識別情報１７３と、第３の文章の話者が第４の文章の話者と同一であるか否かを示す第２の話者交代情報１７４とを含む。
ここで、対話データ１２３は、例えば、外部から入力された、連続する複数の発話文に基づき生成される。まず、対話行為推定装置１００は、入力された、連続する複数の発話文を時系列に分割することで複数の発話文１７５を得る。次に、対話行為推定装置１００は、各発話文１７５に時刻情報１７２及び話者識別情報１７３を付与する。また、対話行為推定装置１００は、話者識別情報１７３に基づき、話者交代情報１７４を算出する。具体的には、対話行為推定装置１００は、現在時刻と直前時刻の話者識別情報１７３に基づき、現在時刻の話者交代情報１７４を算出し、当該話者交代情報１７４を現在時刻の発話文１７５に付加する。
ここで、連続した発話文を時系列に分割する際には、例えば、テキストチャットシステムによる入力の場合、相手に一度に送信したテキスト単位で発話文を分割する。また、音声対話システムによる入力の場合、音声認識のトリガとなる連続する無音区間の発生に基づき、発話文を分割する。また、話者識別情報１７３は、声紋認証等により生成してもよいし、外部から入力されてもよい。
また、対話データ１２３として、文脈幅に応じた過去の連続する発話文と、新しく入力された現在の発話文が少なくとも保持される。また、新たな入力に応じて最も過去の発話文が除去される。また、文脈幅として、上記学習処理（Ｓ１０１）時と等しい数値が用いられる。
次に、対話行為推定部１１４は、学習結果情報１２２に基づき、対話データ１２３をモデル１５１に適用することにより、現在時刻の第３の文章が分類される対話行為を推定する。
具体的には、形態素解析部１６１は、取得された対話データ１２３に含まれる現在時刻及び前時刻群の発話文１７５の各々を、形態素解析により単語に分割することで単語列に変換する（Ｓ１３３）。
次に、単語特徴抽出部１６２は、形態素解析部１６１で得られた、現在時刻及び前時刻群の単語列の各々を、単語特徴を表現した文ベクトル表現である特徴ベクトルに変換する（Ｓ１３４）。なお、ステップＳ１３３及びＳ１３４の詳細は、上述したステップＳ１１３及びＳ１１４と同様である。
次に、文脈依存抽出部１６３は、前時刻群の特徴ベクトルと、現在時刻の特徴ベクトルと、前時刻群及び現在時刻の話者識別情報１７３と、第１の重みパラメータとに基づき、第１の特徴ベクトルを求める（Ｓ１３５）。
また、シーン依存抽出部１６４は、現在時刻の特徴ベクトルと、直前時刻の特徴ベクトルと、現在時刻の話者交代情報１７４と、第２の重みパラメータとに基づき、第２の特徴ベクトルを算出する（Ｓ１３６）。
次に、対話行為予測部１６５は、第１の特徴ベクトル及び第２の特徴ベクトルと、第３の重みパラメータとに基づき、現在時刻の文章に対する対話行為の確率分布を示す事後確率を算出する（Ｓ１３７）。
なお、これらのステップＳ１３５〜Ｓ１３７の詳細は、学習結果情報１２２で示される第１〜第３の重みパラメータが用いられる点を除き、上述したステップＳ１１５〜Ｓ１１７と同様である。
次に、推定部１６６は、ステップＳ１３７で得られた対話行為の事後確率に基づき、対話行為を推定し、推定した対話行為を示す推定結果１２４を記憶部１０５に記憶する（Ｓ１３８）。例えば、推定部１６６は、事後確率で示される複数の対話行為の確率値うち確率値が最も高い対話行為を推定結果１２４として決定する。
また、図９に示す一連の処理が、各時刻の発話文に対して順次行われる。
図１２及び図１３は、推定結果１２４の一例を示す図である。図１２は、英語談話の場合の推定結果１２４の一例を示し、図１３は、日本語問診対話の場合の推定結果１２４の一例を示す。図１２及び図１３に示すように、推定結果１２４は、時系列に発せられた複数の発話文に対応する複数の推定結果情報１８１を含む。各推定結果情報１８１は、時刻情報１７２と、話者識別情報１７３と、話者交代情報１７４と、発話文１７５と、予測対話行為１８２とを含む。
予測対話行為１８２は、推定部１６６で得られた対話行為の推定結果を示す。なお、時刻情報１７２、話者識別情報１７３、話者交代情報１７４及び発話文１７５は、対話データ１２３に含まれる情報と同一である。
図１２に示す例において、文脈幅を５とすると、前時刻群の発話文１７５は、時刻５〜９までの発話文１７５であり、現在時刻の発話文１７５は、時刻１０の発話文１７５である。そして、各時刻に対応する話者識別情報１７３は、「Ａ，Ａ，Ａ，Ｂ，Ｂ，Ａ」であり、現在時刻の話者交代情報１７４は「応答」である。この場合、現在時刻の予測対話行為１８２として「Ｙｅｓ ａｎｓｗｅｒｓ」が得られる。これは、シーン依存抽出部１６４によるシーン別に高頻度で発生する現在と１つ前の発話として、「ｉｓ ｔｈａｔ ｒｉｇｈｔ（ほんと？）」を抽出できたことで、予測確率がより高められた例である。
図１３に示す例において、文脈幅を５とすると、前時刻群の発話文１７５は、時刻１〜５までの発話文１７５であり、現在時刻の発話文１７５は、時刻６の発話文１７５である。そして、各時刻に対応する話者識別情報１７３は、「Ａ，Ｂ，Ａ，Ｂ，Ｂ，Ｂ」であり、現在時刻の話者交代情報１７４は「連続発話」である。この場合、現在時刻の予測対話行為１８２として「応答−症状主訴」が得られる。これは、シーン依存抽出部１６４によるシーン別に高頻度で発生する現在と１つ前の発話として、「気にしすぎかもしれませんが・・・」を抽出することだけでなく、文脈依存抽出部１６３による高頻度で発生する現在の発話と依存した文脈情報として、「頭痛ですね。他には何かありますか？」が抽出できることにより、予測確率がより高められる例である。
図１４は、本実施の形態における英語談話の２００対話コーパスによる学習結果を示す図である。４２種の対話行為の分類精度（Ａｃｃｕｒａｃｙ）において、本実施の形態に係る手法は、非特許文献１を示す従来手法と比較して、様々な文脈幅において、優れた分類精度を示している。特に、対話コーパスの数が少ない時に、１つ前より過去の発話を文脈情報として学習することに比べ、低頻度とならない２つの連続する発話も加味することで、全体的な対話行為の変換性能が向上することが確認できる。
なお、上記説明では、訓練コーパス１２１に複数の訓練データ１４１が含まれる例を示したが、訓練コーパス１２１は、一つの訓練データ１４１のみを含んでもよい。
また、上記説明では、対話行為推定装置１００において、学習処理と、対話行為推定処理との両方が行われる例を述べたが、これらの処理は異なる装置で行われてもよい。
以上のように、本実施の形態に係る対話行為推定装置１００は、現在の文章の話者が直前の文章の話者と同一であるか否かを示す話者交代情報１４７と、各文章の話者を示す話者識別情報１４６とを用いて学習を行う。これにより、発話文と対話行為情報との対応付けの精度を向上できる。
以下、上述した対話行為推定装置１００の利用形態について説明する。図１５は、対話行為推定装置１００を含む対話システムのブロック図である。この対話システムは、音声認識の機能を有し、クラウド上に存在するサーバ５００と、スマートフォン等の携帯端末４００とを含む。ユーザは、携帯端末４００を介して、音声によりシステムと自然言語による対話を行うことができる。
携帯端末４００及びサーバ５００は、例えば、インターネット等の公衆通信ネットワークを介して接続されている。携帯端末４００は、スマートフォン又はタブレットなどである。
携帯端末４００は、マイク４０１、信号処理部４０２、通信部４０３及び応答実行部４０４を備える。マイク４０１は、音声を電気的な音声信号に変換するものであり、ユーザの音声を収音するために用いられる。
信号処理部４０２は、マイク４０１から入力される音声信号がノイズであるか否かを判定し、ノイズで無い場合、その音声信号を通信部４０３に出力する。
通信部４０３は、入力された音声信号を通信可能なフォーマットを持つ通信信号に変換し、得られた通信信号をサーバ５００に送信する。
応答実行部４０４は、信号処理部４０２が通信部４０３より受け取った応答文をモニタに表示する。
サーバ５００は、対話行為推定装置１００、通信部５０１、音声処理部５０２、対話管理部５０３、及び応答生成部５０４を備える。通信部５０１は、携帯端末４００からの通信信号を受信し、通信信号から音声信号を取り出して、取り出した音声信号を音声処理部５０２に出力する。
音声処理部５０２は、取り出された音声信号を解析することで、ユーザが発話した音声を示すテキストデータを生成する。
対話行為推定装置１００は、例えば、図１に示す対話行為推定装置１００であり、上述した学習処理が既に終了している状態である。対話行為推定装置１００は、音声処理部５０２で生成されたテキストデータを用いて、上述した対話データ１２３を生成し、該対話データ１２３を用いて、対話行為を推定し、推定結果を出力する。
対話管理部５０３は、対話行為推定装置１００で推定された対話行為を時系列に保持し、対話行為の系列に基づいて、応答すべきシステム側の対話行為を出力する。
応答生成部５０４は、対話管理部５０３から受け取った対話行為に対応する応答文を生成する。通信部５０１は、生成された応答文を通信可能なフォーマットを持つ通信信号に変換し、得られた通信信号を携帯端末４００に送信する。
このように、図１５の対話システムでは、サーバ５００は、上記の学習が行われた後の対話行為推定装置１００を用いて、ユーザの発話を適切に理解し、応答することが可能である。
以上、実施の形態に係る対話行為推定装置について説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る対話行為推定装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本開示は、対話行為推定装置により実行される対話行為推定方法として実現されてもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る対話行為推定装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、対話行為推定装置に適用でき、例えば、音声又はテキストによるユーザの発話を保持した対話履歴に基づいて、ユーザの発話を適切に理解するシステムに適用できる。例えば、本開示は、ユーザのタスクを達成するコールセンター、問診対話、又は雑談対話など、タスク指向或いは非タスク指向の対話システム装置又は対話システム方式に利用可能である。また、本開示は、対話履歴から特定の対話行為のみを抽出する情報検索装置又は情報検索方式に利用可能である。
１００ 対話行為推定装置
１０１、１０３、１０５ 記憶部
１０２、１０４ 処理部
１１１ 訓練データ取得部
１１２ 学習部
１１３ 対話データ取得部
１１４ 対話行為推定部
１３１、１６１ 形態素解析部
１３２、１６２ 単語特徴抽出部
１３３、１６３ 文脈依存抽出部
１３４、１６４ シーン依存抽出部
１３５、１６５ 対話行為予測部
１３６ 重み更新部
１６６ 推定部
１２１ 訓練コーパス
１２２ 学習結果情報
１２３ 対話データ
１２４ 推定結果
１４１ 訓練データ
１４２ 訓練情報
１４３ 対話ＩＤ
１４４、１７２ 時刻情報
１４５ 対話行為情報
１４６、１７３ 話者識別情報
１４７、１７４ 話者交代情報
１４８ 文章
１５１、１５２、１５３、１５４ モデル
１７１ 対話情報
１７５ 発話文
１８１ 推定結果情報
１８２ 予測対話行為
４００ 携帯端末
４０１ マイク
４０２ 信号処理部
４０３、５０１ 通信部
４０４ 応答実行部
５００ サーバ
５０２ 音声処理部
５０３ 対話管理部
５０４ 応答生成部

Claims (8)

  1. 発話文が分類される対話行為を推定する対話行為推定装置における対話行為推定方法であって、
    前記対話行為学習装置が備えるプロセッサに、
    現在の発話文となりうる第１の文章のテキストデータと、前記第１の文章の直前の発話文となりうる第２の文章のテキストデータと、前記第１の文章の話者が前記第２の文章の話者と同一であるか否かを示す第１の話者交代情報と、前記第１の文章の分類を示す対話行為情報とを対応付けた第１の訓練データを取得させ、
    前記第１の訓練データを所定のモデルに適用することにより、前記現在の発話文と前記対話行為情報との対応付けを学習させ、
    前記学習した結果を学習結果情報として記憶装置に記憶させる
    対話行為推定方法。
  2. 前記第１の訓練データは、さらに、前記第１の文章の話者を示す第１の話者識別情報と、前記第２の文章の話者を示す第２の話者識別情報とを含む
    請求項１記載の対話行為推定方法。
  3. 前記モデルは、
    前記第１の文章のテキストデータと、前記第２の文章のテキストデータと、前記第１の話者識別情報と、前記第２の話者識別情報と、第１の重みパラメータとに基づき、第１の特徴ベクトルを出力する第１のモデルと、
    前記第１の文章のテキストデータと、前記第２の文章のテキストデータと、前記第１の話者交代情報と、第２の重みパラメータとに基づき、第２の特徴ベクトルを出力する第２のモデルと、
    前記第１の特徴ベクトルと、前記第２の特徴ベクトルと、第３の重みパラメータとに基づき、前記第１の文章に対応する対話行為の事後確率を出力する第３のモデルとを含み、
    前記学習は、前記事後確率と、前記第１の訓練データで示される前記対話行為情報との間で誤差逆伝搬学習を行うことにより実行される
    請求項２記載の対話行為推定方法。
  4. 前記第１のモデルは、前記第１の話者識別情報及び前記第２の話者識別情報に依存した前記第１の重みパラメータを持つ第１のＲＮＮ−ＬＳＴＭ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ−Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）に従って、前記第１の文章と前記第２の文章とから前記第１の特徴ベクトルを求め、
    前記第２のモデルは、前記第１の話者交代情報に依存した前記第２の重みパラメータを持つ第２のＲＮＮ−ＬＳＴＭに従って、前記第１の文章と前記第２の文章とから前記第２の特徴ベクトルを求める
    請求項３記載の対話行為推定方法。
  5. 前記第１の訓練データは、２以上の訓練データを集積したコーパスから取得される
    請求項１〜４のいずれか１項に記載の対話行為推定方法。
  6. 前記対話行為推定方法は、さらに、前記プロセッサに、
    ユーザにより発話された、現在の発話文である第３の文章のテキストデータと、前記第３の文章の直前の発話文である第４の文章のテキストデータと、前記第３の文章の話者が前記第４の文章の話者と同一であるか否かを示す第２の話者交代情報とを含む対話データを取得させ、
    前記学習結果情報に基づき、前記対話データを前記モデルに適用することにより、前記第３の文章が分類される対話行為を推定させる
    請求項１〜５のいずれか１項に記載の対話行為推定方法。
  7. 発話文が分類される対話行為を推定する対話行為推定装置であって、
    現在の発話文となりうる第１の文章のテキストデータと、前記第１の文章の直前の発話文となりうる第２の文章のテキストデータと、前記第１の文章の話者が前記第２の文章の話者と同一であるか否かを示す第１の話者交代情報と、前記第１の文章の分類を示す対話行為情報とを対応付けた第１の訓練データを取得する訓練データ取得部と、
    前記第１の訓練データを所定のモデルに適用することにより、前記現在の発話文と前記対話行為情報との対応付けを学習する学習部と、
    前記学習した結果を学習結果情報として記憶する記憶部とを備える
    対話行為推定装置。
  8. 請求項１記載の対話行為推定方法をコンピュータに実行させる
    プログラム。
JP2016124900A 2016-06-23 2016-06-23 対話行為推定方法、対話行為推定装置及びプログラム Active JP6671020B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016124900A JP6671020B2 (ja) 2016-06-23 2016-06-23 対話行為推定方法、対話行為推定装置及びプログラム
CN201710275956.6A CN107545897A (zh) 2016-06-23 2017-04-25 对话行为推定方法、对话行为推定装置以及程序
US15/615,856 US10460721B2 (en) 2016-06-23 2017-06-07 Dialogue act estimation method, dialogue act estimation apparatus, and storage medium
EP17176522.5A EP3260996A1 (en) 2016-06-23 2017-06-19 Dialogue act estimation method, dialogue act estimation apparatus, and storage medium
JP2020022292A JP6910002B2 (ja) 2016-06-23 2020-02-13 対話行為推定方法、対話行為推定装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016124900A JP6671020B2 (ja) 2016-06-23 2016-06-23 対話行為推定方法、対話行為推定装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020022292A Division JP6910002B2 (ja) 2016-06-23 2020-02-13 対話行為推定方法、対話行為推定装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017228160A JP2017228160A (ja) 2017-12-28
JP6671020B2 true JP6671020B2 (ja) 2020-03-25

Family

ID=59101286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016124900A Active JP6671020B2 (ja) 2016-06-23 2016-06-23 対話行為推定方法、対話行為推定装置及びプログラム

Country Status (4)

Country Link
US (1) US10460721B2 (ja)
EP (1) EP3260996A1 (ja)
JP (1) JP6671020B2 (ja)
CN (1) CN107545897A (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9978374B2 (en) * 2015-09-04 2018-05-22 Google Llc Neural networks for speaker verification
US10229111B1 (en) * 2016-02-03 2019-03-12 Google Llc Sentence compression using recurrent neural networks
CN107704482A (zh) * 2016-08-09 2018-02-16 松下知识产权经营株式会社 方法、装置以及程序
US11081104B1 (en) * 2017-06-27 2021-08-03 Amazon Technologies, Inc. Contextual natural language processing
JP2019057123A (ja) * 2017-09-21 2019-04-11 株式会社東芝 対話システム、方法、及びプログラム
US10565981B2 (en) * 2017-09-26 2020-02-18 Microsoft Technology Licensing, Llc Computer-assisted conversation using addressible conversation segments
CN107957989B9 (zh) * 2017-10-23 2021-01-12 创新先进技术有限公司 基于集群的词向量处理方法、装置以及设备
GB2568233A (en) * 2017-10-27 2019-05-15 Babylon Partners Ltd A computer implemented determination method and system
CN108170663A (zh) 2017-11-14 2018-06-15 阿里巴巴集团控股有限公司 基于集群的词向量处理方法、装置以及设备
CN107832439B (zh) * 2017-11-16 2019-03-08 百度在线网络技术（北京）有限公司 多轮状态追踪的方法、系统及终端设备
JP2019106054A (ja) * 2017-12-13 2019-06-27 株式会社東芝 対話システム
CN108090218B (zh) * 2017-12-29 2022-08-23 北京百度网讯科技有限公司 基于深度强化学习的对话系统生成方法和装置
CN108389576B (zh) * 2018-01-10 2020-09-01 苏州思必驰信息科技有限公司 压缩后的语音识别模型的优化方法及系统
US10621990B2 (en) * 2018-04-30 2020-04-14 International Business Machines Corporation Cognitive print speaker modeler
US10210860B1 (en) * 2018-07-27 2019-02-19 Deepgram, Inc. Augmented generalized deep learning with special vocabulary
JP7125630B2 (ja) * 2018-08-15 2022-08-25 日本電信電話株式会社 要点抽出装置、要点抽出方法、及びプログラム
US10853577B2 (en) * 2018-09-21 2020-12-01 Salesforce.Com, Inc. Response recommendation system
JP6988756B2 (ja) * 2018-09-26 2022-01-05 日本電信電話株式会社 タグ推定装置、タグ推定方法、プログラム
US10957320B2 (en) * 2019-01-25 2021-03-23 International Business Machines Corporation End-of-turn detection in spoken dialogues
CN110188190B (zh) * 2019-04-03 2023-07-14 创新先进技术有限公司 对话解析方法、装置、服务器及可读存储介质
JP7180513B2 (ja) * 2019-04-10 2022-11-30 日本電信電話株式会社 対話行為推定装置、対話行為推定方法、対話行為推定モデル学習装置及びプログラム
CN110399456B (zh) * 2019-06-06 2023-01-06 深思考人工智能机器人科技（北京）有限公司 一种问题对话补全的方法及装置
US11043218B1 (en) * 2019-06-26 2021-06-22 Amazon Technologies, Inc. Wakeword and acoustic event detection
US11132990B1 (en) * 2019-06-26 2021-09-28 Amazon Technologies, Inc. Wakeword and acoustic event detection
JP7192995B2 (ja) * 2019-08-08 2022-12-20 日本電信電話株式会社 判定装置、学習装置、判定方法及び判定プログラム
CN111046157B (zh) * 2019-12-10 2021-12-07 北京航空航天大学 一种基于平衡分布的通用英文人机对话生成方法和系统
CN111159401A (zh) * 2019-12-20 2020-05-15 中国建设银行股份有限公司 基于短会的关联信息提方法、装置、电子设备及存储介质
EP4130904A1 (en) * 2020-03-25 2023-02-08 Sony Group Corporation Information processing device, program, and method
CN113449087B (zh) * 2020-03-25 2024-03-08 阿里巴巴集团控股有限公司 信息处理方法、装置、设备及计算机可读存储介质
CN111400489B (zh) * 2020-04-08 2022-12-02 科大讯飞股份有限公司 对话文本摘要生成方法、装置、电子设备和存储介质
CN111950275B (zh) * 2020-08-06 2023-01-17 平安科技（深圳）有限公司 基于循环神经网络的情绪识别方法、装置及存储介质
JP7000547B1 (ja) * 2020-12-22 2022-01-19 株式会社オプティム プログラム、方法、情報処理装置、システム
CN112700277A (zh) * 2020-12-30 2021-04-23 北京爱笔科技有限公司 用户行为数据的处理方法和多行为序列转化模型训练方法
CN112989822B (zh) * 2021-04-16 2021-08-27 北京世纪好未来教育科技有限公司 识别对话中句子类别的方法、装置、电子设备和存储介质
CN114020897A (zh) * 2021-12-31 2022-02-08 苏州浪潮智能科技有限公司 一种对话情感识别方法及相关装置
CN114420169B (zh) * 2022-03-31 2022-06-21 北京沃丰时代数据科技有限公司 情绪识别方法、装置及机器人

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0769709B2 (ja) * 1993-01-08 1995-07-31 株式会社エイ・ティ・アール自動翻訳電話研究所 対話音声認識装置
JP3059413B2 (ja) 1998-03-16 2000-07-04 株式会社エイ・ティ・アール音声翻訳通信研究所 自然言語理解装置及び自然言語理解システム
JP3016779B1 (ja) 1999-03-08 2000-03-06 株式会社エイ・ティ・アール音声翻訳通信研究所 音声理解装置及び音声理解システム
JP4369132B2 (ja) * 2001-05-10 2009-11-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 話者音声のバックグランド学習
US8990126B1 (en) * 2006-08-03 2015-03-24 At&T Intellectual Property Ii, L.P. Copying human interactions through learning and discovery
WO2010084881A1 (ja) * 2009-01-20 2010-07-29 旭化成株式会社 音声対話装置、対話制御方法及び対話制御プログラム
JP5562219B2 (ja) * 2010-12-06 2014-07-30 日本電信電話株式会社 要約装置、要約作成方法及びプログラム
JP5506738B2 (ja) * 2011-05-30 2014-05-28 日本電信電話株式会社 怒り感情推定装置、怒り感情推定方法およびそのプログラム
JP5591772B2 (ja) 2011-08-25 2014-09-17 日本電信電話株式会社 文脈依存性推定装置、発話クラスタリング装置、方法、及びプログラム
KR101709187B1 (ko) * 2012-11-14 2017-02-23 한국전자통신연구원 계층적 대화 태스크 라이브러리를 이용한 이중 대화관리 기반 음성대화시스템
JP5728527B2 (ja) * 2013-05-13 2015-06-03 日本電信電話株式会社 発話候補生成装置、発話候補生成方法、及び発話候補生成プログラム
US9232063B2 (en) * 2013-10-31 2016-01-05 Verint Systems Inc. Call flow and discourse analysis
US9721562B2 (en) * 2013-12-17 2017-08-01 Google Inc. Generating representations of acoustic sequences
KR20150084520A (ko) * 2014-01-14 2015-07-22 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
JP5911911B2 (ja) * 2014-05-26 2016-04-27 日本電信電話株式会社 結束性判定装置、モデル学習装置、方法、及びプログラム
CN104217226B (zh) * 2014-09-09 2017-07-11 天津大学 基于深度神经网络与条件随机场的对话行为识别方法
KR102305584B1 (ko) * 2015-01-19 2021-09-27 삼성전자주식회사 언어 모델 학습 방법 및 장치, 언어 인식 방법 및 장치
CN105488662B (zh) * 2016-01-07 2021-09-03 北京华品博睿网络技术有限公司 一种基于双向推荐的在线招聘系统

Also Published As

Publication number Publication date
JP2017228160A (ja) 2017-12-28
EP3260996A1 (en) 2017-12-27
US10460721B2 (en) 2019-10-29
CN107545897A (zh) 2018-01-05
US20170372694A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6671020B2 (ja) 対話行為推定方法、対話行為推定装置及びプログラム
US10417329B2 (en) Dialogue act estimation with learning model
US11189302B2 (en) Speech emotion detection method and apparatus, computer device, and storage medium
US8069043B2 (en) System and method for using meta-data dependent language modeling for automatic speech recognition
JP6823809B2 (ja) 対話行為推定方法、対話行為推定装置およびプログラム
JP6832501B2 (ja) 意味生成方法、意味生成装置及びプログラム
Xia et al. DBN-ivector Framework for Acoustic Emotion Recognition.
CN113314119B (zh) 语音识别智能家居控制方法及装置
JP6910002B2 (ja) 対話行為推定方法、対話行為推定装置及びプログラム
JP7329393B2 (ja) 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム
CN106710588B (zh) 语音数据句类识别方法和装置及系统
Liu et al. Learning salient features for speech emotion recognition using CNN
JP6646337B2 (ja) 音声データ処理装置、音声データ処理方法および音声データ処理プログラム
US20220122584A1 (en) Paralinguistic information estimation model learning apparatus, paralinguistic information estimation apparatus, and program
CN114155883B (zh) 基于进阶式的语音深度神经网络训练方法、装置
JP5860439B2 (ja) 言語モデル作成装置とその方法、そのプログラムと記録媒体
JP7013332B2 (ja) 学習装置、学習方法および学習プログラム
JP7013329B2 (ja) 学習装置、学習方法および学習プログラム
JP7044642B2 (ja) 評価装置、評価方法および評価プログラム
Gokul et al. Personality Identification Using Auditory Nerve Modelling of Human Speech
JP7013331B2 (ja) 抽出装置、抽出方法および抽出プログラム
WO2020196021A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP7042701B2 (ja) 評価装置、評価方法および評価プログラム
Salaja et al. Automatic speech recognition using artificial life
Samanta et al. An energy-efficient voice activity detector using reconfigurable Gaussian base normalization deep neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200213

R151 Written notification of patent or utility model registration

Ref document number: 6671020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151