JP7407190B2 - 発話解析装置、発話解析方法及びプログラム - Google Patents

Description

本開示は、発話者の発話における話題を解析し、話題に応じた情報を提供する発話解析装置、発話解析方法及びプログラムに関する。

音声認識技術の進歩により、発話者の音声データを取得し、音声認識された内容を処理することが可能になっている。

特許文献１では、コールセンターの等のオペレータによるトークスクリプトを参照した談話の内容が音声認識処理によりテキスト化され、トークスクリプトの利用頻度の情報を出力するシステムが記載される。この特許文献１に記載の技術では、オペレータのスキルに応じて応対記録の品質にばらつきがある問題等を解決し、統一生、簡潔性を確保した応対記録を自動作成することができる。

特許第５４６８４７４号

本開示は、発話者の発話における話題を解析し、話題に応じた情報を提供することができる発話解析装置、発話解析方法及びプログラムを提供する。

本開示の発話解析装置は、発話者の発話データを時系列の順番で取得する取得部と、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、発話データの内容を解析する制御部と、制御部による制御に従って、発話データのカテゴリに関連する関連情報を含む表示データを表示させる表示処理部とを備え、制御部は、時系列に沿って発話データが取得される毎に複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、表示処理部に優先して表示させる関連情報を順次選択する。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示の発話解析装置、発話解析方法及びプログラムによれば、発話者の発話における話題に応じた情報を提供することができる。

本開示の発話解析装置の構成を示すブロック図である。 図１の発話解析装置で利用する発話データを説明するデータ構成図である。 図１の発話解析装置で利用されるカテゴリ尤度を表すグラフである。 図２の発話解析装置で積算尤度の演算に利用する鮮度重み値を説明する図である。 図２の発話解析装置で積算尤度の演算に利用する頻度重み値を説明する図である。 図２の発話解析装置で得られる話題である確率を表すグラフである。 図２の発話解析装置により可視化データとして表示される画面の一例である。 図６Ａに続いて可視化データとして表示される画面の一例である。 図２の発話解析装置で実行される発話解析処理を説明するフローチャートである。 図７の解析処理を説明するフローチャートである。 図２の発話解析装置で可視化データとして表示される画面の他の例である。

［本開示の基礎となった知見］
従来の技術では、発話者の発話を解析する際、文単位を処理対象とし、各文に含まれる単語を用いて解析している。一方、１文ではなく、ある期間の複数の文を対象に解析することが好ましい場合もある。

本開示に係る発話解析装置は、ある期間における発話者の発話における話題に応じた情報を提供するものである。具体的には、発話解析装置は、発話者の発話を取得し、発話の内容を特定し、また、その話題に対応する情報を提供することができる。

［実施形態］
［１－１．構成］
以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。

本開示に係る発話解析装置は、複数の発話者が会話をしている際、必要となる情報を提供するものである。例えば、発話解析装置は、質問者や相談者等の第１の発話者に対し、回答者である第２の発話者に、回答に使用する情報を提供する。

以下の説明では、第１の発話者を車両の乗務員とし、第２の発話者を乗務員からの問い合わせに応答するオペレータとする。また、第１の発話者と第２の発話者とは、電話機等の通信回線を利用して会話をするものとする。以下では、これら発話者の会話を解析し、解析結果に応じた情報をオペレータに提供する一例で説明する。

オペレータは、問い合わせに回答する際、マニュアル等の情報で規定される方法で回答することがある。しかしながら、このマニュアルは多数あるため、オペレータは、問い合わせ内容に関するマニュアルを瞬時に特定することが困難である。したがって、発話解析装置は、乗務員からの問い合わせと、これに対するオペレータの回答の発話を両者が使用する端末を介して取得して解析し、発話の話題のカテゴリを特定する。また、発話解析装置は、複数の情報のなかからこの話題のカテゴリに関連付けられるマニュアルを、乗務員からの問い合わせに対する回答を導くマニュアルとして選択し、選択したマニュアルをオペレータに提供する。

本説明において、「発話」は、発話者が話す行為及び話すことで生じた音声であるものとする。「発話データ」は、発話者が話すことで生じた音声データであるものとする。また、「発話データ」は、発話者が話すことで生じた音声データを音声認識によってテキスト化されたテキストデータであってもよい。さらに、「発話データ」は、これら「音声データ」と「テキストデータ」を含むデータであってもよい。

「話題」は、発話者の発話の内容であるとして説明する。また、「話題のカテゴリ」または「カテゴリ」は、発話者の話題を特定する分類であるとして説明する。具体例については後述するが、発話解析装置１では、発話者の発話の話題が、予め設定される複数の話題のカテゴリのうち、どのカテゴリであるかを特定する。

「尤度」とは、尤度関数で利用される、尤もらしさを表す数値として利用される尤度である。この尤度は、対象の発話が、各話題のカテゴリに該当する尤もらしさを表す数値として利用される。

図１に示すように、発話解析装置１は、例えば、制御部１１と、記憶部１２と、入力部１３と、出力部１４と、通信部１５とを備え、これらがバス１６で接続される情報処理装置である。

制御部１１は、発話解析装置１全体の制御を司るコントローラである。例えば、制御部１１は、記憶部１２に記憶されるプログラムＰを読み出して実行することにより、取得部１１１、演算部１１２、解析部１１３、生成部１１４及び表示処理部１１５としての処理を実現する。また、制御部１１は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部１１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

記憶部１２は種々の情報を記憶する記憶媒体である。記憶部１２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部１２には、制御部１１が実行するプログラムＰの他、識別情報で使用する情報や識別情報付与のために取得された種々の情報等が格納される。例えば、記憶部１２は、発話データ１２１、マニュアルデータ１２２及びプログラムＰを記憶する。

入力部１３は、操作やデータの入力に利用される操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等の入力手段である。出力部１４は、処理結果やデータの出力に利用されるディスプレイ、スピーカ等の出力手段である。発話解析装置１は、入力部１３であるマイクロフォンで発話データを取得し、制御部１１で取得された発話データから可視化データを生成し、得られた可視化データを出力部１４であるディスプレイ等に出力する。

通信部１５は、外部の装置（図示せず）とのデータ通信を可能とするためのインタフェース回路（モジュール）である。

ここで、発話解析装置１は、１台のコンピュータにより実現されてもよいし、ネットワークを介して接続される複数台のコンピュータの組み合わせにより実現されてもよい。また例えば、記憶部１２に記憶されるデータの全部又は一部が、ネットワークを介して接続される外部の記憶媒体に記憶され、発話解析装置１は、外部の記憶媒体に記憶されるデータを使用するように構成されていてもよい。具体的には、発話データ１２１や、マニュアルデータ１２２を外部の記憶媒体に記憶してもよい。

例えば、この発話解析装置１は、乗務員が使用する端末と、オペレータが使用する端末と通信可能に設置され、乗務員及びオペレータの発話を取得可能に構成される。または、発話解析装置１は、乗務員が使用する端末と通信可能に設置され、オペレータが使用する端末自体であり、乗務員とオペレータの発話を取得可能に構成されてもよい。

取得部１１１は、例えば、発話者が発話をする際、通信部を介して発話者の発話データを取得する。また、取得部１１１は、取得した発話者の発話データを時系列の順序で取得する。また、取得部１１１は、取得した発話データに、時系列の順序で番号を付し、発話データ１２１として記憶部１２に記憶させる。

演算部１１２は、各発話データ１２１の話題が所定の各カテゴリに該当する可能性を特定する値である尤度を求める。また、演算部１１２は、各発話データ１２１に対して求めた各カテゴリの尤度を、発話データ１２１と関連付けて記憶させる。以下では、各カテゴリに関する「尤度」を、必要に応じて「カテゴリ尤度」として説明する。

このとき、発話データ１２１は、音声データとともに、または、音声データに代えて、音声データを音声認識処理によってテキスト化したテキストデータを含むことができる。この場合、音声認識処理は、発話解析装置１内で実行されてもよいし、外部の装置において実行されてもよい。

図２に一例を示すように、発話データ１２１は、各発話データ１２１の識別情報である「番号」と、この期間の音声データから生成された「テキストデータ」と、この期間の発話データについて得られた各カテゴリの「カテゴリ尤度」とを関連付けるデータである。図２において発話データ１２１は、「ブザー」、「架線トラブル」、「急病人」及び「地震発生」の話題のカテゴリがある。「ブザー」は、ブザーが鳴った場合の話題のカテゴリである。「架線トラブル」は、架線トラブルが発生した場合の話題のカテゴリである。「急病人」は、急病人が発生した場合の話題のカテゴリである。「地震発生」は、地震が発生した場合の話題のカテゴリである。

なお、ここでは、説明の容易化のため、「ブザー」、「架線トラブル」、「急病人」及び「地震発生」の４つのカテゴリを用いて説明するが、発話解析装置１で処理の対象とするカテゴリの数は限定されない。また、説明で使用されるカテゴリも単なる例示であって限定されず、発話の内容に応じて自由に設定することが可能である。

図３は、演算部１１２において、複数の発話データ１２１に関し、予め設定された話題である複数の話題のカテゴリについて求められたカテゴリ尤度を表すグラフの一例である。演算部１１２は、各カテゴリ尤度を、事前に学習されたクラス分類モデルを用いて求めることができる。具体的には、クラス分類のクラスが、ここで説明する話題のカテゴリに相当する。図３において、横軸は、発話データ１２１の識別情報である「番号」であり、発話データの１２２の時系列を示すものである。また、縦軸は、演算部１１２で得られた「カテゴリ尤度」である。

図３に示すカテゴリ尤度は、「ブザー」、「架線トラブル」、「急病人」及び「地震発生」の各カテゴリについて得られたカテゴリ尤度の一例である。

図３に示すような、発話データ１２１毎のカテゴリでは、その変化が細かく全体としての話題を特定しにくい。そのため、発話解析装置１では、次の解析部１１３によって、発話データ１２１毎のカテゴリの分類よりも広い範囲で、カテゴリを特定し、話題のカテゴリを把握しやすくすることができる。

解析部１１３は、演算部１１２で得られたカテゴリ尤度を用いて話題のカテゴリを解析する。ここで、解析部１１３は、ある時点ｔの話題のカテゴリを特定する際、その時点ｔの直前の解析対象期間Ｔの複数の発話データ１２１のカテゴリ尤度を用いて、解析対象期間Ｔの発話について所定のカテゴリに該当する可能性を特定する第２の尤度を求め、解析対象期間Ｔの話題のカテゴリを特定する。なお、以下では、必要に応じて、「第２の尤度」を「積算尤度」として説明する。

図３では解析対象期間Ｔは、発話データ１２１の数、５０に相当する期間の一例である。例えば、番号「８９」の時点での話題のカテゴリを特定するためには、解析対象期間Ｔに相当する、番号「４０」～「８９」の発話データ１２１のカテゴリ尤度を用いる。

具体的には、解析部１１３は、各カテゴリについて、対象範囲を設定し、この対象範囲に含まれる各発話データ１２１に対して得られたそれぞれのカテゴリについて積算尤度を求める。また、解析部１１３は、各カテゴリについて得られた積算尤度のうち、値が最も大きいカテゴリをある発話番号時点の話題のカテゴリとして特定することができる。

また、解析部１１３は、話題の鮮度に応じて設定された「鮮度重み値ｗ１」を用いて、積算尤度を求めることができる。具体的には、図４Ａに示すように、鮮度重み値ｗ１は、解析対象期間Ｔの終了時ｔを基準として新しい発話データ１２１のカテゴリ尤度の重み（図４Ａ中の「ｗ１１」）を、古い発話データ１２１のカテゴリ尤度の重み（図４Ａ中の「ｗ１２」）よりも大きくする値である。例えば、ある対象範囲において、より新しい発話については、その期間の話題のカテゴリである、或いは話題が遷移している可能性が高く、古い発話については、その期間の話題のカテゴリである可能性は低い。したがって、解析部１１３において、鮮度重み値ｗ１をその解析対象期間Ｔの話題の特定に利用することで、話題の特定の精度を向上させることができる。具体的には、仮に、解析対象期間Ｔとして「５分」が設定される場合、解析対象期間Ｔの終了時より１分以内の発話データ１２１から特定されるカテゴリ尤度は、解析対象期間Ｔの終了時より４分以上前の発話データ１２１から特定されるカテゴリ尤度よりも、重みが大きく設定される。

さらに、解析部１１３は、話題の頻度に応じて設定された「頻度重み値ｗ２」を用いて、積算尤度を求めることができる。具体的には、頻度重み値ｗ２は、対象範囲に含まれる発話データ１２１のカテゴリ尤度が最も高いカテゴリの出現頻度について、図４Ｂに示すように、出現頻度が高いカテゴリのカテゴリ尤度の重み（図４Ｂ中の「ｗ２１」）を、出現頻度が低いカテゴリの尤度の重み（図４Ｂ中の「ｗ２２」）よりも大きくする値である。例えば、解析対象期間Ｔの範囲において、何度も出現するカテゴリについては、その期間の話題のカテゴリである可能性が高く、一方、あまり登場しないカテゴリについては、その期間の話題のカテゴリである可能性は低い。したがって、解析部１１３において、頻度重み値ｗ２をその解析対象期間Ｔの話題の特定に利用することで、話題の特定の精度を向上させることができる。具体的には、仮に、解析対象期間Ｔに５０の発話データ１２１が含まれるとき、２０回出現するカテゴリは、２回しか出現しないカテゴリよりも、重みが大きく設定されカテゴリ尤度が大きくなる。解析部１１３は、解析対象期間Ｔの範囲おける、各カテゴリの出現頻度（図４Ｂ中の「ｗ２１」「ｗ２２」）を上述のように算出する。

例えば、解析部１１３は、以下の式（１）によりカテゴリ毎に、積算尤度Ｌｃ２を求めることができる。

Ｌｃ２（ｉ）＝Σ（Ｌｃ（ｊ）×ｗ１）×ｗ２) ・・・ （１）
ここで、式（１）に使用する各値はそれぞれ以下のように規定する。
ｃ：カテゴリを特定する番号
ｉ：対象範囲を特定する番号
Ｌｃ２（ｉ）：ｉ番目の対象範囲の積算尤度
ｊ：対象範囲の中で各発話データ１２１に付された番号
Ｌｃ（ｊ）：対象範囲の中でｊ番目の発話データ１２１のカテゴリ尤度
ｗ１：鮮度重み値
ｗ２：頻度重み値
なお、式（１）は、ｉ＝１からｉ＝ｑ（後述する対象範囲の数）までの総和である。

例えば、これにより得られた各カテゴリの積算尤度Ｌｃ２に対し、後述する正規化を施すことにより、ある発話の番号における各カテゴリが話題である確率として、図５に示すようにも表わすことができる。

生成部１１４は、解析部１１３による解析結果を用いて、発話データ１２１の内容及びこの内容に対応するマニュアルを特定した可視化データを生成する。具体的には、生成部１１４は、図６Ａに一例を示すような表示画面Ｗ１を表示させる可視化データを生成する。図６Ａに示す一例の表示画面Ｗ１は、時系列に配置された複数の発話データ１２１のテキストデータを表示する表示部Ｂ１１と、複数の発話データ１２１の解析結果である発話データ１２１のカテゴリに関するマニュアルを表示させるためのリンク情報を積算尤度の高い順に表示する表示部Ｂ１２とを含む。表示部Ｂ１２では、各カテゴリに対して演算された積算尤度を含む。図６Ａに示す表示画面Ｗ１により、オペレータは、発話の内容が、「ブザー」に関するものであることを把握することが可能である。また、オペレータがこの、「ブザー」を選択することで、「ブザー」が話題となった場合のマニュアルなどの参考資料に誘導することができる。

仮に、図６Ｂに示すように、新たな発話データ１２２が取得されたことにより、解析部１１３で解析され、新たに積算尤度が得られると、順次、新たな積算尤度の高い順でカテゴリが選択される。これにより、図６Ａに示すように「ブザー」、「架線トラブル」、「急病人」、「地震発生」の順で表示部Ｂ１２に表示されていた順序が、図６Ｂに示すように、「ブザー」、「急病人」、「架線トラブル」、「地震発生」の順に変更される。これは、新たに得られた発話データ１２２によって、「急病人」のカテゴリの積算尤度が大きくなったためである。

［１－２．動作］
図７及び図８に示すフローチャートを用いて、発話解析装置１における発話データの発話解析処理について説明する。図７に示すように、発話解析装置１では、発話者が発話をする際、取得部１１１は、発話データを取得し、時系列に付与される番号とともに発話データ１２１として記憶部１２に記憶させる（Ｓ１）。

その後、演算部１１２は、ステップＳ１で記憶された発話データ１２１について、カテゴリ毎にカテゴリ尤度を演算し、発話データ１２１に記憶させる（Ｓ２）。

その後、解析部１１３は、発話データ１２１に含まれるカテゴリ尤度を用いて、解析対象期間の発話データ１２１を解析する（Ｓ３）。

ステップＳ３の解析処理における具体的な処理の流れを図８に示すフローチャートを用いて説明する。図８に示すように、特定処理では、解析部１１３は、順に対象のカテゴリを選択する（Ｓ１１）。例えば、「ブザー」、「架線トラブル」、「急病人」及び「地震」のそれぞれのカテゴリについて順に選択し、各カテゴリについて以降の処理を実行する。

まず、解析部１１３は、積算尤度を演算するための対象範囲を設定する（Ｓ１２）。具体的には、図８のフローチャートのステップＳ１で取得された発話データ１２１の番号を基準として、対象範囲が設定される。このとき、解析部１１３は、対象範囲の発話データ１２１に対し、対象範囲内で新たな「１」からの番号「ｊ」を設定する。図３で上述したように、５０の発話データ１２１を解析対象期間Ｔとする例では、「ｊ」は、１～５０までの番号を利用することになる。この場合、対象範囲の数ｑは、「５０」である。

具体的には、図３で上述したように、ｉが「８９」であるとき、解析部１１３は、４０～８９番の発話データ１２１を対象範囲とする。この場合、ｊについては、ｉの「４０」がｊの「１」となり、ｉの「８９」がｊの「５０」となるように、それぞれ設定される。

また、仮に、ｉが「３９」であるとき、３９番の発話データ１２１を基準とし、一連の発話データ１２１の積算尤度を演算するため、解析部１１３は、０～４０番の発話データ１２１を対象範囲とする。この場合も、ｊについては、ｉの「０」がｊの「１」となる。また、対象範囲の数ｑは、「４１」である。

その後、解析部１１３は、ステップＳ１２で設定された対象範囲について、積算尤度を算出するため、ｊの値を１に初期化し、一時積算尤度Ｓｃの値を０に初期化する（Ｓ１３）。ｊは、上述したように、対象範囲の中で発話データ１２１を特定する値である。ｊを初期化することで、対象範囲に含まれる各発話データ１２１のカテゴリ尤度Ｌｃ（ｊ）を加算して、積算尤度Ｌｃ２（ｉ）を求めることができる。また、一時積算尤度Ｓｃは、対象範囲で積算尤度Ｌｃ２（ｉ）を求める計算経過において利用する値である。

続いて、解析部１１３は、一時積算尤度Ｓｃに、番号「ｊ」の発話データ１２１のカテゴリ尤度Ｌｃ（ｊ）を鮮度重み値ｗ１（＝ｊ／ｑ）で重みづけした値（Ｌｃ（ｊ）×ｗ１）を加算し、得られた値を、新たな一時積算尤度Ｓｃとする（Ｓ１４）。

新たな一時積算尤度Ｓｃを求めると、解析部１１３は、ｊの値をインクリメントする（Ｓ１５）。その後、解析部１１３は、ｊ≦ｑであるか否か判定する（Ｓ１６）。

ｊ≦ｑであるとき（Ｓ１６でＹＥＳ）、対象範囲に含まれる全ての発話データ１２１について処理が終了していないため、解析部１１３は、ステップＳ１４の処理に戻り、ステップＳ１４～Ｓ１６の処理を繰り返す。

一方、ｊ≦ｑでないとき（Ｓ１６でＮＯ）、対象範囲に含まれる全ての発話データ１２１について処理が終了したため、解析部１１３は、対象範囲において対象のカテゴリの最尤話題カテゴリ頻度Ｎｃを求める（Ｓ１７）。ここで、最尤話題カテゴリ頻度Ｎｃとは、対象範囲の各発話データ１２１において、ステップＳ１１で処理の対象として選択されたカテゴリの尤度が最も高い値となった回数である。例えば、「架線トラブル」に関し処理がされているとき、対象範囲の中で、架線トラブルのカテゴリ尤度Ｌｃ（ｊ）が最も高い発話データ１２１の数が「２０」であるとき、最尤話題カテゴリ頻度Ｎｃは「２０」となる。

その後、解析部１１３は、一時積算尤度Ｓｃを、頻度重み値ｗ２（＝Ｎｃ／ｑ）で重みづけした値（Ｓｃ×ｗ２）を、対象範囲の積算尤度Ｌｃ２（ｉ）とする（Ｓ１８）。

解析部１１３は、積算尤度Ｌ２ｃ（ｉ）を求めると、正規化により、対象範囲に関する選択されたカテゴリの確率Ｐｃ（ｉ）を求める（Ｓ１９）。例えば、正規化には、ｓｏｆｔｍａｘで確率を求める方法を利用することができる。こうして得られたＰｃ（ｉ）を用い各発話の番号において、各カテゴリにその確率値をプロットすることで、話題の移り変わりを表すグラフ（図５）を得ることができる。これにより、実際の会話における話題の移り変わりのように、滑らかな移り変わりとして話題の遷移状態を視覚化することができる。

その後、解析部１１３は、全てのカテゴリについてステップＳ１２～Ｓ１９の処理が終了したか否かを判定する（Ｓ２０）。終了していない場合（Ｓ２０でＮＯ）、ステップＳ１１に戻り、他のカテゴリを選択し、全てのカテゴリについて終了するまで、ステップＳ１１～Ｓ１９の処理を繰り返す。例えば、「ブザー」のカテゴリが終了すると、「架線トラブル」を選択し、その後「急病人」を選択し、続いて「地震発生」を選択して同様の処理を繰り返す。

また、全てのカテゴリについてステップＳ１１～Ｓ１９の処理が終了すると（Ｓ２０でＹＥＳ）、解析部１１３は、各カテゴリに積算尤度Ｌｃ２（ｉ）や確率Ｐｃ（ｉ）を用いてカテゴリを特定し、解析処理（図８のステップＳ３）を終了する（Ｓ２１）。

図７に示すように、生成部１１４は、ステップＳ４の処理において各カテゴリについて、可視化データを生成する（Ｓ４）。

また、表示処理部１１５は、ステップＳ４で生成された可視化データを、出力部１４に出力する（Ｓ５）。

そして、発話が継続する場合（Ｓ６でＮＯ）、発話解析装置１は、ステップＳ１の処理に戻り、ステップＳ１～Ｓ５の処理を繰り返す。
一方、発話が終了した場合（Ｓ６でＹＥＳ）、発話解析装置１は、処理を終了する。

［１－３．効果等］
発話解析装置１では、このように、発話者の発話を解析し、ある期間における発話者の発話における話題に応じた情報を提供することができる。また、これにより、発話者は、容易に、現在の状況に対応する情報にアクセスすることが可能となる。

以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。

（他の実施の形態）
実施の形態においては、発話解析装置１内の演算部１１２において、「カテゴリ尤度」を演算する一例で説明したが、これに限定されない。具体的には、発話解析装置１は、外部の演算装置で演算されたカテゴリ尤度を取得し、利用してもよい。

また、実施形態においては、演算部１１２及び解析部１１３が処理対象とする発話データ１２１について、乗務員から発話されたものとオペレータから発話されたものとを区別せずに処理する例で説明したが、区別してもよい。具体的には、乗務員ではなく、オペレータが発話する内容のみを処理対象としてもよい。例えば、状況によっては、乗務員とオペレータとの発話は、繰り返しである場合もあり、また、乗務員よりもオペレータの方が、処理に適切な用語等を選択して発話することができる場合、一方の発話のみを利用することで、処理結果の精度を向上させることができる。

解析部１１３は、利用者によって指定された期間を解析対象期間Ｔとして積算尤度を演算することができる。具体的には、発話者又は発話者以外の利用者が、対象とする発話に応じて自由に解析対象期間Ｔを設定可能にしてもよい。発話において、あるカテゴリの話題が長く続く場合、解析対象期間Ｔとして設定する期間の長さによっては、話題の変化が検出しにくくなる。したがって、このように、適切な解析対象期間Ｔを設定することで、話題の変化の検出精度を向上させることができる。例えば、解析部１１３は、入力部１３や通信部１５を介してユーザから指定される期間を受け付ける受付部となることが可能であり、受け付けた期間を解析対象Ｔとして利用することができる。

生成部１１４は、図９に一例を示すような表示画面Ｗ２を表示させる可視化データを生成してもよい。図９に示す一例の表示画面Ｗ２は、発話データ１２１から得られた積算尤度のグラフを表する表示部Ｂ２１と、テキストデータを表示する表示部Ｂ２２とを含む。例えば、乗務員とオペレータの会話を必要に応じて補助する第三者がいる場合、乗務員とオペレータの一連の会話を聞いていなかった場合であっても、この表示画面Ｗ２を一見することで、一連の発話データ１２１でされた会話がどのようなカテゴリの話題を推移したのか容易に特定できるため、適切に補助することが可能となる。

また、取得部１１１は、継続する一連の発話データ１２１ではなく、新規の発話データ１２１を取得した場合、記憶部１２１において過去に同一の発話者による一連の発話データ１２１が記憶されていたとき、この一連の発話データ１２１に継続して処理することができる。例えば、乗務員とオペレータとの会話の場合、オペレータからの質問に対して乗務員が確認作業のため、会話を一旦終了し、ある時間が経過した後で、会話を再開するような場合がある。このような場合、過去の一連の発話データ１２１と、新たに開始する一連の発話データ１２１とは連続する番号を付すことにより、関連するものとして扱うことができる。さらに、所定の用語（図９の例では、「ブザー」）の色、フォント、文字サイズ等を他の用語と異なるものとし、強調して表示させてもよい。これにより、会話の重要な内容を把握しやすくすることができる。

《実施形態の概要》
（１）本開示の発話解析装置は、発話者の発話データを時系列の順番で取得する取得部と、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、発話データの内容を解析する制御部と、制御部による制御に従って、発話データのカテゴリに関連する関連情報を含む表示データを表示させる表示処理部とを備え、制御部は、時系列に沿って発話データが取得される毎に複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、表示処理部に優先して表示させる関連情報を順次選択してもよい。

これにより、発話者の発話における話題に応じた情報を提供することができる。

（２）（１）の制御部は、時系列における解析対象期間内の複数の発話データの第１の尤度を積算して第２の尤度をカテゴリ毎に演算し、当該第２尤度が高いカテゴリを優先して、対応する関連情報を表示処理部に表示させてもよい。

これにより、尤度の高いカテゴリの情報を優先して提供するため、最適な情報を提供することができる。

（３）（２）の制御部は、解析対象期間に出現する頻度が高い程、大きな値に設定される第１の重みを用いて、第２の尤度を求めてもよい。

これにより、出現する頻度に応じて尤度が計算されるため、最適な情報を提供することができる。

（４）（２）又は（３）の制御部は、解析対象期間の開始時よりも終了時に近い程、大きな値に設定される第２の重み値を用いて、第２の尤度を求めてもよい。

これにより、出現するタイミングに応じて尤度が計算されるため、最適な情報を提供することができる。

（５）（２）～（４）の発話解析装置は、ユーザから指定された期間の入力を受け付ける受付部を備え、制御部は、受付部が受け付けた期間を解析対象期間として第２の尤度を求めてもよい。

これにより、ユーザが解析対象期間を設定可能となるため、ユーザにとって最適な情報を提供することができる。

（６）（２）～（５）の制御部は、第２の尤度の高いカテゴリと関連付けられる所定数の情報を選択し、表示処理部によって表示される表示データは、第２の尤度の降順で情報を含んでもよい。

これにより、発話のカテゴリである可能性の高いものから提示されるため、ユーザにとって分かり易い情報を提供することができる。

（７）（１）～（６）の表示処理部によって表示される表示データは、発話データが音声認識処理によってテキスト化されたテキストデータを発話の時系列で含んでもよい。

これにより、会話の内容を把握可能となるため、ユーザにとって分かり易い情報を提供することができる。

（８）（７）の表示処理部によって表示される表示データは、テキストデータにおいて所定の用語を強調されたデータであってもよい。

これにより、会話の内容のポイントが把握可能となるため、ユーザにとって分かり易い情報を提供することができる。

（９）（１）～（８）の制御部は、発話データ毎に、各カテゴリに関する第１の尤度を演算してもよい。

これにより、発話解析装置内で第１の尤度を算出することができるため、ネットワークの負荷に依存せずに処理することができる。

（１０）（１）～（９）発話データは、複数の発話者の対話のデータであってもよい。

これにより、より多くの情報から尤度を算出することができるため、話題のカテゴリを特定しやすくなる。

（１１）本開示の発話解析方法は、発話者の発話の内容を解析し、発話に関する情報を表示する発話解析方法であって、取得部が、発話者の発話データを時系列の順番で取得するステップと、制御部が、取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、発話データの内容を解析するステップと、表示処理部が、制御部による制御に従って、発話データのカテゴリに関連する関連情報を含む表示データを表示させるステップとを含み、制御部は、時系列に沿って発話データが取得される毎に複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、表示処理部に優先して表示させる関連情報を順次に選択する。

これにより、発話者の発話における話題に応じた情報を提供することができる。

（１２）本開示のプログラムは、（１１）の方法をコンピュータに実行させる。

これにより、発話者の発話における話題に応じた情報を提供することができる。

本開示の全請求項に記載の発話解析装置、発話解析方法及びプログラムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

本開示の発話解析装置、発話解析方法及びプログラムは、例えば、質問、問い合わせ等に回答する回答者に対し、回答の際に参照するマニュアル等の情報に誘導する場合に有用である。

１ 発話解析装置
１１ 制御部
１１１ 取得部
１１２ 演算部
１１３ 解析部
１１４ 生成部
１１５ 表示処理部
１２ 記憶部
１２１ 発話データ
１２２ マニュアルデータ

Claims (12)

1. 発話者の発話データを時系列の順番で取得する取得部と、
   前記取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、前記発話データの内容を解析する制御部と、
   前記制御部による制御に従って、前記発話データのカテゴリに関連する関連情報を含む表示データを表示させる表示処理部とを備え、
   前記制御部は、前記時系列に沿って前記発話データが取得される毎に前記複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、前記表示処理部に優先して表示させる関連情報を順次選択する
   発話解析装置。
2. 前記制御部は、
   前記時系列における解析対象期間内の複数の発話データの第１の尤度を積算して第２の尤度をカテゴリ毎に演算し、
   当該第２の尤度が高いカテゴリを優先して、対応する関連情報を前記表示処理部に表示させる
   請求項１に記載の発話解析装置。
3. 前記制御部は、前記解析対象期間に出現する頻度が高い程、大きな値に設定される第１の重み値を用いて、前記第２の尤度を求める
   請求項２に記載の発話解析装置。
4. 前記制御部は、前記解析対象期間の開始時よりも終了時に近い程、大きな値に設定される第２の重み値を用いて、前記第２の尤度を求める
   請求項２又は３に記載の発話解析装置。
5. ユーザから指定された期間の入力を受け付ける受付部を備え、
   前記制御部は、前記受付部が受け付けた期間を前記解析対象期間として前記第２の尤度を求める
   請求項２乃至４のいずれか１に記載の発話解析装置。
6. 前記制御部は、前記第２の尤度の高いカテゴリと関連付けられる所定数の情報を選択し、
   前記表示処理部によって表示される表示データは、前記第２の尤度の降順で前記情報を含む
   請求項２乃至５のいずれか１に記載の発話解析装置。
7. 前記表示処理部によって表示される表示データは、前記発話データが音声認識処理によってテキスト化されたテキストデータを発話の時系列で含む
   請求項１乃至６のいずれか１に記載の発話解析装置。
8. 前記表示処理部によって表示される表示データは、前記テキストデータにおいて所定の用語を強調されたデータである
   請求項７に記載の発話解析装置。
9. 前記制御部は、前記発話データ毎に、各カテゴリに関する第１の尤度を演算する
   請求項１乃至８のいずれか１に記載の発話解析装置。
10. 前記発話データは、複数の発話者の対話のデータである
    請求項１乃至９のいずれか１に記載の発話解析装置。
11. 発話者の発話の内容を解析し、発話に関する情報を表示する発話解析方法であって、
    取得部が、発話者の発話データを時系列の順番で取得するステップと、
    制御部が、前記取得部で取得した発話データが各カテゴリに該当する可能性を特定する値である複数の第１の尤度を用いて、前記発話データの内容を解析するステップと、
    表示処理部が、前記制御部による制御に従って、前記発話データのカテゴリに関連する関連情報を含む表示データを表示させるステップとを含み、
    前記制御部は、前記時系列に沿って前記発話データが取得される毎に前記複数の第１の尤度を用いて、複数のカテゴリにおける各カテゴリに関連した複数の関連情報を記憶する記憶部から、前記表示処理部に優先して表示させる関連情報を順次に選択する
    発話解析方法。
12. 請求項１１に記載の方法をコンピュータに実行させるためのプログラム。

Images