JP6210239B2 - 会話解析装置、会話解析方法及びプログラム - Google Patents

Description

本発明は、会話解析装置、会話解析方法及びプログラムに関する。

従来から、会議でなされる複数人の音声を記録する音声会議装置が提案されている。例えば、特許文献１には、筺体の正面及び背面に２つのマイクロホンアレイを備え、筺体の下面に直線状に配列された複数のスピーカからなるスピーカアレイを備え、さらに２つの信号処理部および選択手段を備え、スピーカアレイに対して音声信号を供給する放音信号処理部を備えた音声会議装置が記載されている。
他方、複数人が共同して行われる行動において意思疎通は重要な要素である。各種の業務その他の行動において、会話、会議その他の意思疎通の効率化が期待されている。そこで、各参加者において積極的に議論に参加することや、合意形成に努力することが求められることがある。

特許第４８１６２１１号公報

しかしながら、特許文献１に記載の音声会議装置は参加者による議論への貢献の客観的な度合いを取得する手段を備えていない。そのため、参加者は議論を効率化するための動機を欠いていた。

本発明は上記の点に鑑みてなされたものであり、議論への貢献の度合いを取得することができる会話解析装置、会話解析方法及びプログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、各話者の音声と当該話者の発言を示す発言データを取得する発言データ取得部と、前記音声に基づいて各話者の発言状態を解析する発言状態解析部と、前記発言状態に基づいて各話者の会話への貢献度を算出する貢献度算出部と、を備え、前記発言状態解析部は、前記発言状態として他の話者への発言の割り込みを判定する割込判定部を備える会話解析装置である。

（２）本発明の他の態様は、（１）の会話解析装置であって、前記発言状態解析部は、前記発言状態として発言時間に基づいて前記会話における活発度を算出する活発度算出部、を備える。

（３）本発明の他の態様は、（１）又は（２）の会話解析装置であって、前記発言状態解析部は、前記発言状態として前記会話の結論の要素への言及を判定する結論言及判定部を備える。

（４）本発明の他の態様は、（１）から（３）のいずれかの会話解析装置であって、各話者の前記貢献度に基づいて前記会話における話者間の貢献状態を示す評価値を算出する会話評価部と、を備える。

（５）本発明の他の態様は、（１）から（４）のいずれかの会話解析装置であって、前記発言データのうち前記発言の活性が所定の活性の閾値よりも高い区間を含む発言を特定する発言データ解析部と、を備える。

（６）本発明の他の態様は、会話解析装置における会話解析方法であって、各話者の音声と当該話者の発言を示す発言データを取得する発言データ取得過程と、前記音声に基づいて各話者の発言状態を解析する発言状態解析過程と、前記発言状態に基づいて各話者の会話への貢献度を算出する貢献度算出過程と、を有し、前記発言状態解析過程は、前記発言状態として他の話者への発言の割り込みを判定する割込判定過程を有する会話解析方法である。

（７）本発明の他の態様は、会話解析装置のコンピュータに、各話者の音声と当該話者の発言を示す発言データを取得する発言データ取得手順、前記音声に基づいて各話者の発言状態を解析する発言状態解析手順、前記発言状態に基づいて各話者の会話への貢献度を算出する貢献度算出手順、を実行させるためのプログラムであって、前記発言状態解析手順は、前記発言状態として他の話者への発言の割り込みを判定する割込判定手順を有するプログラムである。

上述した（１）、（６）又は（７）の構成によれば、会話に参加する話者の貢献の度合いを定量的に示す貢献度が取得される。貢献度を手がかりとして話者に対する会話への貢献を促すことにより、会話の効率化が図られる。また、発言状態として他の話者への発言の割り込みが判定される。判定された発言の割り込みの度合いを手がかりとして話者に対する割り込みの回避もしくは有効な割り込みを促すことにより、会話の効率化が図られる。

上述した（２）の構成によれば、会話に参加する話者による発言の活発性の度合いを定量的に示す活発度が取得される。活発度を手がかりとして話者に対する会話へ活発な発言を促すことにより、会話の効率化が図られる。

上述した（３）の構成によれば、発言状態として結論の要素に言及した発言が特定される。特定した結論の要素に言及した発言の度合いを手がかりとして話者に対して結論に誘導する発言を促すことにより、会話の効率化が図られる。

上述した（４）の構成によれば、会話に参加する話者間の貢献状態を定量的に示す評価値が取得される。評価値を手がかりとして話者間の貢献状態の改善を促すことにより、会話の効率化が図られる。

上述した（５）の構成によれば、会話を形成する発言のうち活性の高い区間を含む発言が会話への貢献が高い発言として抽出される。抽出された発言を手がかりとして、会話における発言内容の把握や発言状態の分析を効率的に行うことができる。

第１の実施形態に係る会話解析システムの構成を示すブロック図である。 第１の実施形態に係る実効発言量を説明するための図である。 第１の実施形態に係る割り込みの成否判定方法を説明するための図である。 第１の実施形態に係る結論言及区間の判定方法を説明するための図である。 第１の実施形態に係る重要度関数の一例を示す図である。 各セッションへの参加者の例を示す図である。 第１の実施形態に係る表示画面の一例を示す図である。 第１の実施形態に係る表示画面の他の例を示す図である。 第１の実施形態に係る表示画面のさらに他の例を示す図である。 第１の実施形態に係る会話解析処理を示すフローチャートである。 第２の実施形態に係る会話解析システムの構成を示すブロック図である。 第２の実施形態に係る発言データ出力処理の一例を示すフローチャートである。 第２の実施形態に係る発言データ出力処理の他の例を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る会話解析システム１の構成を示すブロック図である。
会話解析システム１は、会話解析装置１０、収音部３０、操作入力部３１、再生部３２及び表示部３３を含んで構成される。

会話解析装置１０は、収音部３０から入力された音声信号が表す各話者の音声と当該話者の発言を示す発言データを取得する。会話解析装置１０は、音声信号に基づいて各話者の発言状態を解析し、解析した発言状態に基づいて各話者の会話への貢献度を算出する。
収音部３０は、自部に到来した音を収集し、収集した音に基づくＭ（Ｍは、１以上の整数）チャネルの音声信号を生成する。収音部３０は、例えば、Ｍ個のマイクロホンを備え、各マイクロホンをそれぞれ異なる位置に配列して形成されるマイクロホンアレイである。収音部３０は、生成した音声信号を会話解析装置１０に送信する。

操作入力部３１は、ユーザの操作入力を受け付け、受け付けた操作入力に応じた操作信号を生成する。操作入力部３１は、生成した操作信号を会話解析装置１０に送信する。操作入力部３１は、例えば、タッチセンサ、マウス、キーボード、等のいずれか又は任意の組み合わせを含んで構成される。
再生部３２は、会話解析装置１０から入力された音声信号に基づく音声を再生する。再生部３２は、例えば、スピーカを含んで構成される。
表示部３３は、会話解析装置１０から入力された画像信号に基づく画像を表示する。表示部３３は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、等のいずれかを含んで構成される。入力される画像信号は、例えば、各種の表示画面を示す提示データである。

次に、本実施形態に係る会話解析装置１０の構成について説明する。
会話解析装置１０は、入出力部１１０、データ記憶部１１２、発言データ取得部１２０及び制御部１３０を含んで構成される。会話解析装置１０は、専用のハードウェアで構成されてもよいし、汎用のハードウェア上で所定のプログラムで指示される処理を実行にすることにより実現されてもよい。会話解析装置１０は、例えば、汎用のハードウェアとしてパーソナルコンピュータ、携帯電話機（いわゆる、スマートフォンを含む）、タブレット端末装置、等の電子機器を用いて構成されてもよい。

入出力部１１０は、他の機器と種々のデータを入力又は出力する。入出力部１１０による他の機器とのデータの入出力に用いられる回線は、有線でもよいし、無線でもよい。
入出力部１１０は、例えば、収音部３０から入力された音声信号を発言データ取得部１２０に出力し、操作入力部３１から入力された操作信号を制御部１３０に出力する。また、入出力部１１０は、制御部１３０から入力された音声信号及び画像信号を、それぞれ再生部３２及び表示部３３に出力する。入出力部１１０は、例えば、データ入出力インタフェースである。

発言データ取得部１２０は、収音部３０から入出力部１１０を介して入力された音声信号から各話者の音声と当該話者の発言を示す発言データを取得する。発言データ取得部１２０は、音源定位部１２１、音源分離部１２２、発言区間検出部１２３、特徴量算出部１２４及び音声認識部１２５を含んで構成される。

音源定位部１２１は、入出力部１１０から入力されたＭチャネルの音声信号に基づいて音源毎の方向を予め定めた長さの時間（例えば、５０ｍｓ）毎に算出する。音源定位部１２１は、音源方向の算出において、例えば、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ Ｓｉｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法を用いる。音源定位部１２１は、算出した音源毎の音源方向を示す音源方向情報とＭチャネルの音声信号を音源分離部１２２に出力する。

音源分離部１２２には、音源定位部１２１からＭチャネルの音声信号と音源方向情報が入力される。音源分離部１２２は、Ｍチャネルの音声信号を音源方向情報が示す音源方向に基づいて音源毎の音源別音声信号に分離する。音源分離部１２２は、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ−ｃｏｎｓｔｒａｉｎｅｄ Ｈｉｇｈ−ｏｒｄｅｒ Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ）法を用いる。音源分離部１２２は、分離した音源毎の音源別音声信号を発言区間検出部１２３に出力する。ここで、各話者はそれぞれ音源として発話する。従って、音源別音声信号は各話者の発話を表す音声信号に相当する。

発言区間検出部１２３は、音源分離部１２２から入力された音源別音声信号から所定の時間間隔の区間毎に発言区間を検出する。発言区間検出部１２３は、発言区間の特定の際に、例えば、零交差法、スペクトルエントロピー法などの音声区間検出（ＶＡＤ：Ｖｏｉｃｅ Ａｃｔｉｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ）を行う。発言区間検出部１２３は、音声区間と特定された区間を発言区間と定め、発言区間であるか否かを示す発言区間データを生成する。発言区間検出部１２３は、発言区間データと音源別音声信号とを区間毎に対応付けて特徴量算出部１２４に出力する。

特徴量算出部１２４には、発言区間検出部１２３から発言区間データと音源別音声信号が入力される。特徴量算出部１２４は、発言区間データにより発言区間であることを示す区間について、音響特徴量を所定の時間間隔（例えば、１０ｍｓ）で算出する。音響特徴量は、例えば、１３次のメルスケール対数スペクトル（ＭＳＬＳ：Ｍｅｌ−ｓｃａｌｅ Ｌｏｇａｒｉｔｈｍｉｃ Ｓｐｅｃｔｒｕｍ）を含む。１セットの音響特徴量には、１３次のデルタＭＳＬＳやデルタパワーが含まれてもよい。デルタＭＳＬＳは、その時点におけるフレーム（現時刻）のＭＳＬＳから直前のフレーム（前時刻）のＭＳＬＳの差分である。デルタパワーは、現時刻のパワーから前時刻のパワーの差分である。音響特徴量は、これには限られず、例えば、メル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）であってもよい。特徴量算出部１２４は、算出した音響特徴量と発言区間データとを区間毎に対応付けて音声認識部１２５に出力する。

音声認識部１２５は、特徴量算出部１２４から入力された音響特徴量についてデータ記憶部１１２に予め記憶された音声認識データを用いて音声認識処理を行い、発言内容を示すテキストデータを生成する。音声認識データは、音声認識処理に用いられるデータ、例えば、音響モデル、言語モデル、及び単語辞書である。音響モデルは、音響特徴量から音素を認識する際に用いられるデータである。言語モデルは、互いに隣接する複数の音素からなる音素列から複数の単語のセットを認識する際に用いられるデータである。単語辞書は、認識結果となるテキストデータを形成する音素列の候補である単語を示すデータである。なお、音響モデルは、例えば、連続隠れマルコフモデル（ｃｏｎｔｉｎｕｏｕｓ ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）である。連続ＨＭＭは、出力分布密度が連続関数になっているモデルであり、その出力分布密度が複数の正規分布を基底として重み付け加算して表される。言語モデルは、例えば、ある音素に後続する音素からなる音素列の制約や、音素列毎の遷移確率を示すＮグラムである。
音声認識部１２５は、音源、即ち、話者毎に生成したテキストデータ、その発言内容を表す音源別音声信号及び発言区間データを区間毎に対応付けて発言データを生成する。音声認識部１２５は、話者毎に生成した発言データをデータ記憶部１１２に記憶する。

データ記憶部１１２は、会話解析装置１０が行う処理に用いる各種のデータ、処理によって生成される各種のデータを記憶する。データ記憶部１１２には、例えば、上述した音声認識データ、話者毎の発言データがセッション毎に記憶される。セッションとは、個々の会話を指す。以下の説明では、会話とは、共通の話題に係る複数人の話者間相互の発言のセットを意味する。つまり、１セッションの会話には、通例、複数の発話が含まれる。以下の説明では、会話には、会議、座談会、議論なども含まれ、これらを会話と総称する。セッション毎の発言データには、当該セッションの開始日時、終了日時もしくは継続時間を示す日時データが含まれてもよい。データ記憶部１１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−ｏｎｌｙ Ｍｅｍｏｒｙ）等の各種の記憶媒体を含んで構成される。

制御部１３０は、発言状態解析部１４０、係数設定部１５１、貢献度算出部１５２、会話評価部１６０、提示データ生成部１７０及び発言データ抽出部１８０を含んで構成される。

発言状態解析部１４０は、操作入力部３１からの操作信号で指定される発言データをデータ記憶部１１２から読み出す。発言状態解析部１４０は、読み出した発言データが示す各話者の音声から発言状態を解析する。発言状態解析部１４０は、解析により得られた発言状態を示す発言状態データを貢献度算出部１５２に出力する。発言状態解析部１４０は、活発度算出部１４１、割込判定部１４２及び結論言及判定部１４３を含んで構成される。

活発度算出部１４１は、発言データに含まれる発言区間データが示す発言区間毎の継続時間である発言時間ｄに基づいて、会話に参加する話者ｉの会話における活発度Ｕ_ｉを算出する。活発度Ｕ_ｉは、発話による会話への貢献の度合いの１つの指標である。活発度Ｕ_ｉは、会話における発言の活発さの度合いとして、その発言の量を示す。活発度Ｕ_ｉが高い話者ｉほど、その話者ｉの貢献が大きく、活発度Ｕ_ｉが低い話者ｉほど、その話者ｉの貢献が少ないことを意味する。活発度算出部１４１は、活発度Ｕ_ｉを示す活発度データを発言状態データの一部として貢献度算出部１５２と提示データ生成部１７０に出力する。また、活発度算出部１４１は、発言区間毎の発言時間を示す発言時間データを割込判定部１４２に出力する。発言時間は、発言開始時刻と発言終了時刻との間の時間である。活発度Ｕ_ｉの算出方法については、後述する。

割込判定部１４２は、活発度算出部１４１から入力された発言時間データが示す話者毎の発話区間に基づいて、ある話者ｉから他の話者ｊへの発言の割り込みを判定する。割込判定部１４２は、ある話者ｉによる他の話者ｊへの割り込みに成功した発言についての実効発言量ｕ_ｉｊ（後述）に所定の第１の係数α_１を乗じて、その発言に係る発言別割込量を算出する。割込判定部１４２は、割り込みに失敗したある話者の発言についての実効発言量ｕ_ｉｊに所定の第２の係数α_２を乗じて、その発言に係る割り込みの実効性を表す発言別割込量を算出する。ここで、α_１、α_２は、それぞれ１よりも大きい整数（例えば、１．５）、１よりも小さい整数（例えば、０．５）である。つまり、割り込みに成功した発言の発言別割込量は、割り込みに失敗した発言の発言別割込量よりも大きい。

割込判定部１４２は、ある話者と他の話者との組毎の会話内における発言別割込量の総和を割込量Ｉ_ｉｊとして算出する。また、割込判定部１４２は、ある話者ｉに割り込まれた他の話者ｊの発言毎の実効発言量ｕ_ｊｉの会話内における総和を被割込量Ｉ_ｊｉとして算出する。割込判定部１４２は、算出した割込量Ｉ_ｉｊと被割込量Ｉ_ｊｉを示す割込量データを発言状態データの他の一部として貢献度算出部１５２と提示データ生成部１７０に出力する。割り込みの成否判定については、後述する。

結論言及判定部１４３は、データ記憶部１１２から会話の結論を表す区間（結論区間）内のテキストデータを読み取る。読み取られたテキストデータは、その結論を表す文（結論文）を示すデータである。結論区間のテキストデータとして、発言データ抽出部１８０において、例えば、操作入力部３１からの操作信号で指定される抽出区間の発言データに含まれるテキストデータが用いられてもよい。結論言及判定部１４３は、会話内の各話者の発言を表すテキストデータのうち、結論部の要素となる語句を表す区間を結論言及区間と判定する。結論言及判定部１４３は、話者ｉ毎の結論言及区間に基づいて結論言及量Ｒ_ｉを算出する。結論言及判定部１４３は、算出した結論言及量Ｒ_ｉを示す結論言及量データを発言状態データのさらに他の一部として貢献度算出部１５２と提示データ生成部１７０に出力する。結論言及区間の判定方法、結論言及量Ｒ_ｉの算出方法については、後述する。

係数設定部１５１は、発言状態データが示す指標値として活発度活発度Ｕ_ｉ、割込量Ｉ_ｉｊ、被割込量Ｉ_ｊｉ及び結論言及量Ｒ_ｉから貢献度を算出する際に用いる重み係数を定める。係数設定部１５１は、例えば、操作入力部３１からの操作信号に基づいて、指標値毎の重み係数を定める。係数設定部１５１は、定めた重み係数を示す係数データを貢献度算出部１５２に出力する。

貢献度算出部１５２は、発言状態解析部１４０から入力された発言状態データに基づいて各話者ｉの会話への貢献度Ｃ_ｉを算出する。具体的には、係数設定部１５１から入力された係数データが示す指標値毎の重み係数を対応する指標値に乗算し、乗算により得られた乗算値の総和を貢献度Ｃ_ｉとして算出する。貢献度算出部１５２は、算出した貢献度Ｃ_ｉを示す貢献度データを会話評価部１６０に出力する。貢献度Ｃ_ｉの算出方法については、後述する。

会話評価部１６０は、貢献度算出部１５２から入力された貢献度データが示す各話者ｉの貢献度Ｃ_ｉに基づいて会話における話者間の貢献状態を示す評価値を取得する。会話評価部１６０は、評価値として、例えば、総貢献度、貢献度比（貢献度バランス）を算出する。総貢献度Ｃは、各話者ｉ（ｉは、１以上Ｎ以下の整数、Ｎは会話への参加者数を示す２以上の整数）の貢献度Ｃ_ｉの総和である。総貢献度Ｃは、その会話に参加する全話者の発話による全ての貢献の度合いを示す。貢献度比Ｐは、各話者ｉの貢献度Ｃ_ｉを総貢献度Ｃで正規化して得られる相対評価値Ｃ_ｉ’（＝Ｃ_ｉ／Ｃ）の話者間の最小値Ｃ_ｍｉｎ’の最大値Ｃ_ｍａｘ’に対する比（＝Ｃ_ｍｉｎ’／Ｃ_ｍａｘ’）である。貢献度比Ｐは、話者間の相対評価値Ｃ_ｉ’の分布の大きさを示す。つまり、貢献度比Ｐが小さいほど話者間で相対評価値Ｃ_ｉ’の分布が大きいことを示す。貢献度比Ｐが小さくなる状態として、例えば、会話において特定の話者の発言が主であり、その他の話者の発言が稀であること、つまり、特定の話者による発言が支配的である状態が挙げられる。貢献度比Ｐが大きくなる状態として、例えば、全ての話者の発言による貢献が同程度、つまり、全員が均しく会話に参加している状態が挙げられる。なお、貢献度比Ｐの最大値、最小値は、それぞれ１、０である。
会話評価部１６０は、算出した評価値を示す会話評価データを提示データ生成部１７０に出力する。

なお、会話評価部１６０は、話者間の相対評価値Ｃ_ｉ’の分布の大きさを示す評価値として、貢献度比Ｐに代えて相対評価値Ｃ_ｉ’の分散もしくは標準偏差を算出してもよい。また、会話評価部１６０は、発言データに基づいて会話毎の話者を特定し、参加者として特定の話者の組み合わせを含む会話に係る貢献度Ｃ_ｉを算出してもよい。話者の組み合わせの評価については、後述する。

また、会話評価部１６０は、ある会話（セッション）に参加した話者ｉの貢献度Ｃ_ｉ もしくは相対評価値Ｃ_ｉ’の順序を定め、定めた順序を所定の段階数のランクのいずれか（評価ラベル）に分類してもよい。その場合、会話評価部１６０は、分類された話者ｉの評価ラベルを評価値の一項目として定める。例えば、話者ｉの順位について貢献度Ｃ_ｉ もしくは相対評価値Ｃ_ｉ’の最も高い話者ｉから１０％間隔で１０段階のランクに分類され、各ランクの評価ラベルが順にＡ＋、Ａ、Ａ−、Ｂ＋、Ｂ、Ｂ−、Ｃ＋、Ｃ、Ｃ−、Ｄである場合を仮定する。話者ｊの貢献度Ｃ_ｊの順位が１００名中第１８位である場合には、会話評価部１６０は、話者ｊの評価ラベルをＡと判定する。なお、段階数は、必ずしも１０段階に限られず、２段階以上であれば９段階以下でもよいし、１１段階以上でもよい。また、ランクへの分類は、順序に基づく分類に限られず、話者ｉ毎の貢献度Ｃ_ｉ もしくは相対評価値Ｃ_ｉ’の平均値からの偏差に基づく分類であってもよい。
また、既に複数セッションの会話がなされている場合、会話評価部１６０は、個々のセッションの会話自体の総貢献度の順序を定め、定めた順序を所定の段階数のランクのいずれかに分類してもよい。その場合、会話評価部１６０は、分類された会話の評価ラベルを評価値の他の一項目として定める。

提示データ生成部１７０は、発言状態解析部１４０からの発言状態データ、貢献度算出部１５２からの貢献度データ、会話評価部１６０からの会話評価データが入力される。提示データ生成部１７０は、発言状態データが示す会話に参加する話者毎の指標値、貢献度データが示す会話に参加する話者毎の貢献度、会話評価データが示す評価値のいずれか又は所定の組み合わせに基づいて表示画面に表すための提示情報を示す提示データを生成する。提示データ生成部１７０は、生成した提示データを表示部３３に入出力部１１０を介して出力する。これにより、提示データ生成部１７０は、これらの指標値、貢献度、評価値のいずれか又は所定の組み合わせに基づく提示情報を表示部３３に提示させることができる。提示情報を表示する表示画面の例については、後述する。

発言データ抽出部１８０は、データ記憶部１１２に記憶された発言データのうち、所定の部分（抽出区間）を抽出する。抽出区間は、例えば、操作入力部３１から入力された操作信号で指定される。抽出区間は、会話（セッション）単位、話者単位、発言単位、時間（開始時刻、終了時刻）のいずれで指定されてもよい。発言データ抽出部１８０は、発言データを構成するテキストデータのうち、抽出区間内の発言内容のテキストを示すテキスト画像信号を生成し、生成したテキスト画像信号を表示部３３に入出力部１１０を介して出力してもよい。よって、出力されたテキスト画像信号が示すテキストが表示部３３に表示される。また、発言データ抽出部１８０は、発言データを構成する音源別音声信号のうち、抽出区間内の発言内容の音声を示す部分音声信号を抽出する。よって、出力された部分音声信号が示す音声が再生部３２から再生される。
なお、抽出区間の指定を促すために、発言データ抽出部１８０は、抽出部分を指示するための抽出区間指定画面を表示部３３に表示させてもよい。

（活発度の算出方法）
次に、活発度の算出方法について説明する。
活発度算出部１４１は、ある会話に参加する話者に係る発言区間データが示す発言区間を特定する。活発度算出部１４１は、特定した発言区間毎にその発言時間ｄに対応する実効発言量ｆ（ｄ）を定める。図２に示す例では、話者ｉによるｌ番目（ｌは、１以上の整数）の発言に係る発言時間ｄ_ｉｌが所定の発言時間の下限ｄ_ｔｈ未満である場合、活発度算出部１４１は、対応する実効発言量ｆ（ｄ_ｉｌ）を０と定める。発言時間ｄ_ｉｌが、下限ｄ_ｔｈ以上である場合、活発度算出部１４１は、発言時間ｄ_ｉｌを対応する実効発言量ｆ（ｄ_ｉｌ）と定める。発言時間の下限ｄ_ｔｈは、例えば、２秒である。活発度算出部１４１は、話者ｉ毎にその会話（セッション）内における発言区間毎の実効発言量ｆ（ｄ_ｉｌ）の総和Σ_ｌｆ（ｄ_ｉｌ）を当該話者の活発度Ｕ_ｉとして算出する。つまり、発言時間が下限ｄ_ｔｈ以上である実効的な発言の発言時間が活発度Ｕ_ｉの算出に用いられ、発言時間が下限ｄ_ｔｈ未満である発言区間と判定された区間が排除される。そのため、会話の合意形成に直接貢献しない短い発話、例えば、フィラー、相づち、発言と判定された物音などのノイズが排除される。

（割り込みの成否判定方法）
次に、割り込みの成否判定方法について説明する。割り込みとは、ある話者ｊの発言中において、他の話者ｉの発言を開始することを意味する。図３に示す例では、時刻ｔ_ｊ１から時刻ｔ_ｊ２までの話者ｊによる発言中である時刻ｔ_ｉ１における話者ｉによる発話の開始、時刻ｔ_ｊ３から時刻ｔ_ｊ４までの話者ｊによる発言中である時刻ｔ_ｉ３における話者ｉによる発話の開始は、いずれも割り込みと判定される。

割込判定部１４２は、割り込みに係る発言よりも割り込まれた発言の方が先に終了する場合、割り込みに成功したと判定し、割り込まれた発言よりも割り込みに係る発言の方が先に終了する場合、割り込みに失敗したと判定する。図３に示す例では、割り込みに係る話者ｉによる発言の終了時刻ｔ_ｉ２よりも、割り込まれた話者ｊによる発言の終了時刻ｔ_ｊ２の方が早い。従って、割込判定部１４２は、話者ｉによる終了時刻ｔ_ｉ２に終了する発言は、割り込みに成功した発言と判定する。他方、割り込まれた話者ｊによる発言の終了時刻ｔ_ｊ４よりも、割り込みに係る話者ｉによる発言の終了時刻ｔ_ｉ４の方が早い。従って、割込判定部１４２は、話者ｉによる終了時刻ｔ_ｉ４に終了する発言は、割り込みに失敗した発言と判定する。
なお、ある話者ｊの発言中において、開始された他の話者ｉの発言のうち、発言時間が所定の発言時間の閾値（例えば、上述の発言時間の下限ｄ_ｔｈ）よりも短い発言については、割込判定部１４２は、割り込みに係る発言として扱わない。上述したように、かかる発言は、会話の合意形成に直接貢献しないためである。

（結論言及区間の判定方法）
次に、結論言及区間の判定方法について説明する。
図４は、結論言及区間の判定方法を説明するための図である。
図４に示すテキストデータの例は、ある会話に係る話者毎の発言を示すテキストデータＴｘ０１と、その結論区間のテキストデータＴｘ０２である。それぞれの発言は、発言開始時刻及び話者に対応付けられている。テキストデータＴｘ０１では、３名の話者Ｘ、Ｙ、Ｚ間でなされる会話における発言が、発言開始時刻が早い順に配列されている。テキストデータＴｘ０２は、２０１５年４月７日１５時２３分に開始された話者Ｘによる発話「転入者へのキャンペーンを強化する。」という結論文を示す。

結論言及判定部１４３は、取得した結論区間のテキストデータが示す結論文を構成するキーワードを定める。結論言及判定部１４３は、例えば、テキストデータＴｘ０２が示す結論文について形態素解析を行い、結論文の要素である単語毎の品詞を特定する。結論言及判定部１４３は、品詞を特定した単語のうち、自立語、例えば、名詞、動詞、形容詞、形容動詞及び副詞をキーワードとして定める。なお、結論言及判定部１４３は、定めたキーワードのうち、所定の語句、例えば、話者の氏名、所属組織名、又はこれらの別名等を禁則語句として除外してもよい。なお、結論言及判定部１４３は、操作入力部３１から入力される操作信号が指示する語句をキーワードとして定めてもよい。なお、各キーワードは、必ずしも単一の単語に限られず、複数の単語で構成される複合語又は句であってもよい。図４に示す例では、キーワードは、下線が付された語句である。例えば、テキストデータＴｘ０２が示す結論文「転入者へのキャンペーンを強化する」のうち、「転入者」、「キャンペーン」、「強化する」がそれぞれキーワードである。また、結論言及判定部１４３は、これらの語句の類義語、活用形もキーワードに含めてもよい。そこで、結論言及判定部１４３は、データ記憶部１１２に記憶した辞書データを参照して、禁則語句、発言に含まれる語句の類義語もしくは活用形を特定する。データ記憶部１１２には、禁則語句、ある語句の類義語、又はある語句の活用形を示す辞書データを予め記憶しておく。

次に、結論言及判定部１４３は、会話内の発言のうち定めたキーワードの少なくともいずれか１つを含む発言を結論言及発言として検索し、検索した発言の時刻を結論言及時刻として特定する。図４に示す例では、結論言及判定部１４３は、キーワード「キャンペーン」を含む発言「では、ターゲットを絞ってキャンペーンを企画したらどうだろう？」と、キーワード「転入者」を含む発言「それなら、Ｓ区に最近引っ越した転入者がいいかもしれない。」とを結論言及発言として検索する。そして、結論言及判定部１４３は、検索した結論言及発言の発言開始時刻である２０１５年４月７日１５時１３分、２０１５年４月７日１５時１４分をそれぞれ結論言及時刻として特定する。

（結論言及量の算出方法）
次に、結論言及量の算出方法について説明する。
結論言及判定部１４３は、式（１）に示すように各話者ｉの結論言及時刻ｓ_ｉにおける重要度関数ｇ（ｓ_ｉ）の会話内の総和を、話者ｉの結論言及量Ｒ_ｉとして算出する。

式（１）において、和は発言間で話者ｉ毎に演算される。即ち、結論言及量Ｒ_ｉは、重要度関数ｇ（ｓ_ｉ）を重み係数とする重み付き結論言及回数である。結論言及量Ｒ_ｉが大きいことは、結論文の要素であるキーワードを含む発言が多いことを示し、話者ｉの発言による会話への貢献が大きいことを示す。

図５は、重要度関数の一例を示す図である。図５に示す例では、重要度関数ｇ（ｓ）は、会話の開始時刻（ｓ＝ｓ_ｓ）において最大値ｇ_１となり、時間が経過するほど減少する正の実数を重要度として与える関数である。重要度関数ｇ（ｓ）は会話の終了時刻（ｓ＝ｓ_ｅ）において最小値ｇ_２となる。このことは、結論言及時刻が早い結論言及発言ほど重要であることを示す。例えば、初回の結論言及時刻ｓ_１になされた結論言及発言の重要度ｇ（ｓ_１）は、その後の結論言及発言よりも高い。また、重要度関数ｇ（ｓ）は、開始時刻ｓ_２１から終了時刻ｓ_２２の間になされた結論誘導発言については、その前後の時刻よりも有意に高い重要度ｇ_２を与える。結論誘導発言は、他の話者の結論言及発言を導くきっかけとなった結論言及発言である。結論言及判定部１４３は、ある結論言及時刻の直前の所定時間（例えば、５分間）において他の結論言及発言が存在せず、終了後において他の結論言及発言が所定時間以上継続する区間を有する結論言及発言を結論誘導発言と判定する。他の結論言及発言が継続する区間には、所定の間隙時間（例えば、１分間）よりも短い無音区間又は結論言及発言以外の発言の区間が含まれてもよい。例えば、図４に示す話者Ｚによる「では、ターゲットを絞ってキャンペーンを企画したらどうだろう？」が結論誘導発言である。このような発言は、会話の結論を導くうえで重要であるため、他の結論言及発言よりも高い重要度が与えられる。

（貢献度の算出方法）
次に、貢献度の算出方法について説明する。
貢献度算出部１５２は、式（２）に示すように、発言状態データが示す話者ｉの活発度Ｕ_ｉ、話者ｉから話者ｊへの割込量Ｉ_ｉｊ、被割込量Ｉ_ｊｉ、結論言及量Ｒ_ｉについて重み付き加算を行って話者ｉの貢献度Ｃ_ｉを算出する。

式（２）において、ｗ_ｕ、ｗ_ｉ１、ｗ_ｉ２、ｗ_ｒは、それぞれ活発度Ｕ_ｉ、割込量Ｉ_ｉｊ、被割込量Ｉ_ｊｉ、結論言及量Ｒ_ｉに乗算される重み係数を示す。但し、重み係数ｗ_ｉ１、ｗ_ｉ２は、他の話者ｊについての割込量Ｉ_ｉｊ、被割込量Ｉ_ｊｉそれぞれの総和に乗じられる。従って、式（２）は、活発度Ｕ_ｉ等の指標値と対応する重み係数（ｗ_ｕ等）を乗じて得られる乗算値ｗ_ｕＵ_ｉ等の指標値の総和を貢献度Ｃ_ｉとして算出されることを示す。
結論区間が与えられない場合、結論文中のキーワードが特定されない場合には、結論言及量Ｒ_ｉが算出されないので、式（２）の右辺第４項のｗ_ｒＲ_ｉの加算が省略される。

（話者の組み合わせの評価）
会話評価部１６０は、話者の組み合わせの評価において、参加者として特定の話者の組み合わせを含む会話に係る貢献度Ｃ_ｉを算出してもよい。一般に参加者は、会話によって異なりうる。図６に示す例では、セッション１の参加者はＸ、Ｙの２名、セッション２の参加者はＸ、Ｚの２名、セッション３の参加者はＺ、Ｗの２名、セッション４の参加者はＸ、Ｙ、Ｗの３名、セッション５の参加者は、Ｘ、Ｚ、Ｗの３名である。ここで、会話評価部１６０は、データ記憶部１１２から読み出した発言データからセッションｍ毎の話者ｉを特定する。会話評価部１６０は、既に行われたＭ回のセッション全体における全参加者Ｎ_Ｔのうち各セッションｍに参加する話者ｉの数（参加者数）、話者ｉ毎の参加セッション数（参加セッション数）を計数する。セッションｍの参加者数は、Σ_ｉｐ_ｉｍ、参加セッション数は、Σ_ｍｐ_ｉｍとなる。ここで、ｐ_ｉｍは、セッションｍに話者ｉが参加したか否かを示すフラグ値である。ｐ_ｉｍが１とは、セッションｍに話者ｉが参加したことを示し、ｐ_ｉｍが０とは、セッションｍに話者ｉが参加しなかったことを示す。例えば、会話評価部１６０は、式（３）に示すように話者ｉ_１及びｉ_２がいずれも参加するセッションｍ毎の話者ｉの貢献度Ｃ_ｉの総和を貢献度ＣＰ_ｉとして算出することができる。

なお、会話評価部１６０は、操作入力部３１からの操作信号に基づいて特定された話者の組み合わせについて貢献度ＣＰ_ｉを算出してもよいし、ある注目の話者ｉを含む組み合わせのそれぞれについて貢献度ＣＰ_ｉを算出してもよい。話者の組み合わせ毎に算出した貢献度ＣＰ_ｉに接したユーザは、会話への貢献度を高くする話者の組み合わせや、会話への貢献度を低くする話者の組み合わせを把握して、会話を効率的に行うための参加者の調整を円滑に行うことができる。

（表示画面の例）
次に、本実施形態に係る表示画面の例について説明する。
図７は、本実施形態に係る表示画面の一例（表示画面Ｄ０１）を示す図である。
表示画面Ｄ０１は、重み係数、評価、個人別評価、セッション評価、割り込み状態の各項目を含む総合画面である。重み係数の項目には、活発度Ｕ_ｉ、割込量（割り込み度）Ｉ_ｉｊ、被割込量（割り込まれ度）Ｉ_ｊｉ、結論言及量（結論言及度）Ｒ_ｉのそれぞれに乗算される重み係数ｗ_ｕ、ｗ_ｉ１、ｗ_ｉ２、ｗ_ｒを入力するための入力欄が設けられている。入力欄は、［…］で表される部分である。ユーザによる入力欄に数値を設定するための操作入力に応じて生じた操作信号に基づいて、係数設定部１５１は、設定された数値を重み係数として示す係数データを生成する。貢献度算出部１５２は、発言状態解析部１４０から発言状態データを取得し、発言状態データが示す指標値を、係数データが示す重み係数に基づいて重み付き加算を行って各話者の貢献度を算出する。

評価の項目には、各話者の評価ラベルと、当該会話に係る評価ラベルが表示される。図７に示す例では、話者Ｘ、Ｙ、Ｚそれぞれについて［…］内に評価ラベルとしてＡ、Ｃ＋、Ｂが表示され、当該会話の評価ラベルとして「グループ」に隣接する［…］内にＢが表示される。これらの評価ラベルは、会話評価部１６０が定めた評価ラベルのうち、提示データ生成部１７０が表示画面Ｄ０１に表示するための提示情報として取得した情報である。

個人別評価の項目は、絶対評価と相対評価の表示領域を含む。絶対評価の表示領域には、話者Ｘ、Ｙ、Ｚの貢献度（絶対評価値）Ｃ_ｉが棒グラフの長さで表されている。各話者の貢献度を表す棒グラフは、その内訳として活発度Ｕ_ｉ、割込量Ｉ_ｉｊ、被割込量Ｉ_ｊｉ、結論言及量Ｒ_ｉの成分毎に区分されている。各区分の長さは、活発度Ｕ_ｉ等の指標値に重み係数ｗ_ｕ等がそれぞれ乗じられた値に比例する。このようにして、話者毎の貢献度の大きさや、その内訳として発言の活発度、割込量、被割込量、結論言及量が可視化される。
相対評価の表示領域には、内訳として話者Ｘ、Ｙ、Ｚの相対評価値毎の区分を含み、それらの全体が１００％である１つの棒グラフが含まれる。各区分の長さは、話者ｉ毎の貢献度Ｃ_ｉもしくは相対評価値Ｃ_ｉ’に比例する。これらの棒グラフは、発言状態解析部１４０が算出した各指標値、貢献度算出部１５２が算出した貢献度、会話評価部１６０が算出した相対評価値に基づいて提示データ生成部１７０が生成した提示情報である。このように、話者ｉ毎の貢献度Ｃ_ｉの割合が可視化される。

セッション評価の項目には、分析対象の会話に対する評価値として、結論言及時間、結論言及量、総貢献度、貢献度バランスが表示される。結論言及時間は、会話内の結論言及発話の発話時間の総和である。結論言及量は、話者ｉ毎の結論言及量Ｒ_ｉの当該セッションにおける参加者間の総和である。総貢献度は、話者ｉ毎の貢献度Ｃ_ｉの当該セッションにおける参加者間の総和である。貢献度バランスは、上述した貢献度比Ｐである。これらの評価値は、発言状態解析部１４０が定めた結論言及時間、結論言及量、貢献度算出部１５２が算出した貢献度、会話評価部１６０が算出した相対評価値に基づいて提示データ生成部１７０が表示画面Ｄ０１に表示するための提示情報として取得した情報である。

割り込み状態の項目には、分析対象の会話における話者間の割り込み量、被割り込み量が表示される。３つの円の中心に付されたＸ、Ｙ、Ｚの文字は、話者Ｘ、Ｙ、Ｚを示す。それぞれの円の半径は、その話者の貢献度に比例する。ある話者の円から他の話者の円に向かう矢印、他の話者の円からある話者の円に向かう矢印の太さは、それぞれ割込量Ｉ_ｉｊ、被割込量Ｉ_ｊｉに比例する。図７に示す例では、話者Ｙの円と話者Ｚの円の間の太い矢印は、話者ＹＺ間の割り込みが多く、話者Ｙの円と話者Ｘの円の間の細い矢印は、話者ＸＹ間の割り込みが少ないことを示す。このように、話者相互間の割り込みの度合いが可視化される。

なお、表示画面Ｄ０１は、さらに「個人詳細」、「組み合わせ詳細」、「終了」の文字がそれぞれ表されたボタンＢＴ０１、ＢＴ０２、ＢＴ０３を含む。ボタンＢＴ０１は、提示データ生成部１７０に対して、押下されることにより表示画面Ｄ０２（後述）を表示させ、その時点で表示されている表示画面Ｄ０１を消去させるためのボタンである。ここで、「押下」とは、ユーザの操作入力に応じて、その表示に係る項目又はその表示領域内の座標を指示するための操作信号が入力されることを意味する。ボタンＢＴ０２は、提示データ生成部１７０に対して、押下されることにより表示画面Ｄ０３（後述）を表示させ、その時点で表示されている表示画面Ｄ０１を消去させるためのボタンである。ボタンＢＴ０３は、提示データ生成部１７０に対して、他の表示画面を表示させず、その時点で表示されている表示画面Ｄ０１を消去させるためのボタンである。

図８は、本実施形態に係る表示画面の他の例（表示画面Ｄ０２）を示す図である。
表示画面Ｄ０２は、個々の話者の会話毎の貢献度を表示する個人詳細画面である。表示画面Ｄ０２は、表題として「参加者」と［…］で表される入力欄を有する。この入力欄は、話者Ｘの氏名や識別情報を設定するためのユーザによる操作入力を受け付けるための入力欄である。貢献度算出部１５２は、操作入力によって生じた操作信号で指示された話者Ｘの貢献度をセッション毎に算出する。
表示画面Ｄ０２には、設定された話者Ｘの会話（セッション）が行われた日時毎の貢献度（セッション）を示す折れ線グラフが表示されている。この折れ線グラフで表される日時に対応付けられた貢献度は、貢献度算出部１５２が算出したセッション毎の貢献度を提示データ生成部１７０が提示情報として取得した情報である。表示画面Ｄ０２に示す例では、貢献度は日時の経過に応じて増加する。このような表示により、話者毎の会話に対する貢献の度合いのセッションに応じた変化が可視化される。このようにして、ユーザは、例えば、会話技術の向上や変化の契機を把握することができる。

なお、表示画面Ｄ０２は、さらに「総合」、「組み合わせ詳細」、「終了」の文字が付されたボタンＢＴ０４、ＢＴ０２、ＢＴ０３を含む。ボタンＢＴ０４は、提示データ生成部１７０に対して、押下されることにより表示画面Ｄ０１を表示させ、その時点で表示されている表示画面Ｄ０２を消去させるためのボタンである。

図９は、本実施形態に係る表示画面のさらに他の例（表示画面Ｄ０３）を示す図である。
表示画面Ｄ０３は、ある話者を含む話者の組み合わせ毎の貢献度を表示する組み合わせ詳細画面である。表示画面Ｄ０３は、表題として「参加者」と［…］で表される入力欄を有する。この入力欄にユーザによる話者の氏名や識別情報を設定するためのユーザによる操作入力を受け付けるための入力欄である。会話評価部１６０は、操作入力によって生じた操作信号で指示された話者Ｘを含む話者の組み合わせを含む会話における話者Ｘの貢献度Ｃ_Ｘを算出する。

表示画面Ｄ０３には、設定された話者Ｘを含む話者の組み合わせ、その話者の組み合わせが参加者として含まれる会話（対象セッション）における貢献度Ｃ_Ｘの平均値（Ｘ平均）、その会話の数（対象セッション数）を対応付けて表す。この会話毎の貢献度Ｃ_Ｘの平均値は、会話評価部１６０が各会話について算出した話者の組み合わせ毎の貢献度ＣＰ_Ｘを（式（３）参照）、その組み合わせに係る対象セッション数で除算した値を提示データ生成部１７０が提示情報として取得した情報である。
図９に示す例では、例えば、話者ＸとＹの組み合わせ（Ｘ＋Ｙ）について、話者Ｘの貢献度Ｃ_Ｘの平均値は１０．５であり、その対話の数は５０である。話者Ｘ、Ｙ、Ｚの組み合わせ（Ｘ＋Ｙ＋Ｚ）について、話者Ｘの貢献度Ｃ_Ｘの平均値は９．５であり、その対話の数は３０である。話者Ｘ、Ｚの組み合わせ（Ｘ＋Ｚ）について、話者Ｘの貢献度Ｃ_Ｘの平均値は８．３であり、その対話の数は４０である。従って、図９に示す例では、話者Ｘの貢献度は、話者Ｙとの組み合わせで参加する会話において高く、話者Ｚとの組み合わせで参加する会話において低い。従って、ユーザは、同一の話者Ｘであっても話者の組み合わせによる貢献度の依存性を把握することができる。ユーザは、例えば、話者Ｘの発言による貢献が期待される参加者の組み合わせ、あるいは貢献が期待されない参加者の組み合わせを見出すことができる。
なお、表示画面Ｄ０３は、さらに「総合」、「個人詳細」、「終了」の文字が付されたボタンＢＴ０４、ＢＴ０１、ＢＴ０３を含む。

（会話解析処理）
次に、本実施形態に係る会話解析処理について説明する。
図１０は、本実施形態に係る会話解析処理を示すフローチャートである。
（ステップＳ１０１）活発度算出部１４１は、発言データに含まれる発言区間データが示す発言区間毎の継続時間である発言時間ｄに応じた実効発言量ｕ_ｉｊの会話に参加する話者ｉについての総和を活発度Ｕ_ｉとして算出する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）割込判定部１４２は、発言時間データが示す話者毎の発言区間に基づいて、ある話者ｉから他の話者ｊへの発言の割り込みを判定する。割込判定部１４２は、割り込みに係る発言の実効発言量ｕ_ｉｊに割り込みの成否に応じた係数を乗じて発言別割込量の会話内における割り込みに係る発言別割込量の総和を割込量Ｉ_ｉｊとして算出する。また、割込判定部１４２は、ある話者ｉに割り込まれた他の話者ｊの発言毎の実効発言量ｕ_ｊｉの会話内における総和を被割込量Ｉ_ｊｉとして算出する。その後、ステップＳ１０３に進む。
（ステップＳ１０３）結論言及判定部１４３は、会話の結論を表す結論文を示すテキストデータを取得する。結論言及判定部１４３は、会話内の各話者ｉの発言を表すテキストデータのうち、結論文の要素となるキーワードを含む結論言及区間を判定する。結論言及判定部１４３は、判定した結論言及区間に基づいて結論言及量Ｒ_ｉを算出する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）係数設定部１５１は、発言状態を示す指標値である活発度、割込量、被割込量及び結論言及量のそれぞれに係る重み係数を定める。その後、ステップＳ１０５に進む。
（ステップＳ１０５）貢献度算出部１５２は、各話者ｉの指標値である活発度、割込量、被割込量及び結論言及量のそれぞれに係る重み係数を乗じて得られた乗算値の総和を貢献度Ｃ_ｉとして算出する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）会話評価部１６０は、各話者の貢献度Ｃ_ｉに基づいて会話における話者間の貢献状態を示す評価値、例えば、貢献度比、評価ラベル、話者の組み合わせ毎の特定の話者ｉの貢献度ＣＰ_ｉを取得する。

（ステップＳ１０７）提示データ生成部１７０は、発言状態を示す指標値、各話者の貢献度、話者間の貢献状態を示す評価値に基づいて指示された表示画面に応じた項目の提示情報を示す提示データを生成する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）提示データ生成部１７０は、生成した提示データを表示部３３に入出力部１１０を介して出力することにより、提示情報を表示させる。その後、図１０に示す処理を終了する。

以上に説明したように、本実施形態に係る会話解析装置１０は、各話者の音声と当該話者の発言を示す発言データを取得する発言データ取得部１２０を備える。また、会話解析装置１０は、音声に基づいて各話者の発言状態を解析する発言状態解析部１４０と、発言状態に基づいて各話者の会話への貢献度を算出する貢献度算出部１５２と、を備える。
この構成によれば、会話に参加する話者の貢献の度合いを定量的に示す貢献度が取得される。貢献度を手がかりとして話者に対する会話への貢献を促すことにより、会話の効率化が図られる。

また、発言状態解析部１４０は、発言状態として発言時間に基づいて会話における活発度を算出する活発度算出部１４１を備える。
この構成によれば、会話に参加する話者による発言の活発性の度合いを定量的に示す活発度が取得される。活発度を手がかりとして話者に対する会話へ活発な発言を促すことにより、会話の効率化が図られる。

また、発言状態解析部１４０は、発言状態として他の話者への発言の割り込みを判定する割込判定部１４２を備える。
この構成によれば、発言状態として他の話者への発言の割り込みが判定される。判定された発言の割り込みの度合いを手がかりとして話者に対する割り込みの回避もしくは有効な割り込みを促すことにより、会話の効率化が図られる。

また、発言状態解析部１４０は、発言状態として前記会話の結論の要素への言及を判定する結論言及判定部１４３を備える。
この構成によれば、発言状態として結論の要素に言及した発言が特定される。特定した結論の要素に言及した発言の度合いを手がかりとして話者に対して結論に誘導する発言を促すことにより、会話の効率化が図られる。

また、各話者の前記貢献度に基づいて前記会話における話者間の貢献状態を示す評価値を算出する会話評価部１６０を備える。
この構成によれば、会話に参加する話者間の貢献状態を定量的に示す評価値が取得される。評価値を手がかりとして話者間の貢献状態の改善を促すことにより、会話の効率化が図られる。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図１１は、本実施形態に係る会話解析システム１Ａの構成を示すブロック図である。
会話解析システム１Ａは、会話解析装置１０Ａ、収音部３０、操作入力部３１、再生部３２及び表示部３３を含んで構成される。
会話解析装置１０は、入出力部１１０、データ記憶部１１２、発言データ取得部１２０及び制御部１３０Ａを含んで構成される。
制御部１３０Ａは、発言状態解析部１４０Ａ、係数設定部１５１、貢献度算出部１５２、会話評価部１６０、提示データ生成部１７０Ａ及び発言データ抽出部１８０Ａを含んで構成される。
発言状態解析部１４０は、活発度算出部１４１、割込判定部１４２、結論言及判定部１４３及び活性区間判定部１４４Ａを含んで構成される。

活性区間判定部１４４Ａは、発言データに含まれる発言区間データが示す発言区間に対応する音源別音声信号に基づいて発言の活性度がその他の区間における所定の活性度よりも有意に高い活性区間を判定する。活性区間判定部１４４Ａは、特定した活性区間を示す活性区間データを発言データ抽出部１８０Ａに出力する。

活性区間判定部１４４Ａは、活性度として、例えば、話者毎の相対音量と相対ピッチが、それぞれ所定の閾値よりも高い区間を活性区間として特定する。この手法により特定される活性区間は、典型的には話者が強調した発言の区間であることが多い。ここで、活性区間判定部１４４Ａは、話者毎の音源別音声信号について所定の時間間隔（例えば、５０ｍｓ）毎の音量を示すパワーとピッチをそれぞれ算出し、テキストデータを参照してその区間の音韻を特定する。活性区間判定部１４４Ａは、データ記憶部１１２に予め記憶した話者毎の基準音声データを参照して特定した音韻の平均パワーと平均ピッチを用いて算出したパワーとピッチを正規化し、相対音量と相対ピッチをそれぞれ算出する。

その前提として、制御部１３０Ａは、話者毎の音源別音声信号について所定の時間（例えば、５０ｍｓ）毎の音量を示すパワーと、ピッチを算出し、その区間の音韻を示すテキストデータと照合して音韻毎の平均パワーと平均ピッチを予め算出しておく。制御部１３０Ａは、算出した音韻毎の平均パワーと平均ピッチを示す基準音声データを話者毎にデータ記憶部１１２に予め記憶しておく。

発言データ抽出部１８０Ａは、発言区間データに基づいて、活性区間判定部１４４Ａから入力された活性区間データが示す活性区間を含む発言区間の発言データを抽出する。発言データ抽出部１８０Ａは、抽出した発言データに含まれるテキストデータが示すテキストの画像を表す画像データを表示部３３に出力する。表示部３３には、その発話区間の発話を示すテキストが表示される。また、発言データ抽出部１８０Ａは、発言データに含まれる音源別音声信号を再生部３２に出力する。再生部３２から、その発話区間の発話の音声が再生される。

（発言データ出力処理）
次に、本実施形態に係る発言データ出力処理について説明する。
図１２は、本実施形態に係る発言データ出力処理の一例を示すフローチャートである。図１２に示す発言データ出力処理は、相対音量、相対ピッチに基づいて活性区間を検出する場合を例にする。

（ステップＳ２０１）活性区間判定部１４４Ａは、話者毎の音源別音声信号について所定の時間間隔でパワーとピッチをそれぞれ算出し、テキストデータを参照してその区間の音韻を特定する。活性区間判定部１４４Ａは、データ記憶部１１２に予め記憶した基準音声データを参照して特定した音韻の平均パワーと平均ピッチを用いて算出したパワーとピッチを正規化し、相対音量と相対ピッチをそれぞれ算出する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）活性区間判定部１４４Ａは、相対音量と相対ピッチが、それぞれ所定の閾値よりも高い区間を活性区間として特定する。その後、ステップＳ２０３に進む。

（ステップＳ２０３）発言データ抽出部１８０Ａは、発言区間データに基づいて、活性区間判定部１４４Ａから入力された活性区間データが示す活性区間を含む発言区間の発言データを抽出する。その後、ステップＳ２０４に進む。
（ステップＳ２０４）発言データ抽出部１８０Ａは、抽出した発言データに含まれるテキストデータが示すテキストの画像を表す画像データを表示部３３に出力する。また、発言データ抽出部１８０Ａは、発言データに含まれる音源別音声信号を再生部３２に出力する。その後、図１２に示す処理を終了する。

なお、上述では活性区間判定部１４４Ａが、相対音量と相対ピッチの両者に基づいて活性区間を判定することを例にしたが、これには限られない。活性区間判定部１４４Ａは、相対音量と相対ピッチのいずれか一方に基づいて活性区間を判定してもよい。

（盛り上がり度の利用）
活性区間判定部１４４Ａは、活性区間の判定において発言の盛り上がり度が所定の盛り上がり度の閾値よりも高い区間を特定してもよい。発言の盛り上がり度は、発言の活性度を示す他の指標である。発言の盛り上がり度は、各時刻における会話において話者の交代の度合いを定量的に示す指標である。活性区間判定部１４４Ａは、音源別音声信号と発言区間データに基づいて、例えば、式（４）を用いて盛り上がり度ｆ（ｔ）を算出する。

式（４）において、ｔは、時刻を表す。ν_ｌは、発言ｌの相対音量を示す。相対音量ν_ｌは、話者の音量が大きいほど発言の活性が高いことを表す要素である。言い換えれば、音量が大きいほどその発言ｌによる寄与が大きいことが表される。相対音量ν_ｌは、上述したように音源別音声信号を用いて算出可能である。αは、発言開始時刻ｔ_ｌからの経過時間に応じた発言ｌの寄与の低下を表す減衰定数である。発言開始時刻ｔ_ｌは、発言区間データを用いて特定される。即ち、減衰定数αは、話者の交代が行われず特定の話者による発言が継続されることによる活性の低下を表す正の実数である。式（４）は、各発言の寄与を、時間を跨いで累積することによって盛り上がり度ｆ（ｔ）を算出することを示す。従って、盛り上がり度ｆ（ｔ）は、話者の交代が頻繁なほど高く、話者の交代が少ないほど低い。また、盛り上がり度ｆ（ｔ）は、相対音量が大きいほど高く、相対音量が小さいほど低い。

なお、式（４）に示す例は、発言ｌ毎の寄与を加算して盛り上がり度ｆ（ｔ）を算出することを示すが、これには限られない。活性区間判定部１４４Ａは、時間的に相互に隣接した複数の発言からなるセット毎の寄与を加算して盛り上がり度ｆ（ｔ）を算出してもよい。その場合、活性区間判定部１４４Ａは、発言ｌ毎の相対音量ν_ｌに代えて、予め定めた正規化された値νを用いる。１つのセットが会話よりも短い単位であれば、各セットに含まれる発言の個数は予め定められた個数であってもよいし、各セットの継続時間が予め定められた時間であってもよい。

次に、盛り上がり度を用いて活性区間を判定する場合における発言データ出力処理について説明する。
図１３は、本実施形態に係る発言データ出力処理の他の例を示すフローチャートである。
図１３に示す発言データ出力処理は、ステップＳ２１１、Ｓ２１２、Ｓ２０３及びＳ２０４を有する。

（ステップＳ２１１）活性区間判定部１４４Ａは、音源別音声信号と発言区間データに基づいて、所定の時間間隔で盛り上がり度を算出する。その後、ステップＳ２１２に進む。
（ステップＳ２１２）活性区間判定部１４４Ａは、算出した盛り上がり度が、所定の盛り上がり度の閾値よりも高い区間を活性区間として特定する。その後、ステップＳ２０３に進む。

なお、本実施形態では、活発度算出部１４１は、活性区間を含む発言の実効発言量を、その他の発言の実効発言量よりも高い値に定めてもよい。これにより、活発度算出部１４１は、発言の活性度が高い活性区間に係る発言をその他の発言よりも重視して活発度Ｕ_ｉが算出することができる。そのため、発話状態として発言の長さの他、その発言の活性度を反映した活発度Ｕ_ｉが算出されるので、より的確な発言の貢献度や会話の評価値が算出される。

以上に説明したように、本実施形態に係る会話解析装置１０Ａは、発言データのうち発言の活性が所定の活性の閾値よりも高い区間を含む発言を特定する発言データ抽出部１８０Ａをさらに備える。
この構成により、会話を形成する発言のうち活性の高い区間を含む発言が会話への貢献が高い発言として抽出される。抽出された発言を手がかりとして、会話における発言内容の把握や発言状態の分析を効率的に行うことができる。

以上、図面を参照して本発明の実施形態について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、会話解析システム１、１Ａにおいて、収音部３０の個数は複数であってもよい。その場合、発言データ取得部１２０は、個々の収音部３０により取得される音声信号を音源別音源信号として取得してもよい。その場合、音源定位部１２１及び音源分離部１２２が省略されてもよい。また、個々の収音部３０は、少なくとも１チャネルの音声信号を取得することができればよい。

また、発言データ取得部１２０は、必ずしも収音部３０からの音声信号に基づいて発言データを生成しなくてもよく、他の機器が生成した発言データを、入出力部１１０を介して取得してもよい。その場合には、収音部３０が省略されてもよい。
また、会話解析装置１０、１０Ａは、収音部３０、操作入力部３１、再生部３２及び表示部３３のいずれか又はその組み合わせと一体化され、単一の会話解析装置として構成されてもよい。

なお、上述した実施形態における会話解析装置１０、１０Ａの一部、例えば、発言データ取得部１２０、制御部１３０、１３０Ａをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。また、発言データ取得部１２０の機能を実現するプログラムと、制御部１３０、１３０Ａの機能を実現するプログラムとは、別個であってもよい。なお、ここでいう「コンピュータシステム」とは、会話解析装置１０、１０Ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態及び変形例における会話解析装置１０、１０Ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。会話解析装置１０、１０Ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１、１Ａ…会話解析システム、１０、１０Ａ…会話解析装置、１１０…入出力部、１１２…データ記憶部、１２０…発言データ取得部、１２１…音源定位部、１２２…音源分離部、１２３…発言区間検出部、１２４…特徴量算出部、１２５…音声認識部、１３０、１３０Ａ…制御部、１４０、１４０Ａ…発言状態解析部、１４１…活発度算出部、１４２…割込判定部、１４３…結論言及判定部、１４４Ａ…活性区間判定部、１５１…係数設定部、１５２…貢献度算出部、１６０…会話評価部、１７０、１７０Ａ…提示データ生成部、１８０、１８０Ａ…発言データ抽出部、３０…収音部、３１…操作入力部、３２…再生部、３３…表示部

Claims (7)

1. 各話者の音声と当該話者の発言を示す発言データを取得する発言データ取得部と、
   前記音声に基づいて各話者の発言状態を解析する発言状態解析部と、
   前記発言状態に基づいて各話者の会話への貢献度を算出する貢献度算出部と、
   を備え、
   前記発言状態解析部は、
   前記発言状態として他の話者への発言の割り込みを判定する割込判定部
   を備える会話解析装置。
2. 前記発言状態解析部は、
   前記発言状態として発言時間に基づいて前記会話における活発度を算出する活発度算出部、
   を備える請求項１に記載の会話解析装置。
3. 前記発言状態解析部は、
   前記発言状態として前記会話の結論の要素への言及を判定する結論言及判定部
   を備える請求項１又は請求項２に記載の会話解析装置。
4. 各話者の前記貢献度に基づいて前記会話における話者間の貢献状態を示す評価値を算出する会話評価部と、
   を備える請求項１から請求項３のいずれか一項に記載の会話解析装置。
5. 前記発言データのうち前記発言の活性が所定の活性の閾値よりも高い区間を含む発言を特定する発言データ解析部と、
   を備える請求項１から請求項４のいずれか一項に記載の会話解析装置。
6. 会話解析装置における会話解析方法であって、
   各話者の音声と当該話者の発言を示す発言データを取得する発言データ取得過程と、
   前記音声に基づいて各話者の発言状態を解析する発言状態解析過程と、
   前記発言状態に基づいて各話者の会話への貢献度を算出する貢献度算出過程と、
   を有し、
   前記発言状態解析過程は、
   前記発言状態として他の話者への発言の割り込みを判定する割込判定過程
   を有する会話解析方法。
7. 会話解析装置のコンピュータに、
   各話者の音声と当該話者の発言を示す発言データを取得する発言データ取得手順、
   前記音声に基づいて各話者の発言状態を解析する発言状態解析手順、
   前記発言状態に基づいて各話者の会話への貢献度を算出する貢献度算出手順、
   を実行させるためのプログラムであって、
   前記発言状態解析手順は、
   前記発言状態として他の話者への発言の割り込みを判定する割込判定手順
   を有するプログラム。

Images