JP6401079B2

JP6401079B2 - グループ毎の討論の活性化を推定する装置及びプログラム

Info

Publication number: JP6401079B2
Application number: JP2015042285A
Authority: JP
Inventors: 鈴木　雅実; 雅実鈴木
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2015-03-04
Filing date: 2015-03-04
Publication date: 2018-10-03
Anticipated expiration: 2035-03-04
Also published as: JP2016162339A

Description

本発明は、多数のユーザによる発話（音声データ）を解析する技術に関する。

従来、グループの討論の活性度を推定するために、発話のインタラクションの時間推移を分析し、会話に対する各メンバの参与の度合いを分析する技術がある（例えば非特許文献１参照）。

また、複数の会議場間の遠隔会議について、会議場毎の盛り上がりの度合いを認識する技術もある（例えば特許文献１参照）。この技術によれば、各会議場における参加者の発言動作の情報を取得し、その盛り上がり度をサイト間で共有することができる。

更に、発話音声に基づく多人数の平均的な脳活性度状況を判定し、それら多人数で構成されるチームにおける業務の活性度を評価する技術もある（例えば特許文献２参照）。

更に、会議に対する各参加者の参加態度値を算出する技術もある（例えば特許文献３参照）。この技術によれば、参加態度値は、参加者の音声の音量及び加速度を取得し、発話回数、発話時間及び／又はエネルギーに関する参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて算出される。

更に、携帯端末の姿勢情報とユーザの操作情報とから描画イベントを作成する会議システムの技術もある（例えば特許文献４参照）。この技術によれば、描画イベント及び会議資料に基づいて、会議内容を低コストで把握することができる。

特開２００６−３０２０４７公報特開２００７−２６７９６５公報特開２０１２−１１３４４２公報特開２０１４−１０３４５１公報

守屋悠里英・田中貴紘・宮島俊光・藤田欣也、「ボイスチャット中の音声情報に基づく会話活性度推定方法の検討」、ヒューマンインタフェース学会論文誌Vol.14, No.3, pp.57-66, 2012、[online]、［平成２７年２月１１日検索］、インターネット＜URL:http://reality.ei.tuat.ac.jp/papers/HI14-3.pdf＞林佑樹・小川裕史・中野有紀子、「協調学習における非言語情報に基づく学習態度の可視化」, 情報処理学会論文誌, Vol.55 No.1, pp.189-198, 2014、[online]、［平成２７年２月１１日検索］、インターネット＜URL:http://ci.nii.ac.jp/naid/110009660247＞坊農真弓・鈴木紀子・片桐恭弘、「多人数会話における参与構造分析 : インタラクション行動から興味対象を抽出する」、認知科学 Vol. 11 No. 3 pp. 214-227, 2004、[online]、［平成２７年２月１１日検索］、インターネット＜URL:https://www.jstage.jst.go.jp/article/jcss/11/3/11_3_214/_article/-char/ja/＞

授業等の教育現場におけるグループ学習や、企業内の研修等におけるグループ討論について、参加者が積極的に参与することによって議論を通じた学習効果やアイディアを発掘することが期待される。しかしながら、前述の従来技術によれば、発話回数の多寡や集中度に応じて、１つのグループ内における個人の発話活性度を推定しているに過ぎない。一方、グループ全体を指導する進行者(facilitator)にとっては、活発なインタラクションが生じていないグループを認識することができれば、その活性度を高めるべく行動することもできる。

これに対し、本願の発明者らは、複数のグループを同時に指導する進行者に、各グループの活性状態を効果的に伝達することはできないか？と考えた。即ち、グループ討論の活性度を推定した結果を、進行者（管理者）やユーザに適宜に視覚的に明示することによって、グループの討論を支援することができないか？と考えた。

そこで、本発明は、グループ毎の討論の活性化を推定し、進行者に対してその状況を明示することができる装置及びプログラムを提供することを目的とする。

本発明によれば、討論に参加する複数のメンバで構成されたグループ毎に、討論の活性化を推定する装置であって、
グループ毎に１つ以上のマイクを用いて収音した当該グループに所属する各メンバの発話を話者認識することにより、各メンバが発話した発話時刻及び発話時間長を記憶した発話記憶手段と、
グループ毎に、各メンバの発話時刻及び発話時間長を区分するグループ発話区分手段と、
グループ毎に、全体の発話時間長に対する各メンバの発話時間長の比を表す発話密度寄与率を算出する発話密度寄与率算出手段と、
グループ毎に、各メンバの発話密度寄与率を描画したグラフを生成するグループグラフ生成手段と
を有し、グラフをユーザに明示することを特徴とする。

本発明の装置における他の実施形態によれば、
全グループの発話時間長の平均値に対する当該グループの発話時間長の比を表すグループ発話活性度を算出するグループ発話活性度算出手段を更に有し、
グループグラフ生成手段は、各グループのグループ発話活性度を更に描画したグラフを生成する
ことも好ましい。

本発明の装置における他の実施形態によれば、
グループグラフ生成手段は、グループ毎に各メンバを要素とするレーダーチャート状又は棒状のグラフを、複数のグループで同時進行的に生成することも好ましい。

本発明の装置における他の実施形態によれば、
グループ毎に、各メンバについて当該メンバの発話時間長と他のメンバの発話時間長とのオーバラップ時間長を検出し、当該メンバの発話時間長に対するオーバラップ時間長を表すオーバラップ率を算出するオーバラップ率算出手段を更に有し、
グループグラフ生成手段は、グループ毎に、各メンバのオーバラップ率を更に描画したグラフを生成する
ことも好ましい。

本発明の装置における他の実施形態によれば、
グループグラフ生成手段は、グループ毎に、発話密度寄与率が第１の所定条件範囲に属し、且つ、オーバラップ率が第２の所定条件範囲に属するメンバを、視覚的に強調表示したグラフを生成することも好ましい。

本発明の装置における他の実施形態によれば、
発話密度寄与率の任意の所定範囲毎に、及び／又は、オーバラップ率の任意の所定範囲毎に、そのメンバ特性を表す支援メッセージを対応付けて予め記憶しており、グラフの発話密度寄与率及び／又はオーバラップ率に応じて、支援メッセージを選択する支援メッセージ選択手段を更に有し、選択された支援メッセージをユーザに更に明示することも好ましい。

本発明によれば、コンピュータを、前述した装置の各手段として機能させるためのプログラムであってもよい。

本発明のプログラム、端末及びシステムによれば、グループ毎の討論の活性化を推定し、進行者に対してその状況を明示することができる。

本発明における第１のシステム構成図である。本発明における第２のシステム構成図である。本発明における端末の機能構成図である。グループ及びメンバにおける発話密度及びオーバラップ率の例を表す説明図である。本発明におけるグループ活性化を表すグラフである。時間経過に応じたグループ発話活性度を表すグラフである。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明における第１のシステム構成図である。

図１によれば、多数のメンバが複数のグループに分類されている。メンバとなる各ユーザは、例えばスマートフォンやウェアラブルデバイスのような端末を所持する。各端末は、例えば無線ＬＡＮを介して、進行者の管理端末（他のユーザ端末）や、インターネット上の管理装置と通信することができる。各端末は、マイクを搭載し、各メンバの発話音声を収音し、その発話音声から検出した発話時刻及び発話時間長を、管理端末又は管理装置へ即時に送信する。管理装置又は管理端末は、グループ毎の討論の活性化を推定し、その状況をユーザ（進行者）へ明示する。

勿論、端末間で相互に、発話時刻及び発話時間長を送受信し合うものであってもよい。この場合、各端末が、管理端末や管理装置で実行されるアプリケーションをインストールしたものとなる。各端末が、グループ毎の討論の活性化を推定し、その状況をメンバに明示することもできる。

図２は、本発明における第２のシステム構成図である。

図２によれば、グループ毎に、マイクによってメンバの発話音声を常時収音する。その発話音声データは、管理装置１へ即時に送信される。管理装置１は、各マイクによって収音した発話音声を、メンバ毎に話者認識（音声認識）によって区分する。この場合予め、各メンバの声紋を登録しておく必要がある。そして、管理装置１は、各メンバの発話音声から検出した発話時刻及び発話時間長を取得する。勿論、マイクは、集合マイクではなく、各メンバに装着させるピンマイクであってもよく、メンバ固有の発話音声のみを収音し、その発話音声を管理装置１へ送信するものであってもよい。

図３は、本発明における端末の機能構成図である。

図３によれば、端末１は、グループ毎の討論の活性化を推定し、その状況をユーザ（進行者）へ明示するものである。端末１は、発話音声取得部１０と、発話記憶部１１と、グループ発話区分部１２と、発話密度寄与率算出部１３と、グループ発話活性度算出部１４と、オーバラップ率算出部１５と、グループグラフ生成部１６と、支援メッセージ選択部１７とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。

［発話音声取得部１０］
発話音声取得部１０は、マイクによって収音したメンバの発話音声から検出した当該メンバの発話時刻及び発話時間長を、発話記憶部１１へ記憶させる。発話時間長は、例えば３秒単位で計測するものであってもよい。発話時間長は、３秒以上の無音区間を検出した毎に区分される。

［発話記憶部１１］
発話記憶部１１は、各メンバが発話した発話時刻及び発話時間長を記憶する。発話時刻及び発話時間長は、各メンバの発話音声から抽出されたものであって、音声データそのものではない。

［グループ発話区分部１２］
グループ発話区分部１２は、発話記憶部１１を用いて、グループ毎に、各メンバの発話時刻及び発話時間長を時系列に区分する。

図４は、グループ及びメンバにおける発話密度及びオーバラップ率の例を表す説明図である。

図４によれば、５名のメンバからなる４つのグループが、同時に並行して討論しているとする。勿論、各グループを構成するメンバ数は、グループ毎に異なる数であってもよい。また、図４は、例えば1800秒(30分)の討論時間に対して、3秒単位で発話時間長を記録したものである。

［発話密度寄与率算出部１３］
発話密度寄与率算出部１３は、グループ毎に、全メンバの発話時間長に対する当該メンバの発話時間長の比を表す「発話密度寄与率」を算出する。図４によれば、例えば以下のようにされる。
メンバA1の発話密度寄与率Ｕ_A1
＝メンバA1の発話時間長の総計（Ｕ_A1）／全体の発話時間長（Σ_A=A1〜A5Ｕ_A）
＝600／1370
＝0.438
メンバA2の発話密度寄与率Ｕ_A2＝90／1370＝0.066
メンバA3の発話密度寄与率Ｕ_A3＝500／1370＝0.365
メンバA4の発話密度寄与率Ｕ_A4＝120／1370＝0.088
メンバA5の発話密度寄与率Ｕ_A5＝60／1370＝0.044

［グループ発話活性度算出部１４］
グループ発話活性度算出部１４は、全グループの発話長の平均値に対する当該グループの発話時間長の比を表す「グループ発話活性度」を算出する。図４によれば、例えば以下のようにされる。
グループAの発話活性度ＵＧ_A
＝グループA全体の発話時間長／全グループの発話時間長の平均
＝（Σ_A=A1〜A5Ｕ_A）／（(Σ_g=A〜DＵＧ_g)／グループ数）
＝1370／915
＝1.497
グループBの発話活性度ＵＧ_B＝1650/915＝1.803
グループCの発話活性度ＵＧ_C＝210/915＝0.230
グループDの発話活性度ＵＧ_D＝430/915＝0.470

［オーバラップ率算出部１５］
オーバラップ率算出部１５は、グループ毎に、各メンバについて当該メンバの発話時間と他のメンバの発話時間との「オーバラップ時間長」を検出し、当該メンバの発話時間長に対するオーバラップ時間長を表すオーバラップ率を算出する。オーバラップ（一方のメンバが発話しているときに、他方のメンバも発話した場合）は、メンバ間の発話時刻及び発話時間長から検出することができる。図４によれば、例えば以下のようにされる。
メンバA1のオーバラップ率ＯＬ_A1
＝オーバラップ時間長／発話時間長
＝240／600
＝0.4
メンバA2のオーバラップ率ＯＬ_A2＝36／90＝0.4
メンバA3のオーバラップ率ＯＬ_A3＝100／500＝0.2
メンバA4のオーバラップ率ＯＬ_A4＝24／120＝0.2
メンバA5のオーバラップ率ＯＬ_A5＝0／60＝0

また、オーバラップ率算出部１５は、グループ毎に、全メンバの発話時間長に対するオーバラップ時間長の総計の比を算出する。
グループAのオーバラップ率ＯＬ_A
＝オーバラップ時間長の総計／全メンバの発話時間長
＝Σ_A=A1〜A5ＯＬ_A／Σ_A=A1〜A5Ｕ_A
＝400／1370
＝0.3
グループBのオーバラップ率ＯＬ_B＝880／1650＝0.533
グループCのオーバラップ率ＯＬ_C＝55／210＝0.262
グループDのオーバラップ率ＯＬ_D＝95／430＝0.221

尚、図４に表された当該メンバにおける「個人活性度」は、以下のように算出されたものである。
個人活性度＝発話密度寄与率＋オーバラップ率

［グループグラフ生成部１６］
グループグラフ生成部１６は、グループ毎に、各メンバの発話密度寄与率及びオーバラップ率を描画したグラフを生成する。進行者は、複数のグループで同時並行的に討論されている状況下で、視覚的に、各グループの活性度を認識することできる。このグラフは、グループ毎に各メンバを要素とするレーダーチャート状又は棒状のものであって、複数のグループで同時進行的に生成さる。進行者は、グループ毎に、全体に盛り上がっている／一部に偏っている／活性度が低い／平均的等の状態を確認することができ、特に指導すべきグループ・メンバを特定することができる。尚、グループグラフ生成部１６は、各グループのグループ発話活性度を更に描画したグラフを生成することも好ましい。

図５は、グループグラフを表す説明図である。

図５によれば、グループ毎に並列に、各メンバの発話密度寄与率及びオーバラップ率が表されている。特に、レーダーチャートの場合、主として図形の広がり方から、グループ毎の活性度を一目で比較することができる。図５によれば、グループＡ及びＢに比較して、グループＣ及びＤの活性度が低下していることが認識される。これらグループグラフは、ほぼリアルタイム（例えば３０秒毎）に更新されることが好ましい。

また、棒グラフの場合、各グループにおけるメンバ間の発話密度寄与率及びオーバラップ率を、相対的な傾向として比較することができる。例えば、活性度の低いメンバが複数存在するグループＣと、逆に活発なメンバが多いグループＢとの間で、メンバの入れ替えを指示することもできる。これによって、グループ間の活性度の偏りを緩和することができる。

また、グループグラフ生成部１６は、グループ毎に、発話密度寄与率が第１の所定条件範囲に属し、且つ、オーバラップ率が第２の所定条件範囲に属するメンバを、視覚的に強調表示したグラフを生成することもできる。これによって、例えば、発話密度寄与率が相対的に高く、且つ、オーバラップ率の低いメンバ（例えばA3）を、一見して発見することができる。このようなメンバは、発言マナーを順守しており、グループ活動のリーダ候補に成り得ると考えられる。

［支援メッセージ選択部１７］
支援メッセージ選択部１７は、発話密度寄与率の任意の所定範囲毎に、及び／又は、オーバラップ率の任意の所定範囲毎に、そのメンバ特性を表す支援メッセージを対応付けて予め記憶している。そして、支援メッセージ選択部１７は、グラフの発話密度寄与率及び／又はオーバラップ率に応じて、支援メッセージを選択する。その選択された支援メッセージは、ユーザに更に明示される。優先的に注目すべき点について支援メッセージを明示することにより、進行者自身の経験に関係無く、討論の活性化に参考となる情報を迅速に注意喚起することができる。

前述した図５のような支援メッセージは、進行者が注意を傾けるべきグループ・メンバを、明示的に表現することができる。
（１）グループ活性度が0.7以下で、且つ、個人活性度が0のメンバが複数存在する場合
図４によれば、グループＣが選択される。
メッセージ：「グループＣは活性度が低く要注意です」
（２）条件（１）に加え、グループ活性度が1.5を超え、且つ、個人活性度0のメンバが含まれないグループが存在する場合
図４によれば、グループＢが選択される。
グループＣの中で個人活性度が最も低いメンバC3が選択される。
グループＢの中で個人活性度が最も高いメンバB4が選択される。
メッセージ：「グループＣのメンバC3を、グループＢのメンバB4と入れ替えてく
ださい」
（３）発話密度寄与率が0.3以上であって、オーバラップ率が70％超のメンバが存在す
る場合
図４によれば、グループＡのメンバA1が選択される。
メッセージ：「メンバA1は活発ながら割込み発言が多いようです」
（４）発話密度寄与率が0.3以上であって、オーバラップ率が20％以下のメンバが存在
する場合
図４によれば、グループＡのメンバA3が選択される。
メッセージ：「メンバA3は活発で発言マナーを守る模範的な存在です」

図６は、時間経過に応じたグループ発話活性度を表すグラフである。

図６によれば、グループ発話活性度が、時間経過に応じた折れ線グラフで表されている。支援メッセージ選択部１７は、時間経過に応じたグループ発話活性度に応じて、支援メッセージを更に選択するものであってもよい。
（１）グループ発話活性度が、時間経過に応じて、所定範囲内で上昇している場合
メッセージ：「グループｘは、徐々に盛り上がっています」
（２）グループ発話活性度が、時間経過に応じて、所定範囲内で上昇・下降している場合
メッセージ：「グループｘは、変化が激しいようです」
（３）グループ発話活性度が、時間経過に応じて、所定範囲内で下降している場合
メッセージ：「グループｘは、徐々に消沈してきています」

前述した図１によれば、グループグラフ及び支援メッセージは、管理端末に明示されることとなる。これらグラフ及びメッセージは、管理端末自ら生成したものであってもよいし、管理装置から受信したものであってもよい。また、メンバが所持する端末に、管理装置がグラフ及びメッセージを送信するものであってもよいし、メンバ端末自ら生成するものであってもよい。これによって、グループの討論の活性度を、進行者やメンバ自ら視認することができる。

以上、詳細に説明したように、本発明の装置及びプログラムは、グループ毎の討論の活性化を推定し、進行者に対してその状況を明示することができる。特に、グループ内の討論の活性度への寄与度はメンバによって異なる。本発明によれば、グループ内のメンバ特性の偏りから、グループ内のリーダ的メンバや、逆に寄与度の低いメンバを発見し、進行者にフィードバックすることによって支援する。これによって、進行者は、討論の状況に応じてグループ全体の活性度を高める／保つように指導することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１端末、スマートフォン
１０発話音声取得部
１１発話記憶部
１２グループ発話区分部
１３発話密度寄与率算出部
１４グループ発話活性度算出部
１５オーバラップ率算出部
１６グループグラフ生成部
１７支援メッセージ選択部

Claims

討論に参加する複数のメンバで構成されたグループ毎に、討論の活性化を推定する装置であって、
グループ毎に１つ以上のマイクを用いて収音した当該グループに所属する各メンバの発話を話者認識することにより、各メンバが発話した発話時刻及び発話時間長を記憶した発話記憶手段と、
グループ毎に、各メンバの前記発話時刻及び前記発話時間長を区分するグループ発話区分手段と、
グループ毎に、全体の発話時間長に対する各メンバの発話時間長の比を表す発話密度寄与率を算出する発話密度寄与率算出手段と、
グループ毎に、各メンバの発話密度寄与率を描画したグラフを生成するグループグラフ生成手段と
を有し、前記グラフをユーザに明示することを特徴とする装置。
全グループの発話時間長の平均値に対する当該グループの発話時間長の比を表すグループ発話活性度を算出するグループ発話活性度算出手段を更に有し、
前記グループグラフ生成手段は、各グループの前記グループ発話活性度を更に描画したグラフを生成する
ことを特徴とする請求項１に記載の装置。
前記グループグラフ生成手段は、グループ毎に各メンバを要素とするレーダーチャート状又は棒状のグラフを、複数のグループで同時進行的に生成する
ことを特徴とする請求項１又は２に記載の装置。
グループ毎に、各メンバについて当該メンバの発話時間長と他のメンバの発話時間長とのオーバラップ時間長を検出し、当該メンバの発話時間長に対するオーバラップ時間長を表すオーバラップ率を算出するオーバラップ率算出手段を更に有し、
前記グループグラフ生成手段は、グループ毎に、各メンバの前記オーバラップ率を更に描画したグラフを生成する
ことを特徴とする請求項１から３のいずれか１項に記載の装置。
前記グループグラフ生成手段は、グループ毎に、前記発話密度寄与率が第１の所定条件範囲に属し、且つ、前記オーバラップ率が第２の所定条件範囲に属するメンバを、視覚的に強調表示したグラフを生成する
ことを特徴とする請求項４に記載の装置。
前記発話密度寄与率の任意の所定範囲毎に、及び／又は、前記オーバラップ率の任意の所定範囲毎に、そのメンバ特性を表す支援メッセージを対応付けて予め記憶しており、グラフの発話密度寄与率及び／又はオーバラップ率に応じて、前記支援メッセージを選択する支援メッセージ選択手段を更に有し、選択された前記支援メッセージをユーザに更に明示することを特徴とする請求項４又は５に記載の装置。
コンピュータを、請求項１から６のいずれか１項に記載の各手段として機能させるためのプログラム。