JP7347994B2

JP7347994B2 - 会議支援システム

Info

Publication number: JP7347994B2
Application number: JP2019152897A
Authority: JP
Inventors: 拓也藤岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2019-08-23
Filing date: 2019-08-23
Publication date: 2023-09-20
Anticipated expiration: 2039-08-23
Also published as: US20210058261A1; JP2021033621A

Description

本発明は、会議を支援するための技術に関する。

近年、会議中の音声を用いて会議の状態をセンシングし、会議がより効果的になるようにファシリテートするような装置がいくつか提案されている。そのような装置を会議支援装置と呼ぶ。このようなものの例として、特許文献１が挙げられる。特許文献１ではネットワークを用いた遠隔会議において、全ての会議参加者に対して平等に発言機会が設けられるように、会議参加者の音声入力履歴、無音時間の長さから自動的に次発言推薦値を決定し、その値に応じて発話音量を調節するものである。

特開2011－223092号公報

会議において発言のタイミングをつかむことは困難である。特に遠隔会議であったり、参加者間で社会的地位・立場・考え方に違いがあったり、相手のことをよく知らなかったりすると難しさが高まる。従来技術では、適切な発話タイミングがわからないことに加えて、発言意欲がある参加者の発言意欲は考慮されづらい。
そこで、会議参加者の発言を効率的に促進することが望まれる。

本発明の好ましい一側面は、インターフェースによって入力される情報に基づいて、会議の参加者に発言を勧めるスコアを提示することを特徴とする会議支援システムである。

本発明の好ましい他の一側面は、情報処理装置によって実行される会議支援方法であって、インターフェースによって入力される情報に基づいて、会議の参加者に発言を勧めるスコアを算出することを特徴とする。

さらに具体的な手段の例を挙げれば、現在の発話者の音声および画像の少なくとも一つの情報を入力し、現在の発話者の音声および画像の少なくとも一つの情報に基づいて、現在の発話者の覚醒度を推定し、覚醒度に基づいて、第１のタイミングスコアを推定する。

さらに具体的な手段の例を挙げれば、他の参加者の発言推薦を入力し、他の参加者の発言推薦の合計に基づいて、第２のタイミングスコアを推定し、他の参加者の発言推薦は、発言推薦を行った時点から時間が経過するに従い値が減少するものである。

さらに具体的な手段の例を挙げれば、現在の発言者の発言内容のテキストと、スコア算出対象者の過去の発言のテキストを入力し、現在の発言者の発言内容とスコア算出対象者の過去の発言の関係に基づいて、第３のタイミングスコアを推定する。

会議参加者の発言を効率的に促進することができる。

実施例における会議支援装置のハードウェア構成例を示すブロック図。実施例の使用例に関するイメージ図。実施例１における会議支援装置の動作を示す機能ブロック図。実施例における個別端末の画像出力の表示例のイメージ図。実施例２における会議支援装置の動作を示す機能ブロック図。実施例２における発言推薦の原理を示すグラフ図。実施例２における発言推薦の重みづけを示すグラフ図。実施例３における会議支援装置の動作を示す機能ブロック図。実施例４における会議支援装置の動作を示す機能ブロック図。実施例５における会議支援装置のハードウェア構成例を示すブロック図。実施例５における会議支援装置の動作を示す機能ブロック図。実施例６における会議支援装置のハードウェア構成例を示すブロック図。実施例６における会議支援装置の動作を示す機能ブロック図。

以下、実施例について図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

以下の実施例で説明されるシステムの一例は次のようなものである。現在のタイミングが発言タイミングとして適しているかどうかを示すスコアを会議参加者に個別あるいは一斉に提示する。このスコアを発言タイミングスコアと呼ぶ。このスコアは、現在の発言者の覚醒度、他の参加者からの推薦、現在の発言者の発言とスコア算出該当者の過去の発言との関係、のいずれか、あるいは二つ、三つの組み合わせによって、現在の発話タイミングスコアを算出され、参加者に通知される。

このようなシステムにより、会議参加者が自身の最適な発話タイミングを知ることができることに加えて、発言を行いたいがためらっている参加者の発言機会を効率的に設けることができる。

実施例１では、現在の発言者の音声および顔画像から推定される覚醒度から、各参加者の発話タイミングスコアを算出し、提示する。本実施例は例えば、発言者の覚醒度合いが高くないときに発話タイミングスコアを高く算出するといった運用が考えられる。

以下、図１、図２、図３を参照して、本実施例の会議支援装置の構成および動作について説明する。図１は、本実施例におけるハードウェアの構成例を示すブロック図である。図２は、本実施例の使用例に関するイメージ図である。図３は、本実施例における会議支援装置の動作を示すブロック図である。

図１に、本実施例のハードウェア構成例を示している。図１の構成では、一つの情報処理サーバ1000がネットワーク1024を経由して、二つ以上の個別端末1005, 1014と接続されている。情報処理サーバ1000は、CPU1001と、メモリ1002と、通信I/F1003と、記憶装置1004を有し、これらの構成部はバス9000によって相互に接続されている。個別端末1005, 1014は、CPU1006, 1015と、メモリ1007, 1016と、通信I/F1008, 1017と、音声入力I/F1009, 1018と、音声出力I/F1010, 1019と、画像入力I/F1011, 1020と、画像出力I/F1012, 1021を有し、これらの構成部はバス1013, 1022によって相互に接続されている。情報処理サーバ1000は無くても構わないし、二つ以上存在しても構わない。

図２に本実施例の使用例に関するイメージ図を示す。図２に示しているのは、複数の参加者201が会議を行っており、各参加者201が個別端末1005を所持している様子である。実施例１では、それぞれの個別端末1005にそれぞれの参加者201の発話タイミングスコアがそれぞれ算出され、表示される。発話タイミングスコアは、個人のもののみが表示されても構わないし、全員分のスコアが表示されても構わない。全員分のスコアが表示される場合は、個別端末ではなく、二人以上の参加者が見ることのできるディスプレイ等に表示しても構わない。特定の参加者、例えば司会者のみが、全員分のスコアを閲覧することのできるシステムでも構わない。

図３は、本実施例における図１中の情報処理サーバ1000内メモリ1002もしくは、個別端末1005, 1014内メモリ1007, 1016における、本実施例での処理に関する図である。

本実施例では計算や制御等の機能は、メモリ1002，1007，1016に格納されたプログラムがＣＰＵ1001，1006，1015によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」等と呼ぶ場合がある。

図３のフローには、覚醒度推定部102と、発話タイミングスコア推定部103を含む。覚醒度推定部102には、発言者顔画像100および発言者音声101、あるいはそれらのどちらかが入力される。発言者顔画像100および発言者音声101は、現在の発言者が所持している個別端末1005,1014内の音声入力I/F1009, 1018および画像入力I/F1011, 1020によって取得される。

覚醒度推定部102では、入力された発言者顔画像100および発言者音声101、あるいはそれらのうちのどちらかに基づいた機械学習モデル、あるいは発言者音声101の振幅あるいは発話速度などの特徴量に基づいたルールベースモデルによって、覚醒度が推定される。覚醒度は、発言者がどれほど興奮しているか、どれほど感情的になっているか等の評価指標として用いることができる。

発話タイミングスコア推定部103には、覚醒度推定部102において推定された覚醒度が入力され、発話タイミングスコア104が出力される。発話タイミングスコア104は、覚醒度に反比例する関数として定義される。例えば、発言者が興奮している場合はタイミングスコアが低く、発言者が冷静な場合にタイミングスコアが高くなる。よって、タイミングスコアが高いタイミングは、発言がしやすいと考えられる。発話タイミングスコア推定部103から出力された発話タイミングスコア104は、図１中の個別端末1005, 1014中の画像出力I/F1012, 1021、あるいは、別途用意されたディスプレイによって表示される。

図４に本実施例における、図１の個別端末1005, 1014中の画像出力I/F1012, 1021、あるいは別途用意されるディスプレイに表示される発話タイミングスコア104の表示例を示す。横軸は時間、縦軸は発話タイミングスコアである。点線で示している時刻が現在の時刻である。発話タイミングスコアは、図３の発話タイミングスコア推定部103において推定された値をそのまま表示しても構わないし、会議が始まってから現在までの最大値あるいは平均値などによって正規化処理した値を表示しても構わない。

先に述べたように、本実施例では現在の発言者の覚醒度から、各参加者の発話タイミングスコアを算出する。この実施例は、例えば、社会的地位や発言力の高い参加者が会議に参加しており、その際に他の参加者が発言しやすくなることを目的とする際に有効である。

また、本実施例では現在の発言者の音声および顔画像から推定される特徴量として、覚醒度を挙げたが、現在の発言者のその他感情など、他の特徴量も用いることができる。

また、発言者および参加者の少なくとも一つの特性に基づいて、発話タイミングスコアに重みをつけてもよい。例えば現在の発言者の地位が高い場合、発話タイミングスコアを低くし、参加者（発話タイミングスコア算出対象者）の地位が高い場合、発話タイミングスコアを高くする。このような情報は、図示しない人事データベース等から取得すればよい。

実施例２では、他の参加者からの推薦から、各参加者の発話タイミングスコアを算出し、提示する。任意の参加者から他の任意の参加者へ、任意のタイミングで個別端末1005, 1014により、発言推薦を行うことができるものとする。発言推薦は、例えば図１の、個別端末1005, 1014中のコマンド入力I/F1022, 1023から入力される。発話タイミングスコア推定対象者に対する発言推薦が多く行われた場合に、発話タイミングスコアが高い値となる。以下、図５Ａおよび図５Ｂを参照して、本実施例の会議支援装置の構成および動作について説明する。

図５Ａは、本実施例における会議支援装置の動作を示すブロック図である。本実施例におけるハードウェア構成は、実施例１と同様であり、図１に示す通りである。本実施例の使用例は、実施例１と同様であり、図２に示す通りである。

図５Ａは、本実施例における図１中の情報処理サーバ1000内メモリ1002もしくは、個別端末1005, 1014内メモリ1007, 1016における、本実施例での処理に関する図である。本フローには、発話タイミングスコア推定部106を含む。発話タイミングスコア推定部には、他の参加者からの発言推薦105が入力される。他の参加者からの発言推薦105は、図１中の個別端末1005, 1014中のコマンド入力I/F1022, 1023によって取得される。発話タイミングスコア推定部106では、次の式に基づいて時刻tにおける発話
タイミングスコアＳｔが算出される。

γ_τは時刻τにおける発話タイミングスコア算出対象者に対する発言推薦の合計値であり、ｆ（τ）はτ＞ｔにおいて０であり、τ＝ｔにおいて最大値をとり、τが減少するにしたがって単調減少する関数である。

発話タイミングスコア推定部から出力された発話タイミングスコア107は、図１中の個別端末1005, 1014中の画像出力I/F1012, 1021、あるいは、別途用意されたディスプレイによって表示される。

図５Ｂは、ある参加者Ａ氏に対する発話タイミングスコアの計算原理を示す図である。横軸が時間を示す。いまＢ氏、Ｃ氏、Ｄ氏の３名が、Ａ氏に対する発言推薦501をｔＢ、ｔＣ、ｔＤのタイミングで行ったとする。各人の発言推薦501は図に示すように、時間の経過に従って値が減少するが、発言推薦501の合計値が当該時点におけるＡ氏に対する発話タイミングスコアとなる。

発話タイミングスコアの表示方法は実施例１と同様である。先に述べたように、本実施例では他の参加者からの推薦から、各参加者の発話タイミングスコアを算出する。この実施例は、例えば、自由な発想が期待されるような会議において有効である。

図５Ｃは発言推薦の他の例である。本実施例においても、発言推薦に重みをつけることができる。例えば推薦者Ｃ氏の影響力が大きい時には、発言推薦502のように減少率を緩やかにしてもよい。あるいは発言推薦503のように初期値に重みをつけてもよい。あるいは、発言を推薦した者と発言を推薦されたものの関係性から、発言推薦に重みをつけてもよい。例えば、Ｂ氏がＡ氏の上司であった場合、Ｂ氏の発言推薦の重みを発言推薦502や503のように大きくする。

実施例３では、現在の発話者の発言とスコア算出対象者の過去の発言との関係から、各参加者の発話タイミングスコアを算出し、提示する。以下、図６を参照して、本実施例の会議支援装置の構成および動作について説明する。

図６は、本実施例における会議支援装置の動作を示すブロック図である。本実施例におけるハードウェア構成は、実施例１および実施例２と同様であり、図１に示す通りである。本実施例の使用例は、実施例１と同様であり、図２に示す通りである。

図６は、本実施例における図１中の情報処理サーバ1000内メモリ1002もしくは、個別端末1005, 1014内メモリ1007, 1016における、本実施例での処理に関する図である。本フローには、音声認識部110と、発話タイミングスコア推定部111を含む。

音声認識部110には、現在の発話者の発言108とスコア算出対象者の過去の発言音声109が入力される。音声認識部110では、現在の発話者の発言108およびスコア算出対象者の過去の発言音声109それぞれの発話テキストが、公知の音声認識手法によって推定される。推定された発話テキストは、発話タイミングスコア推定部111に入力される。

発話タイミングスコア推定部111では、現在の発話者の発言108から推定される発話テキストおよびスコア算出対象者の過去の発言音声109から推定される発話テキストの関係に基づいて、発話タイミングスコア112が推定される。推定例としては、両テキストの関連度合いが高い場合に高いスコアが得られるような関数が考えられる。

発話タイミングスコア推定部111としては、例えば、教師あり機械学習モデルを用いることができる。あるいはテキストをベクトル変換して、同一または類似の単語の出現回数あるいは頻度、もしくは文脈の類似度などに基づいた推定を行うことができる。

本図では、プールされたスコア算出対象者の過去の発言音声109が音声認識部110に入力されるようになっているが、スコア算出対象者の過去の発言音声109に対して音声認識により推定された発話テキストデータをプールしておいても構わない。また、現在の発話者の発言108を別システムでテキスト化して、インターフェースから入力しても構わない。発話タイミングスコアの表示方法は実施例１および実施例２と同様である。

先に述べたように、本実施例では現在の発言者の発言とスコア算出対象者の過去の発言の関係から、各参加者の発話タイミングスコアを算出する、この実施例は、例えば現在話題となっている話題に対して知識を持っている、あるいは関心がある参加者の発話を促したい場合に有効である。

実施例４では、現在の発話者の覚醒度、他の参加者の推薦、現在の発話者の発言とスコア算出対象者の過去の発言との関係の三つの要素のうち、二つ以上の組み合わせから、各参加者の発話タイミングスコアを算出し、提示する。

図７を参照して、本実施例の会議支援装置の構成および動作について説明する。図７は、本実施例における会議支援装置の動作を示すブロック図である。

本実施例におけるハードウェア構成は、実施例１および実施例２および実施例３と同様であり、図１に示す通りである。本実施例の使用例は、実施例１および実施例２および実施例３と同様であり、図２に示す通りである。

図７は、本実施例における図１中の情報処理サーバ1000内メモリ1002もしくは、個別端末1005, 1014内メモリ1007, 1016における、本実施例での処理に関する図である。本フローには、覚醒度推定部116と、S^a _t推定部117と、音声認識部118と、S^c _t推定部119と、S^r _t推定部121と、発話タイミングスコアS_t推定部122を含む。

覚醒度推定部116には、発言者顔画像113と、発言者音声114、あるいはそれらのうちのどちらかが入力され、実施例１と同様に発言者顔画像113および発言者音声114、あるいはそれらのうちのどちらかに基づいた機械学習モデル、あるいは発言者音声101の振幅あるいは発話速度などの特徴量に基づいたルールベースモデルによって、覚醒度が推定される。

S^a _t推定部117には、覚醒度推定部116において推定された覚醒度が入力され、覚醒度に基づく発話タイミングスコアであるS^a _tが出力される。実施例１と同様に、S^a _tは覚醒度に反比例する関数として定義される。

音声認識部118には実施例３と同様に、発言者音声114とスコア算出対象者の過去発言音声115が入力される。音声認識部118では、発言者音声114およびスコア算出対象者の過去発言音声115それぞれの発話テキストが、公知の音声認識手法によって推定される。推定された発話テキストは、S^c _t推定部119に入力される。S^c _t推定部119では、実施例３と同様に発言者音声114から推定される発話テキストおよびスコア算出対象者の過去発言音声115から推定される発話テキストの関係に基づいて、S^c _tが推定される。推定例としては、両テキストの関連度合いが高い場合に高いスコアが得られるような関数が考えられる。実施例３と同様に、本図では、プールされたスコア算出対象者の過去発言音声115が音声認識部118に入力されるようになっているが、スコア算出対象者の過去発言音声115に対して音声認識により推定された発話テキストデータをプールしておいても構わない。

S^r _t推定部121には、実施例２と同様に、他の参加者からの発言推薦120が入力される。他の参加者からの発言推薦120は、図１中の個別端末1005, 1014中のコマンド入力I/F1022, 1023によって取得される。S^r _t推定部121では、次の式に基づいて時刻tにおけるS^r _tが算出される。

発話タイミングスコアS_t推定部122には、S^a _t推定部117において推定されるS^a _tと、S^c _t推定部119において推定されるS^c _tと、S^r _t推定部121において推定されるS^r _tが入力され、発話タイミングスコアS_tが出力される。発話タイミングスコアS_t推定部122では、次の式に基づいて、発話タイミングスコアS_tが算出される。
S_t＝w^aS^a _t＋w^rS^r _t＋w^cS^c _t
w^a、w^r、w^cは任意の重みであり、これらの重みを調整することにより、S_tに対する、S^a _t、S^r _t、S^c _tの寄与率を調節することができる。w^a、w^r、w^cの値は、会議の性質によって変更することが望ましいが、プリセットパターンをいくつか用意しておくことができる。

そのプリセットパターン例をいくつか挙げる。一つ目は、会議に社会的立場の比較的高い人と高くない人が参加している場合である。この際は、社会的立場の比較的高い人に気を遣うために、w^aの値をw^r、w^cに比べて高く設定する。この際、特定の話者の発言中のみに、w^aの値を自動的に高くすることもできる。

二つ目は、自由な発想が求められる会議である。この際は、他の参加者からの発言推薦に重きを置くためにw^rの値をw^a、w^cに比べて高く設定する。三つ目は、比較的同様な社会的立場の人が会議である。この際は、会議の文脈に重きを置くためにw^cの値
をw^a、w^rに比べて高く設定する。会議開始前あるいは会議中にこれらのプリセットパターンから、ユーザー（例えば司会者）が会議の性質を選択するような設定にしても良いし、w^a、w^r、w^cの値を具体的に指定することができるように設定しても構わない。

実施例５では、実施例１～４に比べてよりシンプルなシステムを提供するものである。実施例１～４に示すいずれかの方法で、全ての会議参加者に対して発話タイミングスコアS_tが算出される。このすべての参加者の発話タイミングスコアS_tがある一定の閾値以下であった場合、全ての会議参加者、あるいは特定の会議参加者が参照することのできるデバイスに、「現在は参加者の誰にとっても発言に適したタイミングである」ということを示す、シグナルが点灯する。

以下、図８、図９を参照して、本実施例の会議支援装置の構成および動作について説明する。図８は、本実施例における会議支援装置のハードウェア構成例を示すブロック図である。図９は、本実施例における会議支援装置の動作例を示すブロック図である。

図８に、本実施例のハードウェア構成例を示している。図８の構成では、一つの情報処理サーバ1000がネットワーク1024を経由して、二つ以上の個別端末1005, 1014と、シグナル端末1025と接続されている。情報処理サーバ1000は、CPU1001と、メモリ1002と、通信I/F1003と、記憶装置1004を有し、これらの構成部はバス9000によって相互に接続されている。個別端末1005, 1014は、CPU1006, 1015と、メモリ1007, 1016と、通信I/F1008, 1017と、音声入力I/F1009, 1018と、音声出力I/F1010, 1019と、画像入力I/F1011, 1020と、画像出力I/F1012, 1021を有し、これらの構成部はバス1013, 1022によって相互に接続されている。シグナル端末1025は、CPU1026と、メモリ1027と、通信I/F1028と、シグナル発信装置1029、音声入力I/F1030、画像入力I/F1031を有し、これらの構成部はバス1032によって相互に接続されている。情報処理サーバ1000は無くても構わないし、二つ以上存在しても構わない。またシグナル端末は必ずしも存在する必要は無く、情報処理サーバに組み込まれていても構わない。

図９は、本実施例における図８中の情報処理サーバ1000内メモリ1002もしくは、個別端末1005, 1014内メモリ1007, 1016もしくは、シグナル端末1025内メモリ1027における、本実施例での処理例に関する図である。本フローには、発話タイミングスコア推定部901と、発話タイミングシグナル発信部124を含む。発話タイミングスコア推定部901は、実施例１～４で説明した、発話タイミングスコア推定部103、106、111および122のいずれを用いてもよい。

発話タイミングシグナル発信部124には、発話タイミングスコア推定部901から出力された発話タイミングスコアが入力される。発話タイミングシグナル発信部124では、入力された発話タイミングスコアが一定の閾値以下であった場合に、発話タイミングシグナル125を出力する。発話タイミングシグナルは、図８中のシグナル発信装置1029もしくは、音声出力I/F1010, 1019もしくは画像出力I/F1012, 1021によって、会議参加者に提示される。

先に述べたように、本実施例は会議参加者個々人の発話タイミングスコアの提示をせずに、全員の（あるいは所定割合の参加者の）発話タイミングスコアがある一定の閾値以下である際に、「現在は参加者の誰にとっても発言に適したタイミングである」というシグナルを不特定多数の参加者に示すものである。この実施例は、会議支援システムの構成をシンプルにした際に有効である。

実施例６では、会議だけではなく複数人で行われる会話において、参加者に自動で発話を行うことのできる装置が含まれる場合を想定したものである。ここでは自動で発話を行うことのできる装置を発話ロボットと呼ぶ。実施例１～４において説明してきた発話タイミングスコアを発話ロボットに対して算出し、発話ロボットの発言を促進あるいは抑制する。

以下、図１０、図１１を参照して、本実施例の会議支援装置の構成および動作について説明する。図１０は、本実施例における会議支援装置のハードウェア構成例を示すブロック図である。図１１は、本実施例における会議支援装置の動作例を示すブロック図である。

図１０に、本実施例のハードウェア構成例を示している。図１０の構成では、一つの情報処理サーバ1000がネットワーク1024を経由して、個別端末1005と、発話ロボット1033と接続されている。情報処理サーバ1000は、CPU1001と、メモリ1002と、通信I/F1003と、記憶装置1004を有し、これらの構成部はバス9000によって相互に接続されている。個別端末1005は、CPU1006と、メモリ1007と、通信I/F1008と、音声入力I/F1009と、音声出力I/F1010と、画像入力I/F1011と、画像出力I/F1012を有し、これらの構成部はバス1013によって相互に接続されている。発話ロボット1033は、CPU1034と、メモリ1035と、通信I/F1036と、音声入力I/F1037、音声出力I/F1038、画像入力I/F1039、画像出力I/F1040、コマンド入力I/F1041を有し、これらの構成部はバス1042によって相互に接続されている。情報処理サーバ1000、個別端末1005は無くても構わないし、二つ以上存在しても構わない。発話ロボット1033は二つ以上存在しても構わない。

図１１は、本実施例における図１０中の情報処理サーバ1000内メモリ1002もしくは、個別端末1005内メモリ1007もしくは、発話ロボット1033内メモリ1035における、本実施例での処理例に関する図である。発話促進抑制制御部126には発話タイミングスコア123が入力される。発話タイミングスコア123は、実施例１～４に示すいずれかの方法で算出される。

発話促進抑制制御部126では、入力された発話タイミングスコア123に基づいて、ロボットの発話を促進するか抑制するかが決定され、発話促進抑制係数が出力される。発話促進抑制係数の決定方法は、発話タイミングスコアに閾値を設けて、閾値以上であった際に促進を示す係数とし、閾値以下であった際に抑制を示す係数とするといったように決定したり、発話タイミングスコアに任意の係数をかけることにより、連続値の発話促進抑制係数を決定したりしても良い。

発話促進制御係数はどのように定義しても構わないが、ここでは定義の一例として、0から1の間をとる値とし、値が低いほど発話の抑制を、値が高いほど発話の促進を意味するものとする。発話テキスト生成部127は、公知のルールベースあるいは機械学習的手法により、発話ロボットの発話テキストを生成し、出力する。音声合成部128には、発話促進抑制制御部126から出力される発話促進抑制係数と発話テキスト生成部127から出力される発話テキストが入力される。音声合成部128では、入力される発話促進抑制係数の値に基づいて、入力される発話テキストに基づいた発話音声信号を合成するかどうかが決定され、合成すると決定された場合、発話音声信号129を合成する。合成するかどうかの決定法については、発話単位で発話タイミングスコアに閾値を設けて決定する方法や、その他公知の方法と組み合わせて決定する方法などが考えられる。出力された発話音声信号129は、図１０中の発話ロボット1033内音声出力I/F1038において音声波形に変換され出力される。

本実施例によれば、会議中において参加者の発言機会を、システム側から発言を勧めるスコアとして能動的に提示することができる。提示は、数値による表示、時系列グラフによる表示、および、閾値より低い際や高い際にシグナルを点灯する表示などが可能である。また、スコアの提示は参加者全員にしてもよいし、司会者など特定の参加者に対して行ってもよい。スコアを見た参加者は、自分が発言しやすい状況にある、自分が発言を期待されている状況にある、あるいは、自分が有意義な発言ができる状況にあるということを、数値的に把握することが可能となる。

参加者201、個別端末1005、覚醒度推定部102,116、発話タイミングスコア推定部103,106,111,122、音声認識部110,118、発話タイミングシグナル発信部124、発話促進抑制制御部126

Claims

インターフェースによって入力される情報に基づいて、会議の参加者に発言を勧めるスコアを提示することを特徴とする会議支援システムであって、
前記スコアは時間に対して値が変化するタイミングスコアであり、
現在の発話者の音声および画像の少なくとも一つの情報を入力する前記インターフェースと、
前記現在の発話者の音声および画像の少なくとも一つの情報に基づいて、前記現在の発話者の覚醒度を推定する覚醒度推定部と、
前記覚醒度推定部が推定した前記覚醒度が低いほど発言を勧める値が高くなる第１のスコアを決定する第１の発話タイミングスコア推定部を備え、
前記第１のスコアに基づいて、前記現在の発話者以外の参加者の発話を促す、
会議支援システム。
インターフェースによって入力される情報に基づいて、会議の参加者に発言を勧めるスコアを提示することを特徴とする会議支援システムであって、
前記スコアは時間に対して値が変化するタイミングスコアであり、
現在の発話者の音声またはテキストおよび複数のスコア算出対象者の過去の発言の音声またはテキストを入力する前記インターフェースと、
前記現在の発話者の発言内容と、前記複数のスコア算出対象者の過去の発言の関係に基づいて発言を勧める第３のスコアを決定する第３の発話タイミングスコア推定部を備え、
前記第３のスコアに基づいて、前記複数のスコア算出対象者のうちの特定の者の発話を促す、
会議支援システム。
インターフェースによって入力される情報に基づいて、会議の参加者に発言を勧めるスコアを提示することを特徴とする会議支援システムであって、
前記スコアは時間に対して値が変化するタイミングスコアであり、
現在の発話者の音声および画像の少なくとも一つの情報を入力する第１のインターフェースと、
前記現在の発話者の音声および画像の少なくとも一つの情報に基づいて、前記現在の発話者の覚醒度を推定する覚醒度推定部と、
前記覚醒度推定部が推定した前記覚醒度が低いほど発言を勧める値が高くなる第１のスコアを決定する第１の発話タイミングスコア推定部と、
前記参加者の発言推薦を入力する第２のインターフェースと、
前記参加者の発言推薦に基づいて発言を勧める第２のスコアを決定する第２の発話タイミングスコア推定部を備え、
前記第２の発話タイミングスコア推定部は、他の参加者の発言推薦の値の合計に基づいて前記発言を勧める第２のスコアを決定し、
前記他の参加者の発言推薦の値は、発言推薦を行った時点から時間が経過するに従い値が減少するものであり、
さらに、前記現在の発話者の音声またはテキストおよび複数のスコア算出対象者の過去の発言の音声またはテキストを入力する第３のインターフェースと、
前記現在の発話者の発言内容と、前記複数のスコア算出対象者の過去の発言の関係に基づいて発言を勧める第３のスコアを決定する第３の発話タイミングスコア推定部を備え、
前記第１のスコア、前記第２のスコア、および前記第３のスコアの少なくとも一つについて重みづけを行い、前記第１のスコア、前記第２のスコア、および前記第３のスコアに基づいて総合的な発話タイミングスコアである第４のスコアを決定する、
会議支援システム。
会議の参加者全員の前記第１のスコアが閾値以下である場合に、不特定多数の参加者に対して発言を勧めるシグナルを生成する、
請求項１記載の会議支援システム。
会議の参加者全員の前記第３のスコアが閾値以下である場合に、不特定多数の参加者に対して発言を勧めるシグナルを生成する、
請求項２記載の会議支援システム。
会議の参加者全員の前記第４のスコアが閾値以下である場合に、不特定多数の参加者に対して発言を勧めるシグナルを生成する、
請求項３記載の会議支援システム。