JP7430618B2 - 会議支援装置、会議支援方法および会議支援プログラム - Google Patents

Description

本発明は、会議の進行を支援する会議支援装置、会議支援方法および会議支援プログラムに関する。

この種の装置として、従来、会議の参加者の発言や表情を検出し、検出結果に基づいて会議の進行を支援する情報を提示するようにした装置が知られている（例えば特許文献１，２参照）。特許文献１記載の装置では、画像や音声に基づいて参加者の心理状態が推定されるとともに、推定された心理状態の情報が表示される。特許文献２記載の装置では、参加者の発言の内容が解析され、解析結果が表示されることで、会議の論点や方向性が視覚化される。

特開２００４－１１２５１８号公報 特開２０２０－１０６６８７号公報

ところで、会議を円滑に進行するには、必要に応じて参加者に発言を促すことが望ましい。しかしながら、上記特許文献１，２記載の装置は、単に参加者の感情や議論の内容を表示するだけであり、特許文献１，２記載の装置では、参加者に発言をいかに促すかについては何ら提案されていない。

本発明の一態様である会議支援装置は、会議の進行を管理するファシリテータを支援する。会議支援装置は、会議の参加者の生体情報とファシリテータからの指令の情報とを取得する情報取得部と、情報取得部により取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度を算出する活性度算出部と、情報取得部により取得されたファシリテータからの指令の情報に基づいて、ファシリテータが参加者に発言を促した介入のタイミングを認識する介入認識部と、介入認識部により介入のタイミングが認識されると、その後の所定期間内に活性度算出部により算出された活性度に基づいて、活性度の変化を表す活性度情報を出力する出力部と、を備える。

本発明の他の態様は、会議の進行を管理するファシリテータを支援する会議支援方法であって、会議の参加者の生体情報とファシリテータからの指令の情報とを取得する情報取得ステップと、情報取得ステップで取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度を算出する活性度算出ステップと、情報取得ステップで取得されたファシリテータからの指令の情報に基づいて、ファシリテータが参加者に発言を促した介入のタイミングを認識する介入認識ステップと、介入認識ステップで介入のタイミングが認識されると、その後の所定期間内に活性度算出ステップで算出された活性度に基づいて、活性度の変化を表す活性度情報を出力する出力ステップと、をコンピュータにより実行することを含む。

本発明のさらなる他の態様は、会議の進行を管理するファシリテータを支援する会議支援プログラムであって、会議の参加者の生体情報とファシリテータからの指令の情報とを取得する情報取得ステップと、情報取得ステップで取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度を算出する活性度算出ステップと、情報取得ステップで取得されたファシリテータからの指令の情報に基づいて、ファシリテータが参加者に発言を促した介入のタイミングを認識する介入認識ステップと、介入認識ステップで介入のタイミングが認識されると、その後の所定期間内に活性度算出ステップで算出された活性度に基づいて、活性度の変化を表す活性度情報を出力する出力ステップと、をコンピュータに実行させる。

本発明によれば、会議の円滑な進行を支援することができる。

本発明の実施形態に係る会議支援装置を有する会議支援システムの全体構成の一例を概略的に示すブロック図。 図１の各端末装置の要部構成の一例を概略的に示すブロック図。 本発明の実施形態に係る会議支援装置の要部構成の一例を概略的に示すブロック図。 図３の発言判定部の判定結果と個人感情推定部の推定結果の一例を示す図。 介入指令を受信したときの、図１の端末装置の表示画面の一例を示す図。 図５Ａの変形例を示す図。 本発明の実施形態に係る会議支援装置により実行される介入指令出力処理の一例を示すフローチャート。 図３の活性度算出部の算出結果の一例を示す図。 図７Ａの変形例を示す図。 活性度情報を受信したときの、図１のファシリテータが使用する端末装置の表示画面の一例を示す図。 図８Ａの変形例を示す図。 本発明の実施形態に係る会議支援装置により実行される活性度情報出力処理の一例を示すフローチャート。 図３の個人感情推定部および全体感情推定部の推定結果の一例を示す図。 全体感情の情報を受信したときの、図１のファシリテータが使用する端末装置の表示画面の一例を示す図。 図１１Ａの変形例を示す図。 本発明の実施形態に係る会議支援装置により実行される全体感情出力処理の一例を示すフローチャート。

以下、図１～図１２を参照して本発明の一実施形態について説明する。本発明の実施形態に係る会議支援装置は、新たなアイデアを生み出すための社内会議などの会議の進行を支援する。より具体的には、会議の進行を管理するファシリテータを支援することで間接的に会議の進行を支援し、あるいは、ファシリテータの役割を担うことで直接的に会議の進行を支援する。

会議は、例えば新たな商品やサービスのアイデアを生み出すために開催され、開発部門の各分野のエキスパートなど、多様な知見を有する複数の参加者により構成される。このような会議は、複数の参加者が互いの意見を交換し、議論することで進行するが、会議の進行が参加者の自治に委ねられると、特定の参加者が発言し続けたり、発言しなかったり、率直に発言できなかったりする不適切な状況が発生することがある。このような不適切な状況が発生すると、多様な知見が反映された良質なアイデアを生み出すことが難しくなる。

ファシリテータは、例えば開発部門の会議に立ち会う心理学の専門性を有するカウンセラなどの担当者であり、会議の議論そのものには関与せず、専ら会議の進行のみを管理する。より具体的には、会議の進行状況を観察し、不適切な状況が発生しないよう、必要に応じて参加者に発言を促す「介入」を行うことで、会議の進行を促進する。

ファシリテータが各参加者の発言量や表情、動作などを観察し、適切な介入対象者および介入タイミングを見極めて適切な態様で介入すると会議の進行が促進されるが、不適切な態様で介入すると、かえって会議の進行が妨げられる可能性がある。そこで、本実施形態では、介入が適切な態様で行われるように支援することで、会議の円滑な進行を支援できるよう、以下のように会議支援装置を構成する。

図１は、本発明の実施形態に係る会議支援装置を有する会議支援システム１００の全体構成の一例を概略的に示すブロック図である。図１に示すように、会議支援システム１００は、会議の複数の参加者Ｐａ～Ｐｄのそれぞれが使用する端末装置１０ａ～１０ｄと、ファシリテータＰｆが使用する端末装置１０ｆと、本発明の実施形態に係る会議支援装置を構成するサーバ２０とを有する。各端末装置１０（１０ａ～１０ｄ，１０ｆ）は、パーソナルコンピュータやスマートフォンなどの一般的なユーザ端末により構成される。

各端末装置１０とサーバ２０とは、インターネット網や携帯電話網等に代表される公衆無線通信網を含む通信ネットワーク３０に接続され、通信ネットワーク３０を介して互いに通信可能に構成される。通信ネットワーク３０には、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。

なお、図１には、各参加者Ｐａ～ＰｄおよびファシリテータＰｆが個人で参加するＷｅｂ会議の構成を示すが、会議は、複数の参加者Ｐａ～ＰｄおよびファシリテータＰｆの一部がグループで参加するテレビ会議や、オンライン会議以外の会議であってもよい。この場合、複数の参加者Ｐａ～ＰｄおよびファシリテータＰｆまたはその一部が単一の端末装置１０を共用してもよい。

図２は、各端末装置１０の要部構成の一例を概略的に示すブロック図である。図２に示すように、端末装置１０は、ＣＰＵなどの演算部１１と、ＲＯＭ，ＲＡＭなどの記憶部１２と、Ｉ／Ｏインターフェースなどの周辺回路とを有するコンピュータを含んで構成される。端末装置１０は、さらに、コンピュータに接続されたマイク１３と、カメラ１４と、入力部１５と、スピーカ１６と、表示部１７と、を有する。記憶部１２には、演算部１１が実行するプログラム、端末装置１０を使用するユーザ（参加者Ｐａ～Ｐｄ、ファシリテータＰｆ）の識別情報などが記憶される。

マイク１３は、端末装置１０のユーザが発した音声を取得する。マイク１３からの音声信号は、演算部１１での処理により、通信ネットワーク３０を介して、他の参加者Ｐａ～ＰｄおよびファシリテータＰｆが使用する端末装置１０に送信される。また、マイク１３からの音声信号は、記憶部１２に一時的に記憶され、識別情報とともにユーザ（参加者Ｐａ～Ｐｄ、ファシリテータＰｆ）ごとの音声情報として、演算部１１での処理により通信ネットワーク３０を介して所定周期でサーバ２０に送信される。マイク１３は、ファシリテータＰｆによる各種の指令の音声操作入力を受け付けることもできる。マイク１３を介して入力されたファシリテータＰｆからの指令の情報は、演算部１１での処理により通信ネットワーク３０を介してサーバ２０に送信される。

カメラ１４は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を有し、端末装置１０のユーザの顔を撮像する。カメラ１４からの画像信号は、演算部１１での処理により、通信ネットワーク３０を介して、他の参加者Ｐａ～ＰｄおよびファシリテータＰｆが使用する端末装置１０に送信される。また、カメラ１４からの画像信号は、記憶部１２に一時的に記憶され、識別情報とともにユーザ（参加者Ｐａ～Ｐｄ、ファシリテータＰｆ）ごとの画像情報として、演算部１１での処理により通信ネットワーク３０を介して所定周期でサーバ２０に送信される。カメラ１４は、ファシリテータＰｆのジェスチャによる各種の指令の操作入力を受け付けることもできる。カメラ１４を介して入力されたファシリテータＰｆからの指令の情報は、演算部１１での処理により通信ネットワーク３０を介してサーバ２０に送信される。

入力部１５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザによる操作入力を受け付ける。例えば、マイク１３やカメラ１４をオンまたはオフする操作入力を受け付ける。また、ファシリテータＰｆによる各種の指令の操作入力を受け付ける。入力部１５を介して入力されたファシリテータＰｆからの各種の指令の情報は、演算部１１での処理により通信ネットワーク３０を介してサーバ２０に送信される。

スピーカ１６は、演算部１１からの制御信号に応じて音声を出力する。例えば、通信ネットワーク３０を介して取得された音声情報に基づいて、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆが発した音声を出力する。各端末装置１０のユーザは、マイク１３とスピーカ１６とを介して、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆと対話することができる。

表示部１７は、演算部１１からの制御信号に応じて画像を表示する。例えば、通信ネットワーク３０を介して取得された画像情報に基づいて、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆの画像を表示する。各端末装置１０のユーザは、表示部１７を介して、他の参加者Ｐａ～ＰｄまたはファシリテータＰｆの表情や動作を認識することができる。

図３は、本発明の実施形態に係る会議支援装置を構成するサーバ２０の要部構成の一例を概略的に示すブロック図である。図３に示すように、サーバ２０は、ＣＰＵなどの演算部２１と、ＲＯＭ，ＲＡＭなどの記憶部２２と、Ｉ／Ｏインターフェースなどの周辺回路とを有するコンピュータを含んで構成される。なお、図１には単一のサーバ２０を示すが、図３に示す機能を分散させた複数のサーバによりサーバ２０を構成してもよい。

記憶部２２には、演算部２１が実行する会議支援プログラムやプログラムで使用される閾値、各端末装置１０から取得された参加者Ｐａ～Ｐｄ、ファシリテータＰｆごとの音声情報や画像情報、演算部２１による演算結果などが記憶される。演算部２１は、ＣＰＵが担う機能的構成として、情報取得部２３と、発言判定部２４と、個人感情推定部２５と、全体感情推定部２６と、活性度算出部２７と、介入認識部２８と、出力部２９と、を有する。

情報取得部２３は、通信ネットワーク３０を介して各端末装置１０から参加者Ｐａ～Ｐｄ、ファシリテータＰｆごとの音声情報および画像情報、すなわち生体情報取得するとともに、ファシリテータＰｆの端末装置１０ｆから各種の指令の情報を取得する。情報取得部２３により取得された各参加者Ｐａ～Ｐｄの生体情報は、各参加者Ｐａ～Ｐｄの識別情報に関連付けられて記憶部２２に記憶される。

発言判定部２４は、情報取得部２３により取得された音声情報に基づいて、各参加者Ｐａ～Ｐｄが発言しているか否かを判定する。より具体的には、参加者Ｐａ～Ｐｄごとの音声情報に基づいて、各端末装置１０のマイク１３を介して音声信号が入力されたか否かを判定することで、複数の参加者Ｐａ～Ｐｄのそれぞれについて発言の有無を判定する。発言判定部２４による判定結果は、各参加者Ｐａ～Ｐｄの識別情報に関連付けられ、時系列の情報として記憶部２２に記憶される。

個人感情推定部２５は、情報取得部２３により取得された画像情報に基づいて、各参加者Ｐａ～Ｐｄの表情（口角等）から、各参加者Ｐａ～Ｐｄの感情（個人感情）ｅａ～ｅｄが予め設定された複数の種類の感情のいずれに属するかを推定する。例えば、Ｐｌｕｔｃｈｉｋの感情の輪を用いて、８つの基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待）と、隣り合う２つの感情の組み合わせによる応用感情とに分類し、感情の輪のいずれかのパターンに当てはめる。

個人感情推定部２５は、感情の輪への当てはめに応じて個人感情ｅａ～ｅｄを数値化する。例えば、喜びなどの好ましい感情（正の感情）をプラスの値で、悲しみなどの好ましからぬ感情（負の感情）をマイナスの値で表す。この場合、例えば感情が強いほど（感情の輪の内側に行くほど）、感情を表す値（絶対値）を大きくする。個人感情推定部２５による推定結果は、各参加者Ｐａ～Ｐｄの識別情報に関連付けられ、時系列の情報として記憶部２２に記憶される。

［介入の対象者と介入のタイミング］
図４は、発言判定部２４の判定結果と個人感情推定部２５の推定結果の一例を示す図であり、会議中における参加者Ｐａ～Ｐｄの発言の有無と個人感情ｅａ～ｅｄの変化の一例を示す。図４の例では、参加者Ｐａ，Ｐｂ，Ｐｄのみが発言し、参加者Ｐｃが発言していない。このような状況が継続すると、参加者Ｐｃの意見が反映されないまま議論が進んでしまうため、参加者Ｐｃに発言を促す介入を行う必要がある。一方、参加者Ｐｃが発言する意見の内容について考えている場合や発言する意見がない場合など、まだ発言できない段階で介入が行われると、単に議論の流れを妨げることになる。また、介入された参加者Ｐｃが委縮し、かえって発言しにくくなる。

図４に示すように、時刻ｔ１～ｔ２において参加者Ｐｃが一度も発言せず、継続して所定時間Ｔ１（例えば、５分間）以上、発言していない場合は、参加者Ｐｃを介入すべき対象者（介入対象者）の候補者（介入候補者）とみなす。さらに、時刻ｔ３において、他の参加者Ｐａの発言中に参加者Ｐｃの個人感情ｅｃが変化すると（図では正の感情が“＋１”から“＋３”に強まる）、参加者Ｐｃに何らかの意見が生じたものとみなし、参加者Ｐｃを介入対象者とする。すなわち、他の参加者の発言を受けて個人感情が変化した場合は、何らかの意見が生じた蓋然性が高いため、このようなタイミング、例えば、他の参加者の発言の直後に介入すれば、介入対象者にとって発言しやすく、議論の流れを妨げることがない。なお、誰も発言していないときの個人感情の変化は、発言内容に関係ない個人的な事柄に起因する可能性が高い。

出力部２９は、発言判定部２４により他の参加者Ｐａが発言していると判定されるとき、個人感情推定部２５により推定された参加者Ｐｃ（介入候補者）の個人感情ｅｃが変化すると、参加者Ｐｃを介入対象者として発言を促すための指令（介入指令）を出力する。例えば、通信ネットワーク３０を介してファシリテータＰｆの端末装置１０ｆに、介入対象者を特定するための識別情報と個人感情の変化の情報を送信する。なお、継続して所定時間Ｔ１以上、発言していない複数の介入候補者の個人感情が同時に変化した場合は、発言していない時間がより長い介入候補者、あるいは、個人感情の変化がより大きい介入候補者を介入対象者として介入指令を出力する。

図５Ａは、介入指令を受信したときの端末装置１０ｆの表示画面の一例を示す図であり、サーバ２０からの介入指令に応じてファシリテータＰｆが使用する端末装置１０ｆの表示部１７に表示される表示画面の一例を示す。図５Ａに示すように、サーバ２０から端末装置１０ｆに介入指令が送信されると、表示部１７に表示される複数（図では４人）の参加者Ｐａ～Ｐｄのうち、介入指令により特定された参加者Ｐｃが他の参加者Ｐａ，Ｐｂ，Ｐｄよりも強調して表示される。

このように、参加者Ｐａの発言中、長時間発言していない参加者Ｐｃの個人感情ｅｃが変化すると直ちに、ファシリテータＰｆに対し、参加者Ｐｃに介入すべきタイミングであることが通知される。これにより、例えば参加者Ｐａが発言し終わり、他の参加者Ｐｂ，Ｐｄが発言する前に、ファシリテータＰｆが参加者Ｐｃに発言を促すことができるため、参加者Ｐｃがスムーズに議論に加わることができる。このような通知は、ファシリテータＰｆが不慣れで介入のタイミングを判断しかねる場合だけでなく、資料などが全画面表示されることでファシリテータＰｆが参加者Ｐｃの表情や動作を観察できない場合にも、ファシリテータＰｆを支援することができる。

さらに、端末装置１０ｆの表示部１７には、介入指令により特定された参加者Ｐｃについての、個人感情ｅｃの変化の情報が表示される。個人感情ｅｃの変化の情報は、例えば感情の種類や強さを示す表情アイコンを用いて示される。図５Ａの例では、参加者Ｐｃの個人感情ｅｃが弱い正の感情“＋１”から、やや強い正の感情“＋３”に変化したことが、変化の前後の感情にそれぞれ対応する２つの表情アイコンを用いて示される。

このように個人感情ｅｃの変化の情報を表示することで、ファシリテータＰｆが参加者Ｐｃの個人感情ｅｃの変化の内容を把握した上で介入できるため、参加者Ｐｃの心理状態に応じた適切な声の掛け方などで発言を促すことができる。また、表示部１７に表示される情報が表情アイコンなど最小限に止められるため、ファシリテータＰｆによる参加者Ｐａ～Ｐｄの表情や動作などの観察を妨げることがない。

図５Ｂは、介入指令を受信したときの端末装置１０の表示画面の変形例を示す図であり、サーバ２０からの介入指令に応じて参加者Ｐａ～ＰｄおよびファシリテータＰｆが使用する端末装置１０ａ～１０ｄ，１０ｆの表示部１７に表示される表示画面の一例を示す。図５Ｂに示すように、サーバ２０から各端末装置１０に介入指令が送信されると、表示部１７に表示される複数（図では４人）の参加者Ｐａ～Ｐｄのうち、介入指令により特定された参加者Ｐｃが他の参加者Ｐａ，Ｐｂ，Ｐｄよりも強調して表示される。例えば、参加者Ｐｃの画像が他の参加者Ｐａ，Ｐｂ，Ｐｄの画像よりも大きく表示される。

このように、ファシリテータＰｆや介入対象者だけでなく、参加者Ｐａ～Ｐｄ全体に対し、次の発言者が明示されるため、より自然な態様で介入対象者に発言を促すことができる。このように参加者Ｐａ～Ｐｄ全体に対して通知を行う場合は、ファシリテータＰｆによる介入を支援するだけでなく、会議支援装置がファシリテータの役割を担うことで直接的に会議の進行を支援することができる。

図６は、サーバ２０の記憶部２２に予め記憶された会議支援プログラムに従い、サーバ２０の演算部２１で実行される介入指令出力処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばファシリテータＰｆからの開始指令が入力されると開始され、終了指令が入力されるまで所定周期で繰り返し実行される。

先ずステップＳ１で、参加者Ｐａ～Ｐｄごとの生体情報を取得する。次いでステップＳ２で、ステップＳ１で取得された音声情報に基づいて参加者Ｐａ～Ｐｄごとの発言の有無を判定する。次いでステップＳ３で、ステップＳ１で取得された画像情報に基づいて参加者Ｐａ～Ｐｄごとの個人感情ｅａ～ｅｄを推定する。次いでステップＳ４で、ステップＳ２の判定結果に基づいて、継続して所定時間Ｔ１以上、発言していない介入候補者がいるか否かを判定する。ステップＳ４で肯定されるとステップＳ５に進み、否定されると処理を終了する。ステップＳ５では、ステップＳ２の判定結果とステップＳ３の推定結果とに基づいて、他の参加者の発言中に介入候補者の感情に変化があったか否かを判定する。ステップＳ５で肯定されるとステップＳ６に進み、否定されると処理を終了する。ステップＳ６では、介入候補者を介入対象者として発言を促すための介入指令を端末装置１０に送信する。

このように、長時間発言していない参加者を特定し（ステップＳ１，Ｓ２，Ｓ４）、他の参加者の発言を受けて個人感情が変化したタイミングで介入指令を出力するため（ステップＳ１～Ｓ３，Ｓ５，Ｓ６）、発言しやすいタイミングで介入を行うことができる。これにより、議論の流れを妨げることなく効果的に介入を行うことができるため、会議の円滑な進行を支援することができる。

［議論の活性度と介入の効果］
ファシリテータＰｆは、自身が行った介入が効果的であったか否かを知ることで、必要に応じて次回以降の介入の態様を見直すことができる。ファシリテータＰｆによる介入の効果をファシリテータＰｆにフィードバックすることで、ファシリテータＰｆによる効果的な介入を支援し、会議の円滑な進行を支援することができる。

活性度算出部２７は、情報取得部２３により取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度ａを算出する。例えば、情報取得部２３により取得された音声情報に基づいて参加者Ｐａ～Ｐｄによる発言の頻度ｆを算出し、算出された発言の頻度ｆに基づいて活性度ａを算出する。

図７Ａは、活性度算出部２７の算出結果の一例を示す図であり、発言の頻度ｆに基づく活性度ａの一例を示す。図７Ａに示すように、時刻ｔ６にファシリテータＰｆによる介入が行われると、介入前の時刻ｔ５～ｔ６における発言の頻度ｆと、介入後の所定期間Ｔ２（例えば、５分程度）、時刻ｔ６～ｔ７における発言の頻度ｆが算出される。図７Ａの例では、時刻ｔ５～ｔ６の３分間に２回の発言があり、介入前の発言の頻度ｆが０．７回／分として算出され、時刻ｔ６～ｔ７の５分間に７回の発言があり、介入後の発言の頻度ｆが１．４回／分として算出される。この場合、介入前の活性度ａが“０．７”、介入後の活性度ａが“１．４”として算出される。

活性度算出部２７は、個人感情推定部２５により推定された参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄに基づいて活性度ａを算出することもできる。例えば、参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄの平均値を活性度ａとして算出する。

図７Ｂは、活性度算出部２７の算出結果の一例を示す図であり、個人感情ｅａ～ｅｄに基づく活性度ａの一例を示す。図７Ｂの例では、時刻ｔ６に介入が行われると、時刻ｔ８に参加者Ｐｄの個人感情ｅｄが負の感情“－３”から正の感情“＋３”に変化し、時刻ｔ９に参加者Ｐｃの個人感情ｅｃが弱い正の感情“＋１”から、強い正の感情“＋５”に変化する。この場合、参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄの平均値、すなわち活性度ａが、時刻ｔ５～ｔ８に“＋１．５”、時刻ｔ８～ｔ９に“＋３”、時刻ｔ９～ｔ７に“＋４”として算出される。

活性度算出部２７は、参加者Ｐａ～Ｐｄの発言の頻度ｆおよび個人感情ｅａ～ｅｄの両方に基づいて活性度ａを算出してもよい。この場合、例えば、発言の頻度ｆに基づく活性度ａおよび個人感情ｅａ～ｅｄに基づく活性度ａを、最小値および最大値を統一した数値ａｆ，ａｅに換算するとともに、換算された数値ａｆ，ａｅの平均値を活性度ａとして算出する。

介入認識部２８は、ファシリテータＰｆによる介入のタイミング（図７Ａ、図７Ｂの時刻ｔ６）を認識する。より具体的には、情報取得部２３により取得されたファシリテータＰｆの音声情報に基づいて、端末装置１０ｆのマイク１３を介して音声信号が入力されたか否かを判定することで、ファシリテータＰｆが介入を行うタイミングを認識する。この場合、ファシリテータＰｆが介入を行うと自動的に介入のタイミングが認識される。

介入認識部２８は、ファシリテータＰｆによる意識的な操作入力、すなわち、介入の開始および介入の効果のフィードバックを要求するために予め定められた操作入力に基づいて、介入のタイミングを認識してもよい。より具体的には、情報取得部２３により取得されたファシリテータＰｆからの各種の指令の情報に基づいて、端末装置１０ｆの入力部１５を介した操作、マイク１３を介した音声操作、カメラ１４を介したジェスチャによる操作が入力されたか否かを判定する。このような意識的な操作入力を契機として介入のタイミングを認識する場合、例えば介入以外の発言を契機として誤って介入の効果が算出されることがなく、ファシリテータＰｆの意図に沿って正確な介入の効果をフィードバックすることができる。

出力部２９は、介入認識部２８により介入のタイミングが認識されると、その後の所定期間Ｔ２内に活性度算出部２７により算出された活性度ａに基づいて、活性度ａの変化を表す活性度情報を生成し、通信ネットワーク３０を介して端末装置１０ｆに送信する。例えば、図７Ａに示すように、活性度算出部２７により介入前の活性度ａが“０．７”、介入後の所定期間Ｔ２における活性度ａが“１．４”として算出されると、介入の効果として活性度ａが向上したことを示す活性度情報を生成し、出力する。あるいは、図７Ｂに示すように、活性度算出部２７により介入後の所定期間Ｔ２における活性度ａが“＋１．５”、“＋３”、“＋４”として算出されると、介入の効果として活性度ａの推移を示す活性度情報を生成し、出力する。

図８Ａおよび図８Ｂは、活性度情報を受信したときの、ファシリテータＰｆが使用する端末装置１０ｆの表示画面の一例を示す図である。図８Ａの例では、介入の効果として、介入の前後で活性度ａが向上したことを示す矢印が画面中央に表示される。図８Ｂの例では、介入の効果として、介入後の所定期間Ｔ２に活性度ａが弱い正の感情に対応する“＋１．５”から、やや強い正の感情に対応する“＋３”、強い正の感情に対応する“＋４”に推移したことを示す表情アイコンが画面中央に表示される。このような介入の効果は、介入認識部２８により介入のタイミングが認識された後、所定期間Ｔ２が経過してから表示されるが、図８Ｂのように活性度ａの推移を表示する場合には、介入のタイミングが認識された後の所定期間Ｔ２、継続的に表示してもよい。

図９は、サーバ２０の記憶部２２に予め記憶された会議支援プログラムに従い、サーバ２０の演算部２１で実行される活性度情報出力処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばファシリテータＰｆからの開始指令が入力されると開始され、終了指令が入力されるまで所定周期で繰り返し実行される。

先ずステップＳ１で、参加者Ｐａ～Ｐｄごとの生体情報を取得する。次いでステップＳ７で、ステップＳ１で取得された生体情報に基づいて活性度ａを算出する。次いでステップＳ８で、ファシリテータＰｆによる介入のタイミングが認識されたか否かを判定する。ステップＳ８で肯定されるとステップＳ９に進み、否定されると処理を終了する。ステップＳ９では、ステップＳ７で算出された活性度ａの変化を表す活性度情報を生成し、ファシリテータＰｆの端末装置１０ｆに出力する。次いでステップＳ１０で、ステップＳ８で認識された介入タイミングから所定期間Ｔ２が経過したか否かを判定する。ステップＳ１０で肯定されると処理を終了し、否定されるとステップＳ９に戻る。

このように、ファシリテータＰｆによる介入のタイミングを認識し（ステップＳ８）、介入前後の活性度ａの変化や介入後の活性度ａの推移をフィードバックするため（ステップＳ９，Ｓ１０）、ファシリテータＰｆが自身の介入による効果を把握することができる。これにより、ファシリテータＰｆによる効果的な介入を支援し、会議の円滑な進行を支援することができる。

［会議の全体的な雰囲気の形成］
会議を円滑に進行し、参加者全体の意見が反映された結論に至るには、会議の全体的な雰囲気を的確に把握することが必要となる。会議の全体的な雰囲気は、参加者全体の個人感情が概ね一致することで形成される。各参加者が率直に発言を尽くし、互いの意見が十分に交換されると、参加者全体の個人感情が一致し、このような満場一致の雰囲気で結論に至ることで、多様な知見が反映された良質なアイデアを生み出すことができる。

全体感情推定部２６は、個人感情推定部２５で推定された各参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄに基づいて、複数の参加者Ｐａ～Ｐｄ全体の感情（全体感情）ｅ、すなわち会議全体の雰囲気を推定する。より具体的には、個人感情推定部２５により同一の種類の感情に属すると推定された参加者Ｐａ～Ｐｄの割合が所定割合（例えば、７０％）以上であるか否かを判定し、所定割合以上であると判定されると、その感情を全体感情ｅとして推定する。

図１０は、個人感情推定部２５および全体感情推定部２６の推定結果の一例を示す図である。図１０に示すように、例えば会議の開始直後は各参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄが殆ど一致せず、会議の全体的な雰囲気が形成されていない。このような段階で、例えば個人感情ｅａ～ｅｄの平均値として全体感情ｅを推定したとしても、会議の全体的な雰囲気を的確に表すことはできない。

会議が円滑に進行し、すべての参加者Ｐａ～Ｐｄが率直に発言し、互いの意見が十分に交換されると、すべての参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄが正の感情として満場一致し、全体感情推定部２６により全体感情ｅが正の感情として推定される。また、個人感情ｅａ～ｅｄの平均値が全体感情ｅの絶対値として算出される。

一方、会議が進行して殆どの参加者Ｐａ～Ｐｃが率直に発言し、意見を交換したものの、一部の参加者Ｐｄが十分に発言できていなかったり、率直に発言できていなかったりする場合は、一部の参加者Ｐｄの個人感情ｅｄが全体感情ｅと不一致となる。この場合、所定割合以上の参加者Ｐａ～Ｐｃの個人感情ｅａ～ｅｃが属する正の感情が全体感情ｅとして推定され、参加者Ｐａ～Ｐｃの個人感情ｅａ～ｅｃの平均値が全体感情ｅの絶対値として算出される。

出力部２９は、全体感情推定部２６により全体感情ｅが推定されると、推定された全体感情ｅおよび個人感情ｅｄが全体感情ｅと不一致の参加者Ｐｄの情報を、通信ネットワーク３０を介して端末装置１０ｆに送信する。

図１１Ａおよび図１１Ｂは、全体感情ｅの情報を受信したときの、ファシリテータＰｆが使用する端末装置１０ｆの表示画面の一例を示す図である。図１１Ａの例では、図１０において満場一致の全体感情ｅとして推定された、やや強い正の感情“＋４”に対応する表情アイコンが画面中央に表示される。

図１１Ｂの例では、図１０において個人感情ｅｄが全体感情ｅと不一致の参加者Ｐｄがいる場合の全体感情ｅとして推定された、やや強い正の感情“＋３”に対応する表情アイコンが画面中央に表示される。また、個人感情ｅｄが全体感情ｅと不一致の参加者Ｐｄが他の参加者Ｐａ～Ｐｃよりも強調して表示されるとともに、その参加者Ｐｄの個人感情ｅｄとして推定された、やや強い負の感情“－３”に対応する表情アイコンが表示される。

図１２は、サーバ２０の記憶部２２に予め記憶された会議支援プログラムに従い、サーバ２０の演算部２１で実行される全体感情出力処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばファシリテータＰｆからの開始指令が入力されると開始され、終了指令が入力されるまで所定周期で繰り返し実行される。

先ずステップＳ１で、参加者Ｐａ～Ｐｄごとの生体情報を取得する。次いでステップＳ３で、ステップＳ１で取得された画像情報に基づいて参加者Ｐａ～Ｐｄごとの個人感情ｅａ～ｅｄを推定する。次いでステップＳ１１で、ステップＳ３で推定された参加者Ｐａ～Ｐｄごとの個人感情ｅａ～ｅｄが概ね一致しているか否かを判定する。ステップＳ１１で肯定されるとステップＳ１２に進み、否定されると処理を終了する。ステップＳ１２では、ステップＳ１１で概ね一致すると判定された感情を参加者Ｐａ～Ｐｄ全体の全体感情ｅとして推定するとともに、一致した個人感情ｅａ～ｅｃの平均値を全体感情ｅの絶対値として算出する。

次いでステップＳ１３で、ステップＳ３で推定された個人感情ｅａ～ｅｄがステップＳ１２で推定された全体感情ｅと一致しない参加者Ｐａ～Ｐｄがいるか否かを判定する。ステップＳ１３で肯定されるとステップＳ１４に進み、ステップＳ１２で推定された全体感情ｅと、ステップＳ１３で個人感情が全体感情ｅと一致しないと判定された参加者の識別情報および不一致の個人感情とを、ファシリテータＰｆの端末装置１０ｆに出力する。ステップＳ１３で否定されるとステップＳ１５に進み、ステップＳ１２で推定された満場一致の全体感情ｅのみをファシリテータＰｆの端末装置１０ｆに出力する。

このように、参加者Ｐａ～Ｐｄ全体の個人感情ｅａ～ｅｄが概ね一致すると全体感情ｅを推定し、提示するため（ステップＳ１１，Ｓ１２，Ｓ１４、Ｓ１５）、ファシリテータＰｆによる会議の全体的な雰囲気の把握を支援することができる。これにより、ファシリテータＰｆが会議の全体的な雰囲気が形成されつつあることや、その雰囲気の性質を的確に把握することができ、例えば介入の必要性を適切に判断することが可能になり、会議を円滑に進行することができる。また、全体感情ｅと異なる個人感情ｅｄを有する参加者Ｐｄの情報を提示することで（ステップＳ１４）、ファシリテータＰｆによる適切な介入を支援することができる。

本実施形態によれば以下のような作用効果を奏することができる。
（１）サーバ２０は、会議の進行を管理するファシリテータＰｆを支援する。サーバ２０は、会議の参加者Ｐａ～Ｐｄの生体情報を取得する情報取得部２３と、情報取得部２３により取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度ａを算出する活性度算出部２７と、ファシリテータＰｆが参加者Ｐａ～Ｐｄに発言を促す介入のタイミング（図７Ａ、図７Ｂの時刻ｔ６）を認識する介入認識部２８と、介入認識部２８により介入のタイミングが認識されると、その後の所定期間Ｔ２内に活性度算出部２７により算出された活性度ａに基づいて、活性度ａの変化を表す活性度情報を出力する出力部２９と、を備える（図３）。

例えば、ファシリテータＰｆに対し、介入前後における活性度ａの変化や介入後の所定期間Ｔ２における活性度ａの推移がフィードバックされるため、ファシリテータＰｆが自身の介入による効果を把握することができる。これにより、ファシリテータＰｆによる効果的な介入を支援し、会議の円滑な進行を支援することができる。

（２）介入認識部２８は、ファシリテータＰｆが介入するときの音声入力に基づいて介入のタイミングを認識する。これにより、ファシリテータＰｆが参加者Ｐａ～Ｐｄに発言を促す介入を行うと自動的に介入の効果がフィードバックされる。

（３）介入認識部２８は、ファシリテータＰｆからの操作入力に基づいて介入のタイミングを認識する。例えば、端末装置１０ｆのキーボードやマウス、タッチパネルなどの入力部１５を介した操作入力、マイク１３を介した音声操作入力、カメラ１４を介したジェスチャによる操作入力などの意識的な操作を契機として介入の効果がフィードバックされる。このため、介入以外の発言を契機として誤って介入の効果が算出されることがなく、ファシリテータＰｆの意図に沿って正確な介入の効果をフィードバックすることができる。

（４）情報取得部２３は、参加者Ｐａ～Ｐｄの生体情報として音声情報を取得する。活性度算出部２７は、情報取得部２３により取得された音声情報に基づいて参加者Ｐａ～Ｐｄによる発言の頻度ｆを算出し、算出された発言の頻度ｆに基づいて活性度ａを算出する。これにより、ファシリテータＰｆによる介入の効果を具体的な数値として算出することができる。

（５）情報取得部２３は、参加者Ｐａ～Ｐｄの生体情報として画像情報を取得する。活性度算出部２７は、情報取得部２３により取得された画像情報に基づいて個人感情推定部２５により推定された参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄに基づいて活性度ａを算出する。例えば、参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄの平均値として活性度ａを算出する。これにより、例えば表情アイコンの変化などのファシリテータＰｆが認識しやすい態様で介入の効果をフィードバックすることができる。

上記実施形態では、各参加者Ｐａ～Ｐｄの生体情報を各端末装置１０ａ～１０ｄのマイク１３およびカメラ１４を介して取得する例を説明したが、複数の参加者のそれぞれの生体情報を取得する情報取得部は、このようなものに限らない。端末装置に付属するものに限らず、独立したマイクやカメラでもよい。参加者ごとに設けられるものに限らず、複数の参加者が共用するものでもよい。この場合は、例えば指向性を有し、方向によって音声を取得する感度が異なるマイクを用いて参加者ごとの音声情報を取得するとともに、音声情報に基づいて個人を認識してもよい。また、広角カメラにより複数の参加者を撮影し、画像情報に基づいて個人を認識してもよい。

上記実施形態では、音声情報に基づいて参加者Ｐａ～Ｐｄの発言の有無を判定する例を説明したが、生体情報に基づいて参加者の発言の有無を判定する発言判定部は、このようなものに限らない。例えば、画像情報に基づいて手話による発言の有無を判定してもよい。

上記実施形態では、画像情報に基づいて参加者Ｐａ～Ｐｄの表情から個人感情ｅａ～ｅｄを推定する例を説明したが、生体情報に基づいて参加者の感情を推定する感情推定部は、このようなものに限らない。例えば、表情に加えて動作に基づいて個人感情を推定してもよい。画像情報に代えて、あるいは画像情報に加えて、参加者ごとの心拍数や顔面温度、音声情報などの生体情報を利用して個人感情を推定してもよい。また、個人感情を感情の輪によって分類されたパターンに当てはめて数値化するようにしたが、他の分類された感情のパターンに当てはめて数値化するようにしてもよい。

上記実施形態では、参加者Ｐａ～Ｐｄの発言の頻度ｆまたは個人感情ｅａ～ｅｄに基づいて活性度ａを算出する例を説明したが、会議における議論の活性化の程度を表す活性度を算出する活性度算出部は、このようなものに限らない。例えば、会議の音声情報に基づいて特定のキーワードを検出し、議論の進行の度合いや雰囲気などを推定することで活性度を算出してもよい。

上記実施形態では、図１０などで参加者Ｐａ～Ｐｄの個人感情ｅａ～ｅｄが正の感情であるか負の感情であるかを判定する例を説明したが、個人感情が予め設定された複数の種類の感情のいずれに属するかを推定する個人感情推定部は、このようなものに限らない。例えば、８つの基本感情など、３つ以上の感情に分類してもよい。この場合は、個人感情が概ね一致しているか否かを判定するための所定割合は、７０％より低い割合（例えば、６０％）とする。

会議の進行を管理するファシリテータを支援する会議支援方法に関し、会議の参加者の生体情報を取得し、取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度を算出し、ファシリテータからの活性度の参照要求を受け付け、参照要求が受け付けられると、その後の所定期間内に算出された活性度に基づいて、活性度の変化を表す活性度情報を出力するのであれば、他の構成はいかなるものでもよい。

会議の進行を管理するファシリテータを支援する会議支援プログラムに関し、会議の参加者の生体情報を取得する情報取得ステップＳ１と、情報取得ステップＳ１で取得された生体情報に基づいて、会議における議論の活性化の程度を表す活性度を算出する活性度算出ステップＳ７と、ファシリテータが参加者に発言を促す介入のタイミングを認識する介入認識ステップＳ８と、介入認識ステップＳ８で介入のタイミングが認識されると、その後の所定期間内に活性度算出ステップＳ７で算出された活性度に基づいて、活性度の変化を表す活性度情報を出力する活性度情報出力ステップＳ９～Ｓ１０と、を含むのであれば、サーバ２０の演算部２１で実行される処理は図９に示したものに限らない。したがって、これらの手順をコンピュータに実行させる会議支援プログラムの構成も上述したものに限らない。上記実施形態では、会議支援プログラムをサーバ２０の記憶部２２内に格納したが、フラッシュメモリ等の外部記憶媒体に格納してもよい。通信ネットワーク３０を介して会議支援プログラムを取得することもできる。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１０（１０ａ～１０ｄ，１０ｆ） 端末装置、１１ 演算部、１２ 記憶部、１３ マイク、１４ カメラ、１５ 入力部、１６ スピーカ、１７ 表示部、２０ サーバ、２１ 演算部、２２ 記憶部、２３ 情報取得部、２４ 発言判定部、２５ 個人感情推定部、２６ 全体感情推定部、２７ 活性度算出部、２８ 介入認識部、２９ 出力部、３０ 通信ネットワーク、１００ 会議支援システム

Claims (7)

1. 会議の進行を管理するファシリテータを支援する会議支援装置であって、
   前記会議の参加者の生体情報と前記ファシリテータからの指令の情報とを取得する情報取得部と、
   前記情報取得部により取得された生体情報に基づいて、前記会議における議論の活性化の程度を表す活性度を算出する活性度算出部と、
   前記情報取得部により取得された前記ファシリテータからの指令の情報に基づいて、前記ファシリテータが前記参加者に発言を促した介入のタイミングを認識する介入認識部と、
   前記介入認識部により前記介入のタイミングが認識されると、その後の所定期間内に前記活性度算出部により算出された前記活性度に基づいて、前記活性度の変化を表す活性度情報を出力する出力部と、を備えることを特徴とする会議支援装置。
2. 請求項１に記載の会議支援装置において、
   前記介入認識部は、前記ファシリテータが介入するときの音声入力に基づいて前記介入のタイミングを認識することを特徴とする会議支援装置。
3. 請求項１に記載の会議支援装置において、
   前記介入認識部は、前記ファシリテータからの操作入力に基づいて前記介入のタイミングを認識することを特徴とする会議支援装置。
4. 請求項１～３のいずれか１項に記載の会議支援装置において、
   前記情報取得部は、前記参加者の生体情報として音声情報を取得し、
   前記活性度算出部は、前記情報取得部により取得された音声情報に基づいて前記参加者による発言の頻度を算出し、算出された前記発言の頻度に基づいて前記活性度を算出することを特徴とする会議支援装置。
5. 請求項１～４のいずれか１項に記載の会議支援装置において、
   前記情報取得部は、前記参加者の生体情報として画像情報を取得し、
   前記活性度算出部は、前記情報取得部により取得された画像情報に基づいて前記参加者の感情を推定し、推定された前記参加者の感情に基づいて前記活性度を算出することを特徴とする会議支援装置。
6. 会議の進行を管理するファシリテータを支援する会議支援方法であって、
   前記会議の参加者の生体情報と前記ファシリテータからの指令の情報とを取得する情報取得ステップと、
   前記情報取得ステップで取得された生体情報に基づいて、前記会議における議論の活性化の程度を表す活性度を算出する活性度算出ステップと、
   前記情報取得ステップで取得された前記ファシリテータからの指令の情報に基づいて、前記ファシリテータが前記参加者に発言を促した介入のタイミングを認識する介入認識ステップと、
   前記介入認識ステップで前記介入のタイミングが認識されると、その後の所定期間内に前記活性度算出ステップで算出された前記活性度に基づいて、前記活性度の変化を表す活性度情報を出力する出力ステップと、をコンピュータにより実行することを含むことを特徴とする会議支援方法。
7. 会議の進行を管理するファシリテータを支援する会議支援プログラムであって、
   前記会議の参加者の生体情報と前記ファシリテータからの指令の情報とを取得する情報取得ステップと、
   前記情報取得ステップで取得された生体情報に基づいて、前記会議における議論の活性化の程度を表す活性度を算出する活性度算出ステップと、
   前記情報取得ステップで取得された前記ファシリテータからの指令の情報に基づいて、前記ファシリテータが前記参加者に発言を促した介入のタイミングを認識する介入認識ステップと、
   前記介入認識ステップで前記介入のタイミングが認識されると、その後の所定期間内に前記活性度算出ステップで算出された前記活性度に基づいて、前記活性度の変化を表す活性度情報を出力する出力ステップと、をコンピュータに実行させるための会議支援プログラム。

Images