以下、本開示の実施の形態について、図面を参照しながら説明する。
なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施形態1)
以下、実施形態1に係る情報処理システム及び情報処理装置、並びにこれらによって行われる情報処理方法について、図面を参照しながら説明する。なお、本実施形態では、情報処理システム、情報処理装置および情報処理方法が会議支援に適用される例を説明する。以下、情報処理システムを会議支援システムと、情報処理方法を会議支援方法とも称する。
0.概要
本実施形態に係る会議支援システムの概要について、図1を参照して説明する。図1は、本システムの概要を説明するための図である。
本実施形態に係る会議支援システムは、図1に示すように、複数のユーザ200,201,202が参加する会議において用いられる。本開示において、「会議」は、複数人の間で会話が為される集まりをいい、ブレインストーミング、企画会議および商品モニタ会議など種々の会議を含む。また、本システムが適用される会議は、ビジネス目的の会議に限らず、例えば座談会などであってもよい。
本システムは、各ユーザ200,201,202の会議における振る舞いなどの状態を各種センサ装置によって検知する。例えば、椅子204の座面に設置された体圧センサによりユーザ200〜202の体圧、体動等の動きを検知したり、マイクを用いて会議中の発話音声を取得したりする(図2参照)。
本実施形態では、ローカルサーバ310が、各種検知結果のセンサデータの情報解析を行い、特定の情報を抽出する。情報解析によって得られた情報は、例えばプロジェクタなどの表示装置315により、テーブル205上などの表示面206に、ユーザ200〜202に提示される提示情報207として表示される。提示情報207は、会議中に提示されてもよいし、会議後に提示されてもよい。また、会議後のログ解析などにおいて、会議に参加していないユーザに提示情報が提示されてもよい。
複数人の間で会話が為される会議においては、参加するユーザ200〜202の全員が同調したり、同調しているユーザが一部に偏っていたりすることがある。本実施形態に係る会議支援システムでは、会議中に同調し得るユーザの集まり(ユーザ集合)に応じて、会議中に同調しているユーザに関する情報を抽出する。以下、本実施形態に係る会議支援システムの構成について、説明する。
1.構成
1−1.システム構成
本実施形態に係る会議支援システムの全体構成を、図1,2を参照して説明する。図2は、本システムの全体構成を示す図である。
本実施形態に係る会議支援システムは、図2に示すように、複数のマイク300〜302と、複数の体圧センサ303〜305と、ローカルサーバ310と、表示装置315とを備える。
本実施形態では一例として、本システムが、三人のユーザ200,201,202による会議で用いられる例を説明する(図1参照)。本実施形態における各マイク300,301,302、及び各体圧センサ303,304,305は、それぞれ一人のユーザ200,201,202の状態を検知する。ユーザの状態は、発話、動きまたは姿勢などの状態である。マイク300〜302及び体圧センサ303〜305は、それぞれ本システムにおけるセンサ装置の一例である。各種センサ装置300〜305の構成の詳細については後述する。
ローカルサーバ310は、本システムにおいて各種センサ装置300〜305から受信するセンサデータに基づき情報処理を行う情報処理装置の一例である。ローカルサーバ310は、例えばLANなどのネットワークを介してセンサ装置300〜305及び表示装置315に通信接続し、各種データ通信を行う。ローカルサーバ310の構成の詳細については後述する。
表示装置315は、例えばプロジェクタで構成され、外部の表示面206に画像を投影することによって、情報を表示する。表示装置315はプロジェクタに限らず、例えば液晶ディスプレイ、有機ELディスプレイなどの表示面を有する表示デバイスで構成されてもよい。表示装置315は、例えば通信機能を有し、LANなどのネットワークを介してローカルサーバ310に通信接続されている。表示装置315は、ローカルサーバ310から受信した情報を表示する情報提示装置の一例である。
1−2.センサ構成
本システムにおける各種センサ装置300〜305の構成の詳細について、図3,4を参照して説明する。
1−2−1.マイクの構成
図3は、本システムにおけるマイク300の構成を示す図である。本実施形態において、複数のマイク300〜302は、それぞれ同様に構成される。
マイク300は、図3に示すように、マイク制御部400と、収音回路401と、通信回路402とを備える。マイク制御部400は、CPU410と、メモリ420とを備える。マイク300において、収音回路401、通信回路402、CPU410及びメモリ420は、信号線430を介して互いに接続されている。
収音回路401は、マイク300の外部の音声を収音する。収音回路401は、収音結果を示す音声信号を生成し、生成した音声信号をマイク制御部400に出力する。
通信回路402は、無線または有線の通信回線を介して、所定の通信規格に従うデータ通信を行うインタフェース回路である。所定の通信規格には、IEEE802.3、IEEE802.11a/11b/11g/11ac、IEEE1395、USB、HDMI(登録商標)、WiFi、Bluetooth(登録商標)、等が含まれる。
マイク制御部400は、マイク300の全体動作を制御する。マイク制御部400において、CPU410は、例えばソフトウェアと協働して所定の機能を実現する。
メモリ420は、例えばフラッシュメモリで構成される。メモリ420は、マイク300の機能を実現するために必要なプログラム442及びデータを記憶する。例えば、メモリ420は、複数のマイク300〜302の識別番号である機器ID441を記憶する。
マイク制御部400は、メモリ420に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、マイク制御部400は、収音回路401からの音声信号に基づく信号処理を行って、マイク300による音声の検知結果を示す音声データを生成する。マイク制御部400は、機器ID441と共に生成した音声データを、通信回路402を介してローカルサーバ310等に送信する。
マイク制御部400は、所定の機能を実現するように設計された専用の電子回路または再構成可能な電子回路などのハードウェア回路であってもよい。マイク制御部400は、CPU、MPU、マイコン、DSP、FPGA、ASIC等の種々の半導体集積回路で構成されてもよい。
1−2−2.体圧センサの構成
図4は、本システムにおける体圧センサ303の構成を示す図である。本実施形態において、複数の体圧センサ303〜305は、それぞれ同様に構成される。
体圧センサ303は、図4に示すように、センサ制御部500と、体圧検知回路501と、通信回路502とを備える。センサ制御部500は、CPU510と、メモリ520とを備える。体圧センサ303において、体圧検知回路501、通信回路502、CPU510及びメモリ520は、信号線530を介して互いに接続されている。
体圧検知回路501は、体圧センサ303にかかる圧力、或いは荷重を検知する。体圧検知回路501は、圧力などの検知結果を示すセンサ信号を生成し、生成したセンサ信号をセンサ制御部500に出力する。
通信回路502は、無線または有線の通信回線を介して、所定の通信規格に従うデータ通信を行うインタフェース回路である。所定の通信規格には、IEEE802.3、IEEE802.11a/11b/11g/11ac、IEEE1395、USB、HDMI、WiFi、Bluetooth、等が含まれる。
センサ制御部500は、体圧センサ303の全体動作を制御する。センサ制御部500において、CPU510は、例えばソフトウェアと協働して所定の機能を実現する。
メモリ520は、例えばフラッシュメモリで構成される。メモリ520は、体圧センサ303の機能を実現するために必要なプログラム542及びデータを記憶する。例えば、メモリ520は、複数の体圧センサ303〜305の識別番号である機器ID541を記憶する。
センサ制御部500は、メモリ520に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、センサ制御部500は、体圧検知回路501からのセンサ信号に基づく信号処理を行って、体圧センサ303が設置された座面上のx、y座標それぞれにおける体圧の検知結果を示すセンサデータを生成する。センサ制御部500は、機器ID541と共に生成したセンサデータを、通信回路502を介してローカルサーバ310等に送信する。
センサ制御部500は、所定の機能を実現するように設計された専用の電子回路または再構成可能な電子回路などのハードウェア回路であってもよい。センサ制御部500は、CPU、MPU、マイコン、DSP、FPGA、ASIC等の種々の半導体集積回路で構成されてもよい。
1−3.サーバ構成
本システムにおけるローカルサーバ310の構成の詳細について、図5,6を参照して説明する。図5は、本システムにおけるローカルサーバ310の構成を示す図である。図6は、ローカルサーバ310の機能を示す機能ブロック図である。
ローカルサーバ310は、例えばPCなどの情報処理装置で構成される。ローカルサーバ310は、図5に示すように、通信回路650と、サーバ制御部670と、データ格納部680とを備える。サーバ制御部670は、CPU630と、メモリ640とを備える。ローカルサーバ310において、通信回路650、CPU630、メモリ640及びデータ格納部680は、バス660を介して互いに接続されている。
通信回路650は、無線または有線の通信回線を介して、所定の通信規格に従うデータ通信を行うインタフェース回路である。所定の通信規格には、IEEE802.3、IEEE802.11a/11b/11g/11ac、IEEE1395、USB、HDMI、WiFi、Bluetooth、等が含まれる。通信回路650は、データ通信によりマイク300〜302による音声データ及び体圧センサ303〜305によるセンサデータを取得する取得部の一例である。
サーバ制御部670は、ローカルサーバ310の全体動作を制御する。サーバ制御部670において、CPU630は、例えばソフトウェアと協働して所定の機能を実現する。
メモリ640は、例えばフラッシュメモリ、或いはSRAM,DRAM等で構成される。メモリ640は、ローカルサーバ310の記憶部の一例である。メモリ640は、ローカルサーバ310の機能を実現するために必要なプログラム642及びデータを記憶する。例えば、メモリ640は、マイク300〜302による音声データ及び体圧センサ303〜305によるセンサデータを一時的に記憶(保持)する。メモリ640は、サーバ制御部670の作業エリアとして機能してもよい。
データ格納部680は、例えばハードディスク(HDD)または半導体記憶装置(SSD)で構成される。データ格納部680は、ローカルサーバ310の記憶部の一例である。データ格納部680は、例えば概念辞書データベース682及び同調度情報データベース684を格納する(以下、データベースを「DB」と略記する)。概念辞書DB682は、複数のキーワード及びその上位概念を管理するデータベースである。同調度情報DB684は、ユーザ同士の同調に基づく同調度と同調時の話題に関するキーワードとを関連付けて管理するデータベースである。概念辞書DB682及び同調度情報DB684の詳細については後述する。
サーバ制御部670は、データ格納部680及びメモリ640などの記憶部に格納されたデータ及びプログラム642を読み出して種々の演算処理を行い、各種の機能を実現する。例えば、サーバ制御部670は、通信回路650を介して機器ID441,541と共に音声データ或いはセンサデータを受信すると、機器ID441,541に基づき、送信元のマイク300〜302或いは体圧センサ303〜305を識別する。
また、サーバ制御部670は、本開示に係る会議支援方法を実現するための情報処理(プログラム642)を実行する。例えば、サーバ制御部670は、図6に示すように、同調現象検出部910、同調度算出部920、表示生成部930、キーワード抽出部940、同調度情報登録部950及び関連キーワード選出部960の各部の機能を実現する。上記の各部の機能については後述する。なお、図6において、通信部900は、通信回路650の機能を示している。
なお、サーバ制御部670は、所定の機能を実現するように設計された専用の電子回路または再構成可能な電子回路などのハードウェア回路であってもよい。サーバ制御部670は、CPU、MPU、マイコン、DSP、FPGA、ASIC等の種々の半導体集積回路で構成されてもよい。
以上の説明では、ローカルサーバ310で構成される情報処理装置の一例を説明した。本開示に係る情報処理装置はこれに限定されず、種々の装置構成を有してもよい。例えば、情報処理装置は、ASPサーバなどの一つ又は複数のサーバ装置であってもよい。例えば、情報処理装置は、インターネット等を介して入力された各種センサデータ(音声データを含む)を通信回路650により取得して、会議支援方法を実現するための情報処理を実行してもよい。また、情報処理装置は、上記の情報処理結果による情報(提示情報あるいは同調度情報)を、インターネット等を介して表示装置315等に送信してもよい。また、コンピュータクラスタ或いはクラウドコンピューティングなどにおいて、本開示に係る会議支援方法を実現するための情報処理が実行されてもよい。情報処理装置は、サービスプロバイダ、データセンタ運営会社、機器メーカ、管理会社などで適宜、管理されてもよい。
2.動作
以下、本実施形態に係る会議支援方法を実現する会議支援システムの動作について説明する。
2−1.動作の概要
本実施形態に係る会議支援システムの動作の概要について、図7を参照して説明する。図7は、本システムにおける同調現象の検出例を示す図である。
図7のa,bは、それぞれユーザ200,201の体圧センサ303,304によるセンサデータの一例を示す。図7のc,dは、それぞれユーザ200,201のマイク300,301による音声データの一例を示す。図7のeは、図7のa〜dの各種センサデータ(音声データを含む)に基づく同調現象の検出タイミングの一例を示す。
本システムにおいて、各ユーザ200〜202のマイク300〜302及び体圧センサ303〜305は、会議中に随時、音声及び体圧を検知して、図7のa〜dに示すように、検知結果を示す各種センサデータを生成する。
図7の例では、期間T1において、ユーザ200及びユーザ201の双方の動きが同時に検知されている(図7のa,b)。このような場合、例えば、相づちまたはうなずき、他者の行動を反射的になぞるような行為が生じている状況が考えられる。また、期間T2には、ユーザ200の動きとユーザ201の発話とが同時に検知されている(図7のa,d)。期間T3には、ユーザ200及びユーザ201の双方の発話が同時に検知されている(図7のc,d)。例えば、発話に相づちしたり、感嘆あるいは反応したりする状況が考えられる。
期間T1,T2,T3のように、複数のユーザ200,201の音声または体動が同時期に生じている現象は、ユーザ同士が同調していることの表れであると考えられる。そこで、本実施形態では、マイク300〜302及び体圧センサ303〜305による各種センサデータに基づく情報処理をローカルサーバ310で行うことにより、ユーザ同士が同調している同調現象を検出する。
また、実際の会議においては、会議に参加するユーザ全員が同調したり、一部のユーザの同調による局所的な盛り上がりが生じたりすることが想定される。そこで、本実施形態では、ユーザ全員又は一部を含むグループ(ユーザ集合)毎に、同調している度合い(同調度)を算出し、同調しているユーザ集合を特定する。これにより、会議中の局所的な盛り上がりなどに応じて、種々の情報提示を行うことができる。以下、本システムの動作の詳細を説明する。
2−2.ローカルサーバの全体動作
本システムにおけるローカルサーバ310の全体動作について、図6,7を参照して説明する。
本システムにおいて、ローカルサーバ310は、随時、通信部900を介して各ユーザ200〜202のマイク300〜302及び各体圧センサ303〜305からそれぞれの検知結果を示すセンサデータを取得する。ローカルサーバ310は、逐次、取得した各種センサデータをメモリ640等に保持する。
ローカルサーバ310のサーバ制御部670は、まず、同調現象検出部910として機能し、保持したセンサデータに基づいてユーザ間の同調現象の検出を行う。同調現象の検出処理は、例えば1秒毎に過去5秒間のセンサデータを対象とするなど、所定の周期で繰り返し実行される。同調現象の検出処理については後述する。
同調現象が検出されたとき、サーバ制御部670は、同調度算出部920として機能し、ユーザ集合毎の同調度を算出する。ユーザ集合は、複数のユーザ200〜202の一部又は全員によるグループである。同調度は、ユーザ集合に含まれるユーザ同士が同調する度合いを示す。同調度の算出処理の詳細については後述する。
同調度の算出結果に基づいて、サーバ制御部670は、例えば、最大の同調度を有するユーザ集合を特定する。サーバ制御部670は、表示生成部930として機能し、特定したユーザ集合及び算出した同調度などをユーザ200〜202等に提示するための提示情報を表示装置315に表示させる。
また、サーバ制御部670は、キーワード抽出部940、同調度情報登録部950、関連キーワード選出部960、及び表示生成部930として機能し、関連情報表示処理を行う。関連情報表示処理は、同調しているユーザ集合に応じて、同調時の話題に関連する提示情報(関連情報)を表示装置315に表示させる処理である。関連情報表示処理の詳細については後述する。
以上のローカルサーバ310の動作によると、各種センサデータに基づいて同調現象を検出したり、同調度を算出したりすることにより、会議の状況を把握するために有益な情報を取得し、ユーザ200〜202による会議を支援することができる。以下、ローカルサーバ310の各種処理について、それぞれ説明する。
2−3.同調現象の検出処理について
ローカルサーバ310による同調現象の検出処理の詳細について、図8を用いて説明する。図8は、同調現象の検出処理を示すフローチャートである。
図8のフローチャートによる処理は、同調現象検出部910として機能するサーバ制御部670によって実行される。
図8のフローチャートは、ユーザ200〜202全員分のマイク300〜302及び体圧センサ303〜305(図2参照)から受信した各種センサデータが、検出対象期間以上の期間分、メモリ640に保持された状態において開始される。検出対象期間は、同調現象の検出対象とする期間であり、例えば過去5秒間などに設定される。本フローチャートによる処理は、所定の周期(例えば1秒)で繰り返し行われる。
まず、サーバ制御部670は、ユーザ200〜202全員分のマイク300〜302による音声データに基づいて、検出対象期間の範囲内で、ユーザ200〜202毎に音声区間を検出する(S1)。音声区間は、発話などによる音声が生じている時間区間である。
また、サーバ制御部670は、ユーザ200〜202全員分の体圧センサ303〜305によるセンサデータに基づいて、上記の検出対象期間中の各ユーザ200〜202の動き量を検出する(S2)。なお、ステップS1,S2の処理の順序は特に限定されず、例えば、ステップS1,S2の処理は並列に実行されてもよい。
次に、サーバ制御部670は、音声区間の検出結果に基づいて、検出対象期間中に複数人分の音声区間が検出されたか否かを判断する(S3)。例えば、図7の例において、期間T3はユーザ200,201の二人分の音声区間として検出され(図7のc,d)、サーバ制御部670は、ステップS3で「Yes」に進む。一方、期間T2は、一人のユーザ201の一人分の音声区間として検出され(図7のd)、サーバ制御部670は、ステップS3で「No」に進む。
サーバ制御部670は、複数人分の音声区間が検出されたと判断した場合(S3でYes)、同調現象フラグを「ON」の状態に有効化する(S6)。同調現象フラグは、同調現象が検出されたか否かを示すフラグであり、例えば予め「OFF」の状態でメモリ640に格納されている。本実施形態では、同調現象フラグが「ON」の状態は同調現象が検出された状態を示し、同調現象フラグが「OFF」の状態は同調現象が検出されていない状態を示すこととする。
一方、複数人分の音声区間が検出されなかったと判断した場合(S3でNo)、サーバ制御部670は、検出対象期間中に複数人の動き量が所定のしきい値を超えたか否かを判断する(S4)。しきい値は、同調しているユーザの動きの基準を示すしきい値であり、例えば相づち、うなずき等を行う際の動き量を考慮して設定される。
例えば、図7の例では期間T1において、二人のユーザ200,201の動き量がしきい値を超えることにより(図7のa,b)、サーバ制御部670は、ステップS4で「Yes」に進む。一方、期間T2では、一人のユーザ200の動き量のみが検出され(図7のa)、サーバ制御部670は、ステップS4で「No」に進む。
サーバ制御部670は、複数人の動き量がしきい値を超えたと判断した場合(S4でYes)、同調現象フラグを「ON」にする(S6)。
一方、複数人の動き量がしきい値を超えなかったと判断した場合(S4でNo)、サーバ制御部670は、検出対象期間中に、一人分の音声区間が検出されて、且つ音声区間が検出されたユーザとは別人の動き量がしきい値を超えたか否かを判断する(S5)。例えば、図7の例において期間T2には、ユーザ200一人分の音声区間が検出されると共に別のユーザ201の動き量が検出され(図7のa,d)、サーバ制御部670は、ステップS5で「Yes」に進む。
サーバ制御部670は、一人分の音声区間が検出されて、且つ別人の動き量がしきい値を超えたと判断した場合(S5でYes)、同調現象フラグを「ON」にする(S6)。サーバ制御部670は、ステップS6において同調現象フラグを「ON」にすることにより、本フローチャートによる処理を終了する。
一方、一人分の音声区間が検出されて且つ別人の動き量がしきい値を超えてはいないと判断した場合(S5でNo)、ステップS6の処理を行うことなく、本フローチャートによる処理を終了する。ステップS5において、サーバ制御部670は、検出対象期間中に誰の分の音声区間も検出されなかったり、誰の動き量もしきい値を超えなかったり、ユーザ一人分の音声区間の検出と共に同一ユーザの動き量のみがしきい値を超えたりしたときには、「No」に進む。
以上の処理によると、検出対象の会議などにおいて各種センサ装置300〜305が随時、検知するセンサデータに基づいて、ユーザ200〜201間の同調現象をリアルタイムで検出することができる。
以上の処理において、各ステップの順序は特に限定されず、上記の説明から適宜変更されてもよい。例えばステップS3,S4,S5の処理は適宜、順序を入れ替えてもよい。また、各ステップS3,S4,S5において、サーバ制御部670は、検出対象の音声区間或いは動き量が、一人分以上、或いは二人分以上あるか否かを判断してもよい。
2−4.同調度の算出処理について
ローカルサーバ310による同調度の算出処理の詳細について、図9を用いて説明する。図9は、同調度の算出処理を示すフローチャートである。
本フローチャートは、例えば同調現象の検出処理において同調現象フラグが「ON」にされたときに開始される(図8のS6参照)。本フローチャートによる処理は、同調度算出部920として機能するサーバ制御部670によって実行される。
まず、サーバ制御部670は、例えば同調度の検出対象期間分の各マイク300〜302による音声データから、ユーザ200〜202の全員分の音声特徴量を抽出する(S11)。音声特徴量は、例えばユーザが発話する時間区間(発話区間)の長さを表す特徴量である。音声特徴量は、発話の音量、周波数帯などに基づく特徴量であってもよい。
また、サーバ制御部670は、例えば検出対象期間分の各体圧センサ303〜305によるセンサデータから、ユーザ200〜202の全員分の動き特徴量を抽出する(S12)。動き特徴量は、例えば、ユーザの重心位置などに基づき、前のめりになったり、うなずいたり、相づちをしたりする所定の動きを表す特徴量である。
次に、サーバ制御部670は、ユーザ200〜202の一部又は全員によるユーザ集合を選択する(S13)。サーバ制御部670は、ユーザ全員を含む全体集合の部分集合の内の、少なくとも二人のユーザを含む部分集合の全てを選択肢として、一つのユーザ集合を選択する。選択肢とする部分集合を示す情報は、例えば予めメモリ640に格納されている。
次に、サーバ制御部670は、選択したユーザ集合に関して、ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出する(S14)。サーバ制御部670は、例えば次式(1)に基づく演算処理を行って同調度を算出する。
上式(1)において、Sは同調度であり、Nは選択したユーザ集合が含むユーザの人数であり、Tは検出対象期間の長さであり、Cm,Cvは所定の重みを示す係数であり、viは選択したユーザ集合中のi番目のユーザの発話区間の長さである。また、yi max及びyi minは、次式(2),(3)によって規定される。
上式(2),(3)において、max[]及びmin[]はそれぞれ検出対象期間T中の最大値及び最小値を示す。wi(t)は、時刻tにおけるi番目のユーザの重心のy座標を示し、例えば0〜1の値となるように正規化されている。ここで、y座標は、例えば椅子204(図1参照)の座面上で背もたれを後方とする前後方向の座標である。
式(2),(3)によると、式(1)におけるyi max及びyi minは、それぞれi番目のユーザの重心y座標の最大値及び最小値を表し、ユーザが椅子204に座った状態で前のめりになったり仰け反ったりする動きに対応している。式(1)によると、選択したユーザ集合におけるユーザが、検出対象期間T中に、長い発話を行ったり(vi)、大きな振幅で前のめりになったりすると(yi max,yi min)、当該ユーザ集合の同調度Sが大きくなるように算出される。
次に、サーバ制御部670は、全てのユーザ集合の同調度を算出したか否かを判断する(S15)。サーバ制御部670は、全てのユーザ集合の同調度を算出していない場合(ステップS15でNo)、ステップS13に戻り、未選択のユーザ集合を新たに選択する。サーバ制御部670は、ステップS13以降の処理を繰り返し実行し、全てのユーザ集合の同調度を算出する。ユーザ集合毎に算出された同調度は、メモリ640等に一時的に記録される。
サーバ制御部670は、全てのユーザ集合の同調度を算出すると(ステップS15でYes)、算出した同調度の中で最大の最大同調度を特定する(S16)。
次に、サーバ制御部670は、最大同調度を有するユーザ集合を特定する(S17)。ステップS17の処理の後、サーバ制御部670は、例えば同調現象フラグ(図8参照)を「OFF」に戻して、本フローチャートによる処理を終了する。
以上の処理によると、同調現象が検出されたときに、予め想定される各ユーザ集合の同調度が算出され、同調していると考えられるユーザ集合を特定することができる。
以上の処理において、同調度の算出は、式(1),(2)に限らず、種々の演算式を用いてもよい。例えば、各センサデータが所定レベル以上である期間の重なりを評価したり、相づち、うなずきの頻度を評価したり、発話音声の高さ、大きさ等により会話の盛り上がりを評価するような演算式が用いられてもよい。
以上の説明では、センサデータ中で本処理の対象とする期間が同調度の検出対象期間である例について説明したが、これに限らず、例えば、検出対象期間中で同調現象が起きている期間を抽出して、本処理の対象の期間としてもよい。
また以上の説明では、同調現象の検出結果に基づいて、複数ユーザの一部又は全てを含むユーザ集合毎に同調度を算出する例について説明したが、これに限らず、例えば、すべてのユーザ集合の同調度を常時算出し、あるユーザ集合の同調度が特定の閾値を超えた期間を同調現象が起きている期間としてもよい。これにより、同調度の算出処理を行う前の同調現象の検出処理(図9)を省略できる。
2−5.表示動作について
以上の同調度の算出処理による算出結果に基づいて、ローカルサーバ310のサーバ制御部670は、表示生成部930として各種提示情報を生成し、表示装置315に表示させる。提示情報の表示例について、図10,11,12を用いて説明する。
図10は、第1及び第2の時刻の表示装置315による提示情報の第1の表示例である。ローカルサーバ310は、例えば、会議中にリアルタイムに、同調度の算出結果を示す提示情報を表示装置315に表示させる。図10に例示する表示例では、ユーザ集合を示す「グループ名」と、算出結果の「同調度」とを示すリストが表示されている。また、本表示例では、一例として最大同調度、及び最大同調度を有するユーザ集合のグループ名が強調表示されている。
図10のfでは、第1の時刻における同調度の算出結果が表示されており、図10のgでは、第1の時刻後の第2の時刻における同調度の算出結果が表示されている。サーバ制御部670は、例えば同調度の算出処理(図9)において同調度を算出する毎に、表示装置315に表示させる同調度を更新する。これにより、会議中のユーザ200〜202にリアルタイムに同調度に関する提示情報を提示できる。
図11は、表示装置315による提示情報の第2の表示例を示す。本表示例においては、ユーザ集合毎の同調度を時刻毎にプロットしたグラフが表示されている。本表示例は、会議中にリアルタイムに更新しながら表示されてもよいし、会議後にまとめて表示されてもよい。例えば、サーバ制御部670は、各々のユーザ集合について算出した同調度を時刻毎にメモリ640等に蓄積し、ユーザの指示等に基づき、図11の例のような提示情報を表示装置315に表示させる。このような提示情報によると、会議における同調度の時間変化を確認でき、会議の支援を行える。
図12は、表示装置315による提示情報の第3の表示例を示す。以上のような同調度の算出結果を示す提示情報に加えて、又はこれに代えて、本実施形態では、同調していると特定されたユーザ集合に応じて、ユーザ集合が同調している話題に関連する関連情報(提示情報の一例)を表示装置315から表示する。
図12では、三人のユーザ200,201,202によるユーザ集合が同調した場合の関連情報2201と、二人のユーザ200,202によるユーザ集合が同調した場合の関連情報2202とを示している。関連情報2201は関連キーワードK1を含み、関連情報2202は関連キーワードK2を含む。各関連キーワードK1,K2は、それぞれのユーザ集合が同調した話題と共通のジャンルに属するなど、同調した話題に関連するキーワードである。関連キーワードK1,K2を含む関連情報2201,2202を表示することにより、会議における発想の支援を行うことができる。なお、関連情報には、複数のユーザによる会話の中で発話された単語または語句自体も含まれ得る。
また、本実施形態では、図12に例示するように、ユーザ集合の座席に応じて、関連情報2201,2202の表示位置を変化させる。例えば、三人のユーザ200,201,202に対する関連情報2201は、円卓状のテーブル205を囲んでいる三人の座席に応じて、テーブル205の中心位置近傍に表示される。また、二人のユーザ200,202に対する関連情報2202は、二人の座席を結ぶ直線状の中心付近に表示される。これにより、対象のユーザ集合中の各ユーザにとって、関連情報を見やすくすることができる。以上のような関連情報の表示を行うためにローカルサーバ310が実行する処理(関連情報表示処理)について、以下説明する。
2−6.関連情報表示処理
本実施形態に係る関連情報表示処理について、図13を参照して説明する。図13は、ローカルサーバ310による関連情報表示処理を示すフローチャートである。
本フローチャートは、例えば同調度の算出処理(図9)の実行後に開始される。本フローチャートによる処理は、サーバ制御部670によって実行される。
まず、サーバ制御部670はキーワード抽出部940(図6)として機能し、同調現象が生じたときの話題に関するキーワードの抽出を行う(S21)。サーバ制御部670は、例えばキーワードスポッティング法により、同調現象が検出されたときの音声データからキーワードを抽出する。キーワードの抽出処理の詳細については後述する。
次に、サーバ制御部670は同調度情報登録部950(図6)として機能し、同調度情報DB684に、同調度情報の登録を行う(S22)。同調度情報は、会議中に時々刻々と変動する同調度に関する情報であり、例えば最大同調度、最大同調度を有するユーザ集合、及び抽出したキーワードを含む。同調度情報の登録処理の詳細については後述する。
次に、サーバ制御部670は関連キーワード選出部960(図6)として機能し、抽出したキーワードに関連する関連キーワードの選出を行う(S23)。本処理は、概念辞書DB682を用いて行われる。概念辞書DB682について、図14を用いて説明する。
図14は、ローカルサーバにおける概念辞書DB682を例示する図である。概念辞書DB682は、図14に例示するように、「キーワード」と「上位概念」とを関連付けている。「上位概念」は、例えば複数のキーワードを包含する概念である。図14の例の概念辞書DB682においては、「野球」、「テニス」、「サッカー」及び「相撲」といった複数のキーワードが、これらのジャンルに対応する「スポーツ」という上位概念に関連付けられている。また、他の上位概念「映画」及び「小説」等に関しても、それぞれ上位概念に属するキーワード(映画A,映画B,小説C)が登録されている。
図13に戻り、ステップS23における関連キーワードの選出処理では、概念辞書DB682において、抽出されたキーワードと共通の上位概念に関連付けされた別のキーワードが、関連キーワードとして選出される。関連キーワードの選出処理の詳細については後述する。
次に、サーバ制御部670は、関連キーワードが選出されたか否かを判断する(S24)。サーバ制御部670は、関連キーワードが選出されたと判断すると(S24でYes)、関連キーワードを示す関連情報を表示装置315に表示させる(S25)。この際、サーバ制御部670は、同調度情報に含まれるユーザ集合に基づいて、当該ユーザ集合中の各ユーザの座席位置の中心近傍などに、関連情報の表示位置を設定する。
サーバ制御部670は、関連情報を表示装置315に表示させることにより(S25)、本フローチャートによる処理を終了する。また、関連キーワードが選出されなかった場合には(S24でNo)、サーバ制御部670は、関連情報を特に表示させずに本処理を終了する。
以上の処理によると、同調現象が検出された際に最大同調度を有するユーザ集合の話題を示すキーワードが抽出され、抽出されたキーワードに関連する関連キーワードによる関連情報の情報提示を行うことができる。
以上の処理において、同調時の話題に関するキーワードの抽出後に関連キーワードが選出されたか否か判断することにより(S24)、抽出したキーワードと共通する上位概念が確定したタイミングで即座に関連情報を表示させることができる(S25)。
関連情報の表示タイミングは上記のタイミングに限らず、例えば、共通の上位概念が確定後(S24でYes)、サーバ制御部670が、マイク300〜302の音声データにより無音状態が所定期間以上、継続する無音区間の検知を行い、無音区間が検知されたタイミングにおいて関連情報を表示させてもよい。また、会議の終了予定時刻などの所定時刻を予めメモリ640等に設定しておき、設定された時刻又は当該時刻の所定期間前のタイミングに、関連情報を表示させてもよい。
2−6−1.キーワードの抽出処理
関連情報表示処理(図13)のステップS21におけるキーワードの抽出処理について、図15を用いて説明する。図15は、キーワードの抽出処理(S21)を示すフローチャートである。
図15のフローチャートは、例えば同調度の算出処理(図9)の終了後に開始される。本フローチャートによる処理は、キーワード抽出部940として機能するサーバ制御部670によって実行される。
まず、サーバ制御部670は、例えば同調現象の検出処理(図8)における検出対象期間分の各マイク300〜302による音声データに基づいて音声認識処理を行い、各ユーザの音声を認識する(S31)。
また、サーバ制御部670は、音声認識の対象とした検出対象期間中の音声データから、ユーザ200〜202全員分の音声特徴量を抽出する(S32)。ステップS32において抽出される音声特徴量は、例えばユーザの発話の音量および周波数帯などに基づきユーザ間の会話の盛り上がりを表す特徴量である。
次に、サーバ制御部670は、抽出した音声特徴量に基づいて、検出対象期間の中から、同調現象に応じた話題のキーワードが発話されたことが予想される特定の時間区間を算出する(S33)。本ステップは、例えば、サーバ制御部670が、抽出した音声特徴量に基づいてキーワードが発話された確率を時刻毎に計算し、計算した確率が所定値以上高い時間区間の判定を行うことによって行われる。
次に、サーバ制御部670は、算出した特定の時間区間分の音声認識結果に基づいて、当該時間区間中に発話されたキーワードを抽出する(S34)。例えば、サーバ制御部670は、最大同調度を有するユーザ集合中の一部又は全員の音声データに関して、特定の時間区間分の音声認識によるテキストデータを生成し、キーワードを抽出する。
サーバ制御部670は、ステップS34においてキーワードを抽出することにより、本フローチャートによる処理を終了する。これにより、サーバ制御部670は、図13のフローチャートにおいてステップS22に進む。
以上の処理によると、同調現象が検出された際の会議の議題など、ユーザ間の会話に挙がった話題に対応するキーワードを得ることができる。
以上の処理において、各ステップの順序は特に限定されず、上記の説明から適宜変更されてもよい。例えば、ステップS31の処理とステップS32の処理とが並列に実行されてもよい。
また、ステップS32において抽出される音声特徴量として、例えば同調度の算出処理(図9)のステップS11において抽出された音声特徴量を用いてもよい。この場合、ステップS32の処理は省略されてもよい。
また、ステップS34において、キーワードの抽出を行う際に、例えば、サーバ制御部670が、音声特徴量及び音声認識結果に基づいて、生成したテキストデータ中でキーワードとは想定されない部分を削除したり、一部分をキーワードとして切り出したりしてもよい。
また、以上の説明では、キーワードの抽出処理の対象とする期間が同調現象の検出処理(図8)における検出対象期間と同じである例を説明した。本処理の対象とする期間は、特にこれに限らず、適宜、本処理の実行時から過去の一定期間に設定されてもよい。
2−6−2.同調度情報の登録処理
関連情報表示処理(図13)のステップS22における同調度情報の登録処理について、図16,17を用いて説明する。図16は、同調度情報の登録処理(S22)を示すフローチャートである。
図16のフローチャートによる処理は、同調度情報登録部950として機能するサーバ制御部670によって、同調度情報DB684を用いて実行される。同調度情報DB684について、図17を用いて説明する。
図17は、同調度情報DB684の一例を示す。図17に例示する同調度情報DB684は、「情報名称」と、「キーワード」と、「ユーザ集合」と、「最大同調度」とを関連付けて管理する。「情報名称」は、同調度情報を識別するための名称である。例えば、サーバ制御部670は、本処理の開始時に登録対象となる新たな情報名称を生成する。同調度情報DB684には、過去に登録された同調度情報が、情報名称毎に蓄積される。
以下、同調現象の検出処理において同調現象が検出された際に、同調度の算出処理(図9)において、ユーザ集合「山田、鈴木」に関して最大同調度「0.7」が算出され、キーワードの抽出処理(図15)において、キーワード「野球」が抽出された例について、説明する。
図16のフローチャートにおいて、まず、サーバ制御部670は、同調度情報DB684において、抽出したキーワードを登録する(S41)。図17の例において、サーバ制御部670は、例えば新たな情報名称「アイデア4」を生成し、キーワード「テニス」を情報名称「アイデア4」に関連付けて登録する。
次に、サーバ制御部670は、登録したキーワードに関連付けて、同調度の算出処理(図9)において算出した最大同調度を同調度情報DB684に登録する(S42)。
また、サーバ制御部670は、登録したキーワードに関連付けて、同調度の算出処理において最大同調度の算出対象となったユーザ集合を同調度情報DB684に登録する(S43)。
図17の例において、サーバ制御部670は、キーワード「テニス」に関連付けて、それぞれユーザ集合「山田、鈴木」、及び最大同調度「0.7」を登録する(S42,S43)。
サーバ制御部670は、以上のように抽出したキーワードを含む各種情報を同調度情報DB684に登録することにより、本フローチャートによる処理を終了する。これにより、サーバ制御部670は、図13のフローチャートにおいてステップS23に進む。
以上の処理によると、キーワードが抽出される毎に、対応する同調度情報を同調度情報DB684に蓄積することができる。同調度情報DB684を参照することにより、例えば、特定のユーザ集合が過去に同調した話題に関するキーワードを取得することができる。
以上の処理において、各ステップS41,S42,S43の順序は特に限定されず、上記の説明から適宜変更されてもよい。
また、同調度情報DB684に登録される同調度情報は上記の説明に限らない。例えば、情報名称に代えて、又はこれに加えて、同調現象が検出された時刻などの時刻情報が登録されてもよい。また、同調度情報DB684には、ユーザ集合及び同調度の一方が登録されてもよい。また、最大同調度以下の同調度を有するユーザ集合についても、同調度情報DB684の登録対象としてもよい。
2−6−3.関連キーワードの選出処理
関連情報表示処理(図13)のステップS23における関連キーワードの選出処理について、図18を用いて説明する。図18は、関連キーワードの選出処理(S23)を示すフローチャートである。
図18のフローチャートによる処理は、関連キーワード選出部960として機能するサーバ制御部670によって実行される。
まず、サーバ制御部670は、新たに同調度情報DB684に登録された同調度情報のユーザ集合と同じユーザ集合が、過去の同調度情報において同調度情報DB684に登録されているか否かを判断する(S51)。例えば、図17の同調度情報DB684において、ユーザ集合「山田、鈴木」は、「アイデア4」の同調度情報だけでなく、「アイデア1」の同調度情報にも登録されている。このため、サーバ制御部670は、ステップS51で「Yes」に進む。
サーバ制御部670は、同じユーザ集合が同調度情報DB684に登録されていると判断した場合(S51でYes)、同調度情報DB684に登録された同調度情報に基づいて、当該ユーザ集合に関連付けされたキーワードのリストを生成する(S52)。例えば、ユーザ集合「山田、鈴木」に関して、アイデア1の「テニス」とアイデア4の「野球」とがステップS52においてリストアップされる。
次に、サーバ制御部670は、予め格納された概念辞書DB682を参照して、生成したリストに含まれるキーワードの上位概念を取得する(S53)。例えば、図14の概念辞書DB682において、キーワード「テニス」に関連付けされた上位概念「スポーツ」、及びキーワード「野球」に関連付けされた上位概念「スポーツ」など、リスト中のキーワード毎にそれぞれの上位概念が取得される。
次に、サーバ制御部670は、リスト中のキーワードにおいて、同じ上位概念を有するキーワードの組があるか否かを判断する(S54)。例えば、「テニス」及び「野球」の共通の上位概念「スポーツ」に基づき、サーバ制御部670は、ステップS54で「Yes」に進む。
同じ上位概念のキーワードの組があると判断した場合(S54でYes)、サーバ制御部670は、リスト中のキーワードの組と同じ上位概念を有する別のキーワードが、概念辞書DB682中にあるか否かを判断する(S55)。例えば、図14の概念辞書DB682によると、上位概念「スポーツ」において「テニス」及び「野球」以外に「サッカー」及び「相撲」があることから、サーバ制御部670は、ステップS55で「Yes」に進む。
リスト中のキーワードの組と同じ上位概念を有する別のキーワードが概念辞書DB682中にあると判断した場合(S55でYes)、サーバ制御部670は、概念辞書DB682から別のキーワードを選出する(S56)。上記の例では、上位概念「スポーツ」における別のキーワードとして、2つのキーワード「サッカー」,「相撲」が概念辞書DB682中にある。複数の別のキーワードが概念辞書DB682中にある場合、サーバ制御部670は、例えば登録順などにおいて、複数の別のキーワードの内の一つのキーワード(例えば「サッカー」)を選出する。
サーバ制御部670は、ステップS56の処理を行うことにより、本フローチャートによる処理を終了する。この場合、サーバ制御部670は、関連情報表示処理(図13)のステップS24で「Yes」に進むこととなる。
一方、サーバ制御部670は、リスト中のキーワードの組と同じ上位概念の別のキーワードが概念辞書DB682中にないと判断した場合(S55でNo)、ステップS56の処理を行うことなく、本処理を終了する。この場合、サーバ制御部670は、関連情報表示処理(図13)のステップS24で「No」に進むこととなる。
また、同じユーザ集合が同調度情報DB684に登録されていないと判断した場合(S51でNo)にも同様に、サーバ制御部670はステップS56の処理を行うことなく、本処理を終了する。さらに、リスト中に同じ上位概念を有するキーワードの組がないと判断した場合(S54でNo)も同様に、サーバ制御部670は本処理を終了する。
以上の処理によると、ユーザ集合毎の同調度情報DBの登録状況に応じて、同調したユーザ集合による過去及び現在の話題と共通の上位概念に属する関連キーワードが選出され(S56)、これによって関連キーワードを示す提示情報(関連情報)が表示される(図13のS25)。これにより、ユーザ集合が過去に同調した話題に関連する関連キーワードを示す情報の提案を行うことができる。
以上のステップS54において、同じ上位概念を有するキーワードの組が複数ある場合には、サーバ制御部670は、それぞれの上位概念に関してステップS55の判断を行う。この際、サーバ制御部670は、少なくとも一つの上位概念に関して同じ上位概念で別のキーワードが概念辞書DB682中にあると判断すると、ステップS56に進む。
以上の処理において、ステップS53,S54では、特定のユーザ集合に関して生成されたリストの各キーワードに関する上位概念が取得された。これに代えて、又は加えて、サーバ制御部670は、新たに同調度情報DB684に登録されたキーワードの上位概念と同じ上位概念のキーワードが、同じユーザ集合に関して過去に登録されたか否かを判断してもよい。
3.効果等
以上のように、本実施形態に係る会議支援方法は、ローカルサーバ310が、複数のセンサ装置300〜305が検知する、会議に参加する複数のユーザ200〜202の各々の状態を取得することを含む。本方法は、ローカルサーバ310が、複数のユーザのうちの少なくとも二人を含むユーザ集合について、センサ装置300〜305により検知されたユーザ集合に含まれるユーザの状態に基づいて、ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出することを含む(920)。本方法は、ローカルサーバ310が、表示装置315に、同調度の算出結果に基づく提示情報を提供することを含む(930)。
以上の情報処理方法によると、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる。
例えば、複数人が参加する種々の会議において、支持されたまたは支持されなかった話題、議題などの情報が共通する参加者のグループを発見することができる。そのため、このよう情報が、その場の参加者全員に支持されたのか、それとも一部の参加者に強く支持されたのかといった状況を判別することができる。例えば、商品モニタ会議において資料またはアイデアに共感した参加者のグループを抽出し、抽出されたグループに関する情報をその後の商品開発に活かすことにより、効果的な商品開発を助長することができる。
本実施形態において、会議支援方法は、ローカルサーバ310が、ユーザ集合についての同調度の算出結果に基づいて、同調度とユーザ集合を関連付けた情報を蓄積することをさらに含む(950)。蓄積した情報を用いてローカルサーバ310から提供される提示情報により、会議中などに変動する各々のユーザ集合の同調度に応じた情報提示をすることができる。
また、本実施形態において、会議支援方法は、ローカルサーバ310が、センサ装置300〜305の検知結果に基づいて、少なくとも二人のユーザの状態が同調する同調現象を検出することを含む(910)。本方法では、同調現象の検出結果に基づいて同調度が算出される。
なお、同調度の算出は、同調現象の検出時に実行されなくてもよく、例えば所定の周期で繰り返し行われてもよい。また、算出された同調度の値の大きさがしきい値を超えるか否かの判定処理等によって、同調現象の検出処理が行われてもよい。
また、本実施形態において、ローカルサーバ310は、複数のユーザ集合の各々について同調度を算出し、同調度の算出結果に基づいて、当該複数のユーザ集合のうちの同調度が最大であるユーザ集合を特定する(S17)。ローカルサーバ310は、表示装置315に、特定されたユーザ集合を示す情報を含む提示情報を提供し、表示装置315は当該提示情報を提示する(図10)。
これにより、例えば、他のグループ(ユーザ集合)よりも特定の情報を強く支持した(または支持しなかった)グループを発見することができる。それにより、例えば、商品モニタ会議の主催者が、追加質問あるいはアンケートをする対象の参加者群を効率よく見出すことができる。
また、本実施形態において、同調度を算出することは、複数のユーザ200〜202のうちの少なくとも二人のユーザを含む集合の全てに関してそれぞれ同調度を算出することである(S13〜S15)。
これにより、同調し得ると想定されるユーザの組み合わせの全てについて、漏れなく同調度のモニタリングをすることができる。
また、本実施形態において、提示情報は、算出された同調度および当該算出された同調度を有するユーザ集合を示す情報を含む。
これにより、ユーザ集合毎に、同調している度合いを確認することができる。なお、提示情報は、時系列の情報であってもよく、所定の期間内において同調度が最大であるユーザ集合を示す情報あってもよい。
また、本実施形態における会議支援方法は、ローカルサーバ310が、同調現象が検出された場合の会話の内容に関するキーワードを抽出すること(940)を含む。提示情報は、抽出されたキーワードに関連する関連情報(2201,2202)を含む。
これにより、会議において同調するユーザ集合が興味を持ち得る関連情報を提示することができる。それにより、当該ユーザ集合の会話を盛り上げたり、発想支援をしたりすることができる。例えば、商品モニタ会議におけるモニタリングされる側の参加者のグループの話題に関連する情報が当該グループへ提供されることにより当該グループの会話を盛り上げ、その会話から商品モニタ会議の主催者は新たな着想を得る可能性を向上することができる。
また、本実施形態において、表示装置315は、ローカルサーバ310から提供される提示情報を表示する。これにより、同調度の算出結果に基づく提示情報を視覚的に提示することができる。
なお、表示装置315に代えて又は加えて、音声出力装置が提示情報を音声出力してもよい。例えば、会議の主催者などの特定のユーザのためのイヤホン、ヘッドホン等から提示情報が音声出力されてもよいし、会議の場において算出された同調度等に応じた効果音、或いは音声アナウンスが音声出力されてもよい。また、情報提示装置は、例えば同調現象が検出されたユーザ集合の座席に振動を生じさせるアクチュエータ等を含んでもよい。
また、本実施形態に係る会議支援システムは、複数のセンサ装置300〜305と、ローカルサーバ310と、表示装置315とを備える。ローカルサーバ310は、複数のユーザのうちの少なくとも二人を含むユーザ集合について、センサ装置300〜305により検知されたユーザ集合に含まれるユーザの状態に基づいて、同調度を算出し、同調度の算出結果に基づく提示情報を提供する。表示装置315は、ローカルサーバ310から提供される提示情報を提示する。
以上の情報処理システムによると、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる。
また、本実施形態に係るローカルサーバ310は、通信回路650と、サーバ制御部670とを備える。通信回路650は、センサ装置300〜305から会議に参加する複数のユーザの各々の状態の検知結果を取得する。サーバ制御部670は、複数のユーザのうちの少なくとも二人を含むユーザ集合について、取得した検知結果におけるユーザ集合に含まれるユーザの状態に基づいて、同調度を算出し、同調度の算出結果に基づく提示情報を提供する。
以上のローカルサーバ310によると、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる。
(実施形態2)
実施形態2では、会議中の映像に対する付加情報として同調度情報を用いる例について説明する。以下、実施形態2に係る会議支援方法及び会議支援システムについて、図19,20,21を参照して説明する。
図19は、実施形態2に係る会議支援システムの構成を示す図である。本実施形態に係る会議支援システムでは、複数のユーザが存在する空間を撮影した際に、撮影した動画に対するメタデータ(付加情報)として同調度情報を用いて、提示情報が生成される。本システムは、実施形態1に係る会議支援システム(図2)の構成に加えて、図19に示すように、撮影装置320と、記録媒体325とを備える。
撮影装置320は、例えば無線通信機能を有するカメラ装置で構成される。本実施形態において、撮影装置320は、複数のユーザが存在する空間を撮影する。複数のユーザが存在する空間は、当該複数のユーザが会話するための空間(以下、会話空間とも称する。)であり、例えば、会議室またはモニタ会場である。当該会話空間には、会議参加者としてのユーザ、机などに置かれている紙の資料、資料を投影するプロジェクタの投影先、資料が映されるディスプレイ、議論の内容が書かれたホワイトボード、モニタ対象商品などの物品、またはこれらの組合せが存在する。本実施形態では、会議の様子が会話空間として撮影される。また、撮影装置320は、撮影結果としての映像データを随時、無線通信を介してローカルサーバ310に送信する。なお、映像データは、静止画データであっても動画データであってもよい。
記録媒体325は、例えばHDD,SSDなどで構成される。本実施形態において、記録媒体325には、撮影装置320の撮影により得られた動画が同調度情報に関連付けて記録される。記録媒体325は、CD,DVDなどの可搬性を有する記録媒体であってもよい。
図20は、本実施形態におけるローカルサーバ310の動作を示すフローチャートである。本フローチャートによる処理は、実施形態1に係る同調現象の検出処理(図8)及び同調度の算出処理(図9)と並列に実行される。
まず、サーバ制御部670は、撮影装置320から映像データを取得し、取得した映像データに基づく動画を一時的にメモリ640に記録する(S61)。この際、サーバ制御部670は、例えば、映像データを取得した時刻を示す時刻情報を動画と共に記録する。時刻情報は、実際の時刻で規定されてもよいし、映像データに基づく動画のフレーム数で規定されてもよい。
次に、サーバ制御部670は、同調度の算出処理(図9)による算出結果に基づいて、映像データを取得した時点における最大同調度、及び最大同調度を有するユーザ集合を取得する(S62)。
次に、サーバ制御部670は、取得した各種情報に基づいて、同調度情報の登録処理を行う(S63)。本処理は、例えば図16のフローチャートと同様に行われる。本実施形態では、同調度情報の登録を動画の記録に同期させるための時刻情報を登録事項に含める。図21に、本実施形態に係る同調度情報DB684Aを例示する。
図21に例示するように、本実施形態に係る同調度情報DB684Aは、図17の例の同調度情報DB684Aの各データ項目に加えて、時刻情報のデータ項目を含む。時刻情報は、動画と同期させるための時刻を示す。図20のステップS63において、サーバ制御部670は、「時刻情報」として、例えば映像データを取得した時刻を登録する。
次に、サーバ制御部670は、例えば予め設定された会議の終了予定時刻に基づいて、会議が終了したか否かを判断する(S64)。サーバ制御部670は、会議が終了していないと判断した場合(S64でNo)、ステップS61以降の処理を繰り返す。ステップS64の判断は、ユーザによる所定の指示、或いは撮影装置320からの映像データの受信停止に基づいて行われてもよい。
サーバ制御部670は、会議が終了したと判断した場合(S64でYes)、同調度情報DB684Aに登録した同調度情報と、一時的に記録した動画との関連付けを行う(S65)。サーバ制御部670は、同調度情報DB684Aにおける時刻情報に基づいて、同時刻の同調度情報と動画中の映像とを関連付けする。例えば、サーバ制御部670は、最大同調度が所定値を超えた同調度情報に限定して関連付けを行う。所定値は、例えば会議中の話題が顕著に盛り上がったと考えられる同調度を示す値に設定される。
次に、サーバ制御部670は、関連付けした動画及び同調度情報を、記録媒体325に格納する(S66)。例えば、サーバ制御部670は、同調度情報DB684Aにおいて動画に関連付けされなかった同調度情報を削除して、関連付けした動画及び同調度情報をそれぞれ記録媒体325に書き込む。
サーバ制御部は、ステップS66における記録媒体325への格納を完了することにより、本フローチャートによる処理を終了する。
以上の処理によると、会議中に同調したユーザ集合及び各ユーザ集合の同調度に関連付けされた状態において会議の様子が映る動画を得ることができる。記録媒体325に格納された動画は、例えば表示装置315等により、適宜、表示され得る。
このような動画によると、動画に関連付けされたユーザ集合を識別子として特定のユーザ集合が同調した場面を収集したり、同調度に基づき会議が盛り上がった場面を収集したりすることができる。これにより、会議の様子の動画におけるダイジェストの編集を容易にしたり、会議の議事録の作成を支援したりすることができる。
以上のように記録媒体325に格納された動画は、例えば表示装置315等により、適宜、表示されてもよい。メタデータとして関連付けされた同調度情報により、動画と一体的に提示される提示情報による情報支援を行うことができる。
以上の処理において、ステップS62で最大同調度を取得した際、サーバ制御部670は、取得した最大同調度が所定値以下の場合には、同調度情報の登録処理(S63)を省略してもよい。また、並列に実行される同調度の算出処理(図9)において新たな同調度が算出されていない場合についても、ステップS63の処理を省略してもよい。
また、以上の処理において、動画に関連付けする同調度及びユーザ集合は、最大同調度及び最大同調度を有するユーザ集合に限らず、例えば所定値以上の同調度を有するユーザ集合及びそれぞれの同調度であってもよい。この際、サーバ制御部670は、ステップS62で例えば所定値以上の同調度を有するユーザ集合及びそれぞれの同調度を取得する。
また、以上の説明では、会議の様子の動画に同調度情報を関連付けして記録したが、これに限らず、例えば会議中のプレゼンテーションデータに同調度情報を関連付けして記録してもよい。例えば、撮影装置320によって会議中にプレゼンテーションデータが発表された様子を撮影し、撮影により得られた動画に基づいて、プレゼンテーションデータ中の各スライドが発表された時刻を取得し、時刻情報に基づいて同調度情報の関連付けを行う。スライド毎の時刻情報は、プレゼンテーションデータを再生するPC等の情報機器とローカルサーバ310とのデータ通信によって取得されてもよい。
以上のように、本実施形態に係る会議支援方法は、ローカルサーバ310が、撮影装置320による複数のユーザが存在する空間の撮影により得られる映像を取得することを含む。本方法は、ローカルサーバ310が、同調度の算出結果に基づいて、同調度に関する情報を撮影により得られた映像に関連付けて記録媒体325に記録することを含む。
以上の情報処理方法によると、同調度と会議の様子とをリンクさせることができる。
本実施形態において、同調度に関する情報は、算出された同調度および当該算出された同調度を有するユーザ集合の少なくとも一方を示す情報を含む。
これにより、会議の様子の撮影中に算出された同調度および当該算出された同調度を有するユーザ集合の少なくとも一方を示す情報を会議の映像とともに提示することができる。
また、本実施形態において、算出された同調度は、所定値以上の同調度である。
これにより、会議の映像における所定値以上の同調度が算出された場面の同調度を提示し易くすることができる。
(他の実施形態)
上記の各実施形態では、複数のセンサ装置300〜305を用いたが、一つのセンサ装置を用いてユーザ各々の状態を検知してもよい。例えば、センサ装置としてアレイマイクを天井など、複数のユーザの発話音声が届く場所に設置してもよい。この際、アレイマイクの音声データに対する音声解析によって発話したユーザを識別してもよい。
また、センサ装置の一例としてマイク300〜302及び体圧センサ303〜305を例示したが、センサ装置はこれに限らない。例えば、センサ装置は、カメラ、キネクト等の距離画像センサ、ウェアラブルな速度センサ或いは加速度センサ、血圧センサ、心拍センサなどを含んでもよい。また、ユーザの状態は、上述したような外見の状態だけでなく、血圧または心拍などの体内の状態を含んでもよい。
また、上記の各実施形態では、三人のユーザ200〜202による会議に会議支援方法及び会議支援システムを適用する例を説明したが、三人に限らず、例えば四人以上のユーザが参加する会議に適用されてもよい。
また、上記の各実施形態では、参加するユーザ200〜202がテーブル205の周りに物理的に集まる会議への適用例を説明した。本方法及び本システムが適用される会議は、参加者が物理的に集まる会議に限らず、例えばテレビ会議、電話会議、チャット会議などであってもよい。
以上の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
また、本開示は、上記に示す各種方法を含む。本開示の一態様は、これらの方法をコンピュータにより実現するコンピュータプログラムであってもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。
さらに、本開示の一態様は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、USBメモリ、SDカードなどのメモリカード、又は半導体メモリなどに記録したものであってもよい。また、本開示は、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
また、本開示の一態様は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線或いは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送するものとしてもよい。
また、本開示の一態様は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作してもよい。
また、上記プログラム或いは上記デジタル信号を上記記録媒体に記録して移送することにより、又は、上記プログラム或いは上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより上記装置を実施してもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記運転支援方法に含まれる複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、一つまたは複数の態様に係る運転支援装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものまたは、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれ得る。