JP6867971B2 - 会議支援装置及び会議支援システム - Google Patents

Description

本発明は、会議支援装置及び会議支援システムに関する。

複数の参加者が対面するような会議では、一般に議題が決められている。このような会議においては、同じ発言が繰り返されたり、話題が議題から離れて脱線したりすることにより、会議の質が低下することがある。そこで、会議の質を向上させるために、会議の活性度を評価する手法が用いられるようになった。

一般的に会議の活性度は、例えば参加者全員の発話の総量（以下、「発話総量」と呼ぶ）を指標として評価できると考えられており、この会議の活性度を高めるような支援を行うことで、会議の有効性を向上させることができる。従来、会議を活性化させるための技術としては、例えば、特許文献１に開示された技術が知られている。

この特許文献１には、会議支援システムが、「会議場Ａにおける参加者の発話総量を取得し、取得された発話総量に基づき会議場Ａにおける発言動作を認識し、この認識結果に基づいて会議場Ａの会議活性度を評価し、算出された会議活性度を会議場Ｂの参加者に提示する。」と記載されている。

特開２００９−１６３４３１号公報

ところで、日々、会議室の予約がとれないほどの多くの会議が設定されているが、全ての会議が有効に機能しているとは限らない。そこで、従来は、会議の開催中に得られた、会議参加者の発話などを解析して得た情報に基づいて会議支援が行われていた。

しかし、これでは開催中の会議情報のみを利用した会議支援になってしまい、過去に開催された会議の情報を有効に活用できていなかった。この理由として、情報機密、プライバシーなどの問題があることから、取得した会議室内の情報（発話内容、参加者を特定する情報等）を保存できなかったことがある。このため、現在開催されている会議に対して、過去の会議情報を活用した支援を十分に行うことができなかった。

特許文献１には、会合参加者間の関係性まで考慮した会合支援ができると記載されている。しかし、会議には、会議出席者が互いに意見を出し合う会議の他、例えば、品質保証会議のように、一人の会議出席者だけが話を続け、他の会議出席者は話を聞いている時間が長い会議もある。このように会議の目的が異なるにも関わらず、全ての会議に対して同じような支援を行うだけでは、単に騒がしい会議になるに過ぎず、会議の目的に合わない場合も多くなる。このため、特許文献１に開示された技術では、有効な会議とするための十分な支援を行うことができなかった。

本発明はこのような状況に鑑みて成されたものであり、過去に開催された会議に基づいて、現在開催される会議を支援することを目的とする。

本発明に係る会議支援装置は、会議が開催されるエリアから収集されるエリア情報、及び会議の参加者から情報端末を通じて入力される、会議の目的を含む会議情報を秘匿化して取得する情報取得部と、情報取得部により取得されるエリア情報及び会議情報を、過去に開催された会議にて情報取得部が取得したエリア情報及び会議情報により作成された会議有効性判定モデルに適用して判定した会議の有効性の判定結果を出力する会議有効性判定部と、会議の有効性の判定結果を、過去に開催された会議にて情報取得部が取得したエリア情報及び会議情報により作成されたアドバイス選択モデルに適用して選択したアドバイスを、エリアに設置される情報提供部に出力することで、エリアにいる会議出席者に対して情報提供部からアドバイスを提供させるアドバイス選択部と、を備える。

本発明によれば、過去に開催された会議に基づいて作成されたモデルを用いて選択されたアドバイスを情報提供部を通じて会議出席者に提供することで、現在開催されている会議が有効となるように支援することができる。また、エリア情報及び会議情報が秘匿化されるため、第三者が会議の詳細な内容を知ることを防止できる。
上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。

本発明の一実施の形態に係る会議支援システムの構成例を示すブロック図である。 本発明の一実施の形態に係る骨格情報の例を示す説明図である。 本発明の一実施の形態に係る会議開始時入力画面の表示例を示す説明図である。 本発明の一実施の形態に係る会議関連情報データベースに格納される会議情報の例を示す説明図である。 本発明の一実施の形態に係る人物行動情報の波形図の例を示す説明図である。 本発明の一実施の形態に係る会議終了時入力画面の表示例を示す説明図である。 本発明の一実施の形態に係る会議関連情報データベースに格納される会議情報の例を示す説明図である。 本発明の一実施の形態に係る会議支援システムの処理例を示すフローチャートである。 本発明の一実施の形態に係る計算機のハードウェア構成例を示すブロック図である。

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

図１は、会議支援システム３０の構成例を示すブロック図である。図中に示す実線の矢印は、会議の開催中に取得されたデータ及び情報を会議関連情報データベース２０に蓄積した後、会議の終了後に各種の学習が行われる際のデータ及び情報の流れを表す。一方、破線の矢印は、現在開催されている会議に出席する会議出席者に対して、会議を有効にするアドバイスを提供するためのリアルタイム処理に用いられるデータ及び情報の流れを表す。また、本実施の形態における会議には、複数の会議出席者が一つの会議室２に集まる会議の他、少人数での打合せ、遠隔地にいる会議出席者がテレビ会議システムを使って出席する会議なども含まれる。

会議支援システム３０は、会議支援装置１、情報入力部３、及びロボ端末１０４を備える。情報入力部３は、会議が開催される会議室２に設置され、この情報入力部３から会議室情報及び会議情報が入力される。例えば、情報入力部３として、カメラ装置１００、マイクロフォン１０１、センサ１０２の他、会議出席者により操作される情報端末１０３等が含まれる。会議室情報は、カメラ装置１００、マイクロフォン１０１、センサ１０２から会議支援装置１に出力される情報を総称したものであり、エリア情報の一例として用いられる。

会議室２には、例えば、人型のロボ端末１０４も設置される。このロボ端末１０４は、会議出席者にアドバイスを提供する際、会議室情報及び会議情報をディスプレイに表示したり、プロジェクターに投影したりすることで、これらの情報を会議出席者に可視化して提供する。会議室２は、会議が開催されるエリアの一例であり、会議室２以外にもオープンスペース等にて会議が開催される場合もある。オープンスペースで会議が行われる場合、オープンスペースから離れた場所に設置されたカメラ装置１００、マイクロフォン１０１等から会議支援装置１に情報が入力されることがある。

カメラ装置１００は、会議室２内を撮影した映像（映像データ）を会議支援装置１に出力する。
マイクロフォン１０１は、会議室２内で収集した音声（音声データ）を会議支援装置１に出力する。

センサ１０２は、例えば、温度センサ、湿度センサ、照度センサ、サーモセンサ等である。センサ１０２として温度センサが用いられた場合、会議室２内の温度情報が会議支援装置１に出力される。センサ１０２として湿度センサが用いられた場合、会議室２内の湿度情報が会議支援装置１に出力される。センサ１０２として照度センサが用いられた場合、会議室２内の照度情報が会議支援装置１に出力される。センサ１０２としてサーモセンサが用いられた場合、会議出席者の体温情報が会議支援装置１に出力される。このようにセンサ１０２から出力される各種の情報はセンサデータとして会議支援装置１に出力される。

情報端末１０３は、会議出席者が、会議の開始時及び終了時に会議情報を入力するために操作される。会議情報は、会議出席者が出席する会議に関する各種の情報を総称したものであり、その詳細は図４及び図７で後述する。情報端末１０３に入力された会議情報は、会議支援装置１に出力される。情報端末１０３としては、例えば、ＰＣ（Personal Computer）、スマートフォン等が用いられる。

ロボ端末１０４は、開催中の会議を有効にするためのアドバイスを会議出席者に提供する情報提供部の一例として用いられる。情報提供部としては、アドバイスを文字で表示可能なタブレット等の情報端末を用いてもよい。しかし、会議出席者の座席位置によっては、タブレット等の情報端末に表示されたアドバイスが見づらいことがある。このため、情報提供部としては、人型のロボ端末１０４を用いるとよい。ロボ端末１０４が音声又は映像によるアドバイスを提供する際には、会議出席者に顔を向ける仕草や表現などが利用される。ロボ端末１０４が人間に近い動作で会議出席者にアドバイスを提供すると、会議出席者は、会議出席者同士でアドバイスをし合うよりも、ロボ端末１０４からのアドバイスを受入れやすくなると考えられる。

会議支援装置１は、例えば、一般的なＰＣ等によりローカル環境に設置してもよいし、ネットワーク経由でアクセス可能なクラウド上に構築されたＷｅｂサーバであってもよい。この会議支援装置１は、情報取得部４、アドバイス選択学習部１５、会議有効性学習部１６、アドバイス選択部１８及び会議有効性判定部１７を備える。また、会議支援装置１は、会議関連情報データベース（ＤＢ：DataBase）２０、アドバイス選択モデルデータベース２１及び会議有効性判定モデルデータベース２２を備える。

情報取得部４は、情報入力部３から、会議室情報及び会議情報を秘匿化して取得する。この情報取得部４は、映像取得部１０、人物行動抽出部１１、音情報取得部１２、センサデータ取得部１３、会議情報取得部１４を備える。

映像取得部１０は、カメラ装置１００が撮影した会議室２で開催されている会議の映像を取得する。
人物行動抽出部１１は、映像取得部１０が取得した映像内の会議出席者を骨格情報に変換し、骨格情報から抽出した会議出席者の人物行動情報を、時間情報と共に会議関連情報データベース２０に格納する。この人物行動情報には、骨格情報だけでなく、人物行動抽出部１１が骨格情報に基づいて抽出する会議出席者の行動も含まれる。そして、会議出席者の行動は、例えば、「座っている」、「立っている」、「手を挙げている」等にラベリングされて会議関連情報データベース２０に格納される。

ここで、骨格情報について、図２を参照して説明する。
図２は、骨格情報の例を示す説明図である。
図２の上側には、ホワイトボードのそばで立っている会議出席者の骨格情報４１の例が示されている。骨格情報とは、例えば、映像のフレーム毎に会議出席者を人型のシルエットに加工した上で、人間の特徴部位（頭、関節等）を示すドットを線で繋げて表した情報である。骨格情報は、人間の特徴部分を示すドットが線で繋げて表されるため、会議出席者の向き、行動が、線の動きで示される。

図２の下側には、座っている会議出席者の骨格情報４２，４３の例が示される。例えば、会議出席者が、会議室２内の椅子に座って、机上に手を置いていることが、骨格情報４２から分かる。また、会議出席者が手を挙げて話している様子も骨格情報４３から分かる。

このように会議出席者を骨格情報に変換することで、会議出席者の個人情報を保護しつつ、会議において会議出席者がどのように行動したかを管理することができる。このように、人物行動抽出部１１により映像に含まれる会議出席者を骨格情報に変換することで、第三者は会議出席者を個別に特定することができなくなる。これにより、会議出席者の個人情報が保護される。

再び、図１の説明に戻る。
音情報取得部１２は、マイクロフォン１０１が収集した、会議で発せられる音声を取得し、この取得された音声に基づいて求めた、会議出席者が発する音声の音量と、音声の発生位置とを含む音情報を会議関連情報データベース２０に格納する。音源位置と音量は、会議出席者間における情報交換の状況を読取るために用いられる。また、音情報取得部１２は、会議出席者毎の発話内容を取得しないため、会議出席者の心理的な負担を軽減することができる。そして、音情報取得部１２は、音源位置と音量情報を、時間情報と共に会議関連情報データベース２０に格納する。

センサデータ取得部１３は、会議室２の状態を検知するセンサ１０２から出力されるセンサデータを取得する。センサデータは、例えば、会議室２内の室温、湿度の変化等を把握するために用いられる。そして、センサデータ取得部１３は、センサデータを、時間情報と共に会議関連情報データベース２０に格納する。

会議情報取得部１４は、会議の開始時及び終了時に、会議出席者により情報端末１０３から入力される会議情報を取得し、この会議情報を、時間情報と共に会議関連情報データベース２０に格納する。会議情報としては、会議出席者により会議の開始時に入力される会議開始時情報（後述する図３を参照）と、会議の終了時に入力される会議終了時情報（後述する図７を参照）がある。会議開始時情報には、例えば、会議目的、会議出席者の役職、性別、開始日時等が含まれる。また、会議終了時情報には、例えば、会議の感想、会議出席者が必要と考えるアドバイス、ロボ端末１０４から提供されたアドバイス等が含まれる。

会議関連情報データベース２０には、情報取得部４により秘匿化して取得された会議室情報及び会議情報が格納される。会議関連情報データベース２０に格納される情報のうち、会議室情報は、例えば、人物行動抽出部１１、音情報取得部１２、センサデータ取得部１３により取得された情報、すなわち人物行動情報、音情報及びセンサデータを含む。人物行動情報、音情報及びセンサデータは、会議関連情報データベース２０に画像化して格納される（後述する図４を参照）。ただし、会議室情報からセンサデータを除いてもよい。

アドバイス選択学習部１５は、会議関連情報データベース２０から読み出した、過去に開催された会議における会議室情報及び会議情報を学習して、アドバイスを選択するためのアドバイス選択モデルを作成する。このとき、アドバイス選択学習部１５は、会議関連情報データベース２０に格納された会議終了時情報を用いて、将来、有効な会議を行うために必要なアドバイスを選択する際に用いられるアドバイス選択モデルを、ディープラーニング等の機械学習を用いて作成する。

このため、アドバイス選択学習部１５は、会議終了時入力画面（後述する図６を参照）において、会議出席者が入力する、目的達成度５１５、目的達成に必要と考えるアドバイス５１６、該アドバイスの提供の時期５１７、提供されたアドバイス５１８、提供されたアドバイスの効果５１９等の情報を用いて、アドバイス選択モデルを作成する。このアドバイス選択モデルは、会議開始時に情報端末１０３を通じて入力された会議目的５０２、及び会議終了時に情報端末１０３を通じて入力された会議感想５１３、会議雰囲気５１４、目的達成度５１５、目的達成に必要と考えるアドバイス５１６、該アドバイスの提供の時期５１７、提供されたアドバイス５１８、提供されたアドバイスの効果５１９に対応したそれぞれ学習結果に応じて異なるものとなる。

また、アドバイス選択学習部１５は、これらの情報を適宜組み合わせることで新たなアドバイス選択モデルを作成する。このため、アドバイス選択学習部１５は、情報端末１０３を通じて入力された会議情報をフィードバックして、会議出席者に提供するアドバイスの内容、及びロボ端末１０４がアドバイスを提供するタイミングを学習し、アドバイス選択モデルを作成する。そして、アドバイス選択学習部１５は、アドバイス選択の学習結果であるアドバイス選択モデルを、アドバイス選択モデルデータベース２１に格納する。

会議有効性学習部１６は、会議関連情報データベース２０から読み出した会議室情報（人物行動情報、音情報、センサデータ）及び会議情報を学習して、会議の有効性を判定するために用いられる会議有効性判定モデルを作成する。ここで、会議有効性学習部１６が学習する会議情報には、会議開始時情報と、会議終了時情報に含まれる会議の有効性とが含まれる。ここで、会議の有効性とは、会議終了時入力画面（後述する図６を参照）において、会議出席者が出席した会議に対する会議感想５１３、会議雰囲気５１４及び目的達成度５１５等を含む情報である。

会議有効性学習部１６は、個人情報や機密情報の特徴を残した状態で秘匿化され、会議関連情報データベース２０に蓄積された情報と、会議出席者が会議終了時入力画面から入力した会議の有効性に基づいて、会議有効性学習を行う。この会議有効性学習に際して、会議有効性学習部１６は、例えば、ディープラーニング等の機械学習を用いて、会議の有効性を判定するための会議有効性判定モデルを作成する。この会議有効性判定モデルは、例えば、会議開始時に情報端末１０３を通じて入力された会議名、会議の目的、会議出席者に対応する学習結果としてそれぞれ異なるものとなる。また、これらの情報を適宜組み合わせることで新たな学習有効性判定モデルが作成される。

このため、会議有効性学習部１６は、会議の終了時に情報端末１０３を通じて入力された会議情報をフィードバックして、会議の有効性を学習し、会議有効性判定モデルを作成する。そして、会議有効性学習部１６は、会議の有効性を判定するための学習結果である会議有効性判定モデルを、会議有効性判定モデルデータベース２２に格納する。会議有効性判定モデルデータベース２２には、過去の会議毎に作成された複数の会議有効性判定モデルが蓄積される。

会議有効性判定部１７は、情報取得部４により取得される会議室情報（会議中の人物行動情報、音情報、センサデータ）及び会議情報を、会議有効性判定モデルに適用して判定した会議の有効性の判定結果を出力する。ここで、会議有効性判定モデルは、過去に開催された会議にて情報取得部４が取得した会議室情報及び会議情報により作成されたものであり、多くの会議有効性判定モデルが会議有効性判定モデルデータベース２２に蓄積されている。このため、会議有効性判定部１７は、情報取得部４から取得した様々な情報の組合せにより、現在行われている会議に適した会議有効性モデルを会議有効性判定モデルデータベース２２から読み出す。そして、会議有効性判定部１７が、会議有効性モデルを実行して得た会議の有効性の判定結果を、アドバイス選択部１８及びロボ端末１０４に出力する。

ここで、会議有効性判定部１７は、会議中に情報取得部４が情報入力部３から取得した各情報を用いて、会議途中であっても会議の有効性を判定し、会議の有効性の判定結果をアドバイス選択部１８及びロボ端末１０４に出力する。これによりロボ端末１０４は、会議の有効性の判定結果を、会議中の会議出席者に提供することが可能となる。ここで、ロボ端末１０４が提供する会議の有効性の判定結果は、例えば、現在行われている会議が有効であるか否かを数値等で示される。このため、会議出席者は、会議の有効性が高くなるような行動、発話を行うようになる。

アドバイス選択部１８は、会議有効性判定部１７から出力される、現在開催されている会議の有効性の判定結果をアドバイス選択モデルに適用してアドバイスを選択し、このアドバイスをロボ端末１０４に出力する。ここで、アドバイス選択モデルは、過去に開催された会議にて情報取得部４が取得した会議室情報及び会議情報により作成されたものであり、多くのアドバイス選択モデルがアドバイス選択モデルデータベース２１に蓄積されている。このため、アドバイス選択部１８は、現在行われている会議に適したアドバイス選択モデルをアドバイス選択モデルデータベース２１から読み出して、会議の有効性の判定結果に基づいてアドバイスを選択する。このため、ロボ端末１０４は、現在開催されている会議に適したアドバイスを、会議室２にいる会議出席者に提供することが可能となる。そして、会議出席者は、アドバイスに従って、例えば、休憩したり、全員が少しずつ発話したりすることにより会議の有効性を高めることができる。

図３は、会議開始時入力画面の表示例を示す説明図である。
会議開始時入力画面は、会議の開始時に情報端末１０３に表示される。会議の開始時には、情報端末１０３を操作する会議出席者により、会議開始時入力画面を通じて会議開始時情報が入力される。情報端末１０３を通じて入力された会議開始時情報は、会議情報取得部１４により取得され、会議関連情報データベース２０に格納される。

会議開始時入力画面は、会議名５０１、会議目的５０２、会議開始日時５０３、会議出席者数５０４、会議出席者座席５０５を入力可能な項目により構成される。なお、予め会議の開催日時、開催場所、出席者等が、会議支援システム３０とは別に管理される不図示の会議システムに登録されていれば、この会議システムから転送された情報により、会議の開催日時、開催場所、出席者等が埋め込まれた状態で会議開始時入力画面に表示するようにしてもよい。

ここで、会議出席者座席５０５には、会議室２内の会議出席者の座席位置が指定される。そして、会議出席者を特定しないように、会議出席者の職位情報だけが入力される。例えば、図中に示す「Ｋ」は管理職に就いている会議出席者を表し、「Ｈ」は一般職に就いている会議出席者を表す。なお、会議出席者座席５０５には、会議出席者の性別だけを入力するようにしてもよい。例えば、会議出席者が男性であれば「Ｍ」を入力し、会議出席者が女性であれば「Ｗ」を入力する。また、会議出席者の職位情報と性別を組み合わせて入力してもよい。この場合、会議出席者が、男性であり、管理職に就いていれば「ＫＭ」と表示される。また、会議出席者が、女性であり、一般職に就いていれば「ＨＷ」と表示される。

会議開始時入力画面に必要な情報が入力された後、会議が開催される。
ここで、会議関連情報データベース２０に格納される会議情報について、図４を参照して説明する。
図４は、会議関連情報データベース２０に格納される会議関連情報２００ａの例を示す説明図である。会議関連情報２００ａは、会議開始時入力画面から入力される会議開始時情報である。

会議関連情報２００ａは、会議が開催される度に、会議毎に収集された会議情報を格納するテーブルである。この会議関連情報２００ａは、会議開始時入力画面から入力された会議開始時情報を格納するフィールドの他に、人物行動情報、音情報及びセンサデータを格納するフィールドを備える。

会議開始時情報を格納するフィールドには、図３に示した会議名５０１、会議目的５０２、会議開始日時５０３、会議出席者数５０４、会議出席者座席５０５がそれぞれ格納される。
人物行動情報、音情報及びセンサデータを格納するフィールドには、それぞれ時間経過により変化する人物行動情報、音情報及びセンサデータの波形図が格納される。

ここで、会議関連情報２００ａに格納される３種類の波形図のうち、人物行動情報の波形図について、図５を参照して説明する。
図５は、人物行動情報の波形図の例を示す説明図である。この波形図は、会議関連情報２００ａの会議開始時情報を格納するフィールドの１番目のレコードにて特定される会議（２０１８年１月１３日 １０：３０開始の打合せ）において、会議が開始された後、１時間が経過するまでに会議出席者がどのように行動したかを示す。

図５に示す波形図のグラフは、図４の出席者座席のフィールドに示される４人の会議出席者のうち、左上の出席者を「ＫＭ１」、右上の出席者を「ＫＭ２」、右下の出席者を「ＫＭ３」、左下の出席者を「ＨＷ」の人物行動情報を示すグラフである。各グラフは、例えば、骨格情報から求めた会議出席者毎の右手の動きを表している。

実線で表される出席者ＫＭ１は、会議が開始してから２０分経過した時点で最もよく動いていることが示される。また、二点鎖線で表される出席者ＫＭ２は、会議が開始してから４０分経過した時点で最もよく動いていることが示される。このため、出席者ＫＭ１，ＫＭ２は、例えば、身振りが大きくなったり、会議室２内に設置されたホワイトボードの前で説明を行ったりしていると考えられる。一方、破線で表される出席者ＫＭ３、一点鎖線で表される出席者ＨＷは、会議の開始から終了まであまり動きがない。このため、出席者ＫＭ３，ＨＷは、他の出席者の話を聞いている状態であると考えられる。

このような波形図は、図４に示すように、音情報、センサデータにおいても格納される。音情報の波形図に示される４種類のグラフは、人物行動情報の波形図に示したグラフと同様に、グラフの線種毎に、会議出席者を識別する。また、センサデータの波形図に示される４種類のグラフは、グラフの線種毎に、温度、湿度等を識別する。このため、人物行動情報、音情報、センサデータを組み合わせることで、会議で発話された内容を特定しなくても、会議の有効性を判定することが可能となる。

また、図４に示す、人物行動情報、音情報、センサデータのグラフは、例えば会議中にリアルタイムにプロットされ、会議の終了時には、画像データに変換されて会議関連情報データベース２０に格納される。会議関連情報データベース２０に格納されたこれらのグラフを見ただけでは、会議でどのような内容が話されたかを第三者が知ることができないため、会議の内容を秘匿化することができる。なお、アドバイス選択学習部１５及び会議有効性学習部１６が会議関連情報データベース２０からこれらのグラフを読み出す際には、会議開始からの時間を指定するだけで、その時間における会議の有効性を解析することが可能である。このように会議の内容を秘匿化した状態であっても、アドバイス選択学習部１５及び会議有効性学習部１６は学習することが可能である。

図６は、会議終了時入力画面の表示例を示す説明図である。
会議終了時入力画面は、会議の終了時に情報端末１０３に表示される。会議の終了時には、情報端末１０３を操作する会議出席者により、会議終了時入力画面を通じて会議終了時情報が入力される。情報端末１０３を通じて入力された会議終了時情報は、会議情報取得部１４により取得され、会議関連情報データベース２０に格納される。

会議終了時入力画面のうち、項目５１１，５１２には、会議開始時に会議開始時入力画面に入力された会議名５０１、会議目的５０２が表示される。そして、会議終了時入力画面は、会議結果である会議感想５１３、会議雰囲気５１４、目的達成度５１５、会議出席者が目的達成に必要と考えるアドバイス５１６、該アドバイスの提供の時期５１７、ロボ端末１０４から提供されたアドバイス５１８、提供されたアドバイスの効果５１９、情報入力者の座席位置５２０を入力可能な項目により構成される。

会議感想５１３、会議雰囲気５１４、目的達成度５１５、アドバイスの提供の時期５１７、会議の間にロボ端末１０４から提供されたアドバイスの効果５１９は、いずれも会議出席者が、会議終了時入力画面に表示されたスライダーを左右に動かすことにより、“０”〜“１００”の間で数値を入力することが可能である。例えば、会議感想５１３、会議雰囲気５１４及び提供されたアドバイスの効果５１９が悪ければ“０”に近い数値が入力され、良ければ“１００”に近い数値が入力される。また、目的達成度５１５が未達に近ければ“０”に近い数値が入力され、達成に近ければ“１００”に近い数値が入力される。また、アドバイスの提供の時期５１７が開始に近ければ“０”に近い数値が入力され、終了に近ければ“１００”に近い数値が入力される。

会議出席者が目的達成に必要と考えるアドバイス５１６は、会議出席者によりテキスト入力される項目である。
会議出席者が会議に有効であったと考える、ロボ端末１０４から提供されたアドバイス５１８には、アドバイス選択部１８により選択され、ロボ端末１０４から会議出席者に提供されたアドバイスが表示される。

なお、図６に示した会議終了時入力画面の入力項目は一例である。例えば、目的達成に必要とされるアドバイス５１６として複数のアドバイスを登録するようにしてもよい。また、複数の会議出席者が会議終了時情報を入力してもよい。

次に、会議関連情報データベース２０に格納される会議情報について、図７を参照して説明する。
図７は、会議関連情報データベース２０に格納される会議関連情報２００ｂの例を示す説明図である。会議関連情報２００ｂは、会議終了時入力画面から入力された会議終了時情報である。

会議関連情報２００ｂは、会議の終了時に、会議終了時入力画面から入力された会議終了時情報を格納するテーブルである。会議関連情報２００ｂには、会議終了時に埋め込まれる会議名、会議終了日時の他、図６に示した会議終了時入力画面から入力される会議終了時情報を格納するフィールドを備える。なお、会議関連情報２００ｂに格納される各情報の内、会議感想、会議雰囲気及び目的達成度には、図６に示した会議終了時入力画面において、会議感想５１３、会議雰囲気５１４、目的達成度５１５から入力された数値が格納される。また、会議関連情報２００ｂに格納される該アドバイスの提供時期には、会議終了時入力画面において、アドバイスの提供の時期５１７に入力された数値、又はこの数値を変換した文言が格納される。

次に、会議支援システム３０の処理例について説明する。
図８は、会議支援システム３０の処理例を示すフローチャートである。

初めに、会議支援システム３０は、会議出席者が情報端末１０３を通じて会議開始時情報を入力するまで待機する（Ｓ１）。会議開始時情報が入力されなければ（Ｓ１のＮＯ）、本処理を終了する。

一方、会議開始時情報が入力されると（Ｓ１のＹＥＳ）、情報取得部４は、情報入力部３から入力される会議室情報（会議室２内の情報）を取得できる否かを判定する（Ｓ２）。上述したように、情報入力部３から入力される会議室情報は、会議室２内の映像、音情報、センサデータである。会議室情報を取得できなければ（Ｓ２のＮＯ）、本処理を終了する。

一方、情報取得部４は、会議室情報を取得できれば（Ｓ２のＹＥＳ）、ステップＳ３の処理に進む。このとき、情報取得部４は、会議室２内の映像から会議出席者の骨格情報を取得する。また、情報取得部４は、音情報、センサデータ、会議開始時情報を取得する。情報取得部４が取得した会議室情報及び会議開始時情報は、会議関連情報データベース２０に格納される。

次に、会議有効性判定部１７は、会議室情報及び会議開始時情報を用いて、会議の有効性を判定する（Ｓ３）。そして、会議有効性判定部１７は、会議有効性判定モデルデータベース２２から読み出した会議有効性判定モデルを用いて判定した、会議の有効性の判定結果をロボ端末１０４及びアドバイス選択部１８に出力する。

次に、アドバイス選択部１８は、会議の有効性の判定結果を入力として、アドバイス選択モデルデータベース２１から読み出したアドバイス選択モデルを用いて、会議に適したアドバイスを選択する（Ｓ４）。そして、アドバイス選択部１８は、選択したアドバイスをロボ端末１０４に出力する。

ロボ端末１０４は、会議出席者に対して、現在開催されている会議の有効性の判定結果と、アドバイスを提供する（Ｓ５）。例えば、アドバイス選択部１８がアドバイスとして「休憩」を選択すると、ロボ端末１０４が会議出席者に対し、音声と動作により休憩への移行を促す。これにより、会議出席者同士で休憩への移行を促す場合に比べて、スムーズに休憩に移行するため、会議の状況を改善することが可能となる。

次に、会議支援システム３０は、会議出席者が情報端末１０３を通じて会議終了時情報を入力するまで待機する（Ｓ６）。会議終了時情報が入力されなければ（Ｓ６のＮＯ）、会議の開催中であるため、ステップＳ２〜Ｓ６の処理を適宜繰り返す。ここで、ステップＳ２〜Ｓ６の処理が行われるタイミングは、例えば、会議終了時情報として入力されたアドバイスの提供の時期５１７、提供されたアドバイスの効果５１９に基づいてアドバイス選択学習部１５が学習したアドバイス選択モデルから算出される会議中の時間である。アドバイスを提供するのに適した時間が、アドバイス選択モデルから算出される。そして、ステップＳ２〜Ｓ６の処理を繰り返すことにより、会議が開催されている間、会議出席者に対して複数のアドバイスが提供される。

会議が終了すると、会議出席者により会議終了時入力画面を通じて会議終了時情報が入力される（Ｓ６のＹＥＳ）。会議終了時情報が入力されると、アドバイス選択学習部１５は、会議関連情報データベース２０から読み出した情報を用いて、アドバイス選択学習を行い、アドバイス選択モデルを作成する（Ｓ７）。そして、アドバイス選択学習部１５は、作成したアドバイス選択モデルをアドバイス選択モデルデータベース２１に格納する。

次に、会議有効性学習部１６は、会議関連情報データベース２０から読み出した情報を用いて、会議有効性学習を行い、会議有効性判定モデルを作成する（Ｓ８）。そして、会議有効性学習部１６は、作成した会議有効性判定モデルを会議有効性判定モデルデータベース２２に格納し、本処理を終了する。

次に、会議支援装置１を構成する計算機Ｃのハードウェア構成を説明する。
図９は、計算機Ｃのハードウェア構成例を示すブロック図である。
計算機Ｃは、いわゆるコンピュータとして用いられるハードウェアである。計算機Ｃは、バスＣ４にそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理装置）Ｃ１、ＲＯＭ（Read Only Memory）Ｃ２、ＲＡＭ（Random Access Memory）Ｃ３を備える。さらに、計算機Ｃは、不揮発性ストレージＣ５、ネットワークインターフェイスＣ６を備える。

ＣＰＵ Ｃ１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ Ｃ２から読み出して実行する。ＲＡＭ Ｃ３には、演算処理の途中に発生した変数やパラメーター等が一時的に書き込まれる。例えば、会議支援装置１における、情報取得部４、アドバイス選択学習部１５、会議有効性学習部１６、会議有効性判定部１７及びアドバイス選択部１８の機能を有するプログラムがＲＯＭ Ｃ２に記憶される。そして、ＣＰＵ Ｃ１がＲＯＭ Ｃ２から適宜プログラムを読み出して実行することで、各部の機能が実現される。

不揮発性ストレージＣ５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ等が用いられる。この不揮発性ストレージＣ５には、ＯＳ（Operating System）、各種のパラメーターの他に、計算機Ｃを機能させるためのプログラムが記録されている。例えば、会議支援装置１における会議関連情報データベース２０、会議有効性判定モデルデータベース２２及びアドバイス選択モデルデータベース２１は不揮発性ストレージＣ５に構築される。なお、ＲＯＭ Ｃ２、不揮発性ストレージＣ５は、ＣＰＵ Ｃ１が動作するために必要なプログラムやデータ等を永続的に記録しており、計算機Ｃによって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記録媒体の一例として用いられる。

ネットワークインターフェイスＣ６には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、端子が接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを装置間で送受信することが可能である。このため、情報取得部４は、ネットワークインターフェイスＣ６を介して情報入力部３から各種の情報を取得する。また、会議有効性判定部１７は、ネットワークインターフェイスＣ６を介して会議の有効性の判定結果をロボ端末１０４に出力し、アドバイス選択部１８は、ネットワークインターフェイスＣ６を介してアドバイスを出力する。

以上説明した一実施の形態に係る会議支援システム３０では、会議支援装置１に設けられた情報取得部４が、会議室２内に設けられた情報入力部３から取得した各種の情報を会議関連情報データベース２０に格納する。そして、会議支援装置１は、会議関連情報データベース２０に格納された情報に基づいて、アドバイス選択モデルを作成すると共に、会議有効性判定モデルも作成する。会議の開催中には、会議支援装置１が、アドバイス選択モデルに基づいて選択したアドバイス、会議有効性判定モデルに基づいて判定した会議の有効性の判定結果が、ロボ端末１０４から会議出席者に提供される。

したがって、会議支援装置１は、会議出席者に対して、会議の有効性を高めるような支援を行うことができる。また、会議出席者は、会議の開催中にロボ端末１０４から提供されたアドバイス、及び会議の有効性の判定結果に従って会議を改善し、会議の有効性を高めることができる。

また、会議の開始時には、情報端末１０３を操作する会議出席者により会議開始時情報が入力され、会議の終了時には、会議出席者により会議終了時情報が入力される。会議出席者が、会議終了時情報を入力する際には、会議出席者自身が考えるアドバイス５１６や、ロボ端末１０４から提供されたアドバイスに対する効果５１９を入力可能である。これにより、会議支援装置１は、実際に会議に出席した会議出席者が必要とし、効果があると考えるアドバイスのフィードバックを受けられる。

このため、会議出席者により会議終了時に入力された、会議出席者による会議自体の有効性判定結果とアドバイスに関する評価を用いて、会議有効性判定モデルとアドバイス選択モデルを再学習することで、継続的に会議出席者の評価を反映することができる。そして、会議支援装置１は、会議の開催中にアドバイスを提供するタイミング、アドバイスの内容を最適な状態に更新し続けて、会議を円滑にするための会議支援を有効に行うことができる。

また、会議関連情報データベース２０に格納された会議情報は、会議出席者に対して、会議中又は会議の終了後に可視化して提供される。ここで、図２及び図４に示したように、過去に開催された会議の会議出席者の人物行動情報は、骨格情報に基づいて、画像化して格納される。また、図４に示したように、音情報及びセンサデータについても、個々の情報を識別可能としたものでなく、画像化して格納される。このため、人物行動情報、音情報及びセンサデータが秘匿化されており、個人情報を特定することができなくなる。

このように秘匿化された人物行動情報、音情報及びセンサデータをロボ端末１０４等に可視化して提供することで、会議出席者は、どのように会議が開催され、会議が活発化していたか否かを実感することができる。また、会議出席者は、会議中に取得された各情報が秘匿化され、個人情報が保護されていることが分かるので、会議の開催中に各情報が取得されることに対する抵抗感を減らすことができる。

なお、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…会議支援装置、２…会議室、３…情報入力部、４…情報取得部、１０…映像取得部、１１…人物行動抽出部、１２…音情報取得部、１３…センサデータ取得部、１４…会議情報取得部、１５…アドバイス選択学習部、１６…会議有効性学習部、１７…会議有効性判定部、１８…アドバイス選択部、２０…会議関連情報データベース、２１…アドバイス選択モデルデータベース２１…会議有効性判定モデルデータベース、３０…会議支援システム、１００…カメラ装置、１０１…マイクロフォン、１０２…センサ、１０３…情報端末、１０４…ロボ端末

Claims (8)

1. 会議が開催されるエリアから収集されるエリア情報、及び前記会議の参加者から情報端末を通じて入力される、前記会議の目的を含む会議情報を秘匿化して取得する情報取得部と、
   前記情報取得部により取得される前記エリア情報及び前記会議情報を、過去に開催された会議にて前記情報取得部が取得した前記エリア情報及び前記会議情報により作成された会議有効性判定モデルに適用して判定した前記会議の有効性の判定結果を出力する会議有効性判定部と、
   前記会議の有効性の判定結果を、前記過去に開催された会議にて前記情報取得部が取得した前記エリア情報及び前記会議情報により作成されたアドバイス選択モデルに適用して選択したアドバイスを、前記エリアに設置される情報提供部に出力することで、前記エリアにいる会議出席者に対して前記情報提供部から前記アドバイスを提供させるアドバイス選択部と、を備える
   会議支援装置。
2. さらに、前記情報取得部により秘匿化して取得された前記エリア情報及び前記会議情報が格納される会議関連情報データベースと、
   前記会議関連情報データベースから読み出した前記エリア情報及び前記会議情報を学習して、前記会議有効性判定モデルを作成する会議有効性学習部と、
   前記会議有効性判定モデルを蓄積する会議有効性判定モデルデータベースと、を備え、
   前記会議有効性判定部は、前記会議有効性判定モデルデータベースから読み出した前記会議有効性判定モデルを用いて判定した前記会議の有効性の判定結果を、前記情報提供部及びアドバイス選択部に出力する
   請求項１に記載の会議支援装置。
3. さらに、前記会議関連情報データベースから読み出した前記エリア情報及び前記会議情報を学習して、前記会議の開催中に前記会議出席者に提供される前記アドバイスを選択するための前記アドバイス選択モデルを作成するアドバイス選択学習部と、
   前記アドバイス選択モデルを蓄積するアドバイス選択モデルデータベースと、を備え、
   前記アドバイス選択部は、前記アドバイス選択モデルデータベースから読み出した前記アドバイス選択モデルを用いて前記アドバイスを選択する
   請求項２に記載の会議支援装置。
4. 前記情報取得部は、前記会議の開始時に前記情報端末から入力される前記会議の目的、及び前記会議の終了時に、前記情報端末から入力される、前記会議出席者が出席した前記会議の有効性、前記会議の間に前記情報提供部から提供された前記アドバイスに対する効果、前記会議出席者が前記会議に有効であったと考えるアドバイスを含む前記会議情報を前記会議関連情報データベースに格納する会議情報取得部を有する
   請求項３に記載の会議支援装置。
5. 前記アドバイス選択学習部は、前記情報端末を通じて入力された前記会議情報をフィードバックとして、前記会議に提供する前記アドバイスの内容、及び前記情報提供部が前記アドバイスを提供するタイミングを学習して、前記アドバイス選択モデルを作成し、
   前記会議有効性学習部は、前記情報端末を通じて入力された前記会議情報をフィードバックとして、前記会議の有効性を学習して、前記会議有効性判定モデルを作成する
   請求項４に記載の会議支援装置。
6. 前記情報取得部は、
   前記会議の映像をカメラ装置から取得する映像取得部と、
   前記映像内の前記会議出席者を骨格情報に変換し、前記骨格情報、及び前記骨格情報から抽出した前記会議出席者の人物行動情報を前記会議関連情報データベースに格納する人物行動抽出部と、
   前記会議で発せられる音声をマイクロフォンから取得し、前記音声に基づいて求めた、前記会議出席者が発する前記音声の音量、及び前記音声の発生位置を含む音情報を前記会議関連情報データベースに格納する音情報取得部と、
   前記エリアの状態を検知するセンサから取得したセンサデータを前記会議関連情報データベースに格納するセンサデータ取得部と、を有し、
   前記エリア情報は、前記人物行動情報、前記音情報及び前記センサデータを含み、前記会議関連情報データベースに画像化して格納される
   請求項５に記載の会議支援装置。
7. 会議が開催されるエリアに設置され、前記エリアから収集されるエリア情報、及び前記会議の参加者から情報端末を通じて入力される、前記会議の目的を含む会議情報を入力する情報入力部と、
   前記情報入力部から前記エリア情報及び前記会議情報を秘匿化して取得する情報取得部と、
   前記情報取得部により取得される前記エリア情報及び前記会議情報を、過去に開催された会議にて前記情報取得部が取得した前記エリア情報及び前記会議情報により作成された会議有効性判定モデルに適用して判定した前記会議の有効性の判定結果を出力する会議有効性判定部と、
   前記会議の有効性の判定結果を、前記過去に開催された会議にて前記情報取得部が取得した前記エリア情報及び前記会議情報により作成されたアドバイス選択モデルに適用して選択したアドバイスを出力するアドバイス選択部と、
   前記エリアに設置され、前記アドバイス選択部から出力された前記アドバイスを、前記エリアにいる会議出席者に対して提供する情報提供部と、を備える
   会議支援システム。
8. 前記情報提供部は、前記エリア情報及び前記会議情報を可視化して提供する人型のロボ端末である
   請求項７に記載の会議支援システム。
   

Images