JP6827236B2 - 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム Download PDF

Info

Publication number
JP6827236B2
JP6827236B2 JP2016162230A JP2016162230A JP6827236B2 JP 6827236 B2 JP6827236 B2 JP 6827236B2 JP 2016162230 A JP2016162230 A JP 2016162230A JP 2016162230 A JP2016162230 A JP 2016162230A JP 6827236 B2 JP6827236 B2 JP 6827236B2
Authority
JP
Japan
Prior art keywords
information
time
semantic information
conference
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016162230A
Other languages
English (en)
Other versions
JP2018032098A (ja
Inventor
國枝　孝之
孝之 國枝
信介 寺村
信介 寺村
直也 岸本
直也 岸本
大塚　愛子
愛子 大塚
村田　淳
淳 村田
昌也 安藤
昌也 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chiba Institute of Technology
Ricoh Co Ltd
Original Assignee
Chiba Institute of Technology
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chiba Institute of Technology, Ricoh Co Ltd filed Critical Chiba Institute of Technology
Priority to JP2016162230A priority Critical patent/JP6827236B2/ja
Publication of JP2018032098A publication Critical patent/JP2018032098A/ja
Application granted granted Critical
Publication of JP6827236B2 publication Critical patent/JP6827236B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システムに関する。
会議などの様子を音声や映像として収録すると共に、会議の進行と並行して入力されたテキストを、入力開始からの経過時間情報を付加して記録する議事録作成再生システムが知られている（例えば特許文献１）。また、従来から、経過時間情報に対して所望の時間を記憶するためのマーカ情報を付加する技術が知られている。
ところで、録音、撮影により会議の進行を記録した場合、会議の話題が変わった、重要な案件が提案された、といった特定のタイミングを、録音、撮影された音声、映像から判断することが困難である場合が多いという問題点があった。
また、会議の参加者が、経過時間情報に対し、会議中の特定のタイミングでマーカ情報を付加することも考えられる。しかしながら、参加者が特定タイミングでのマーカ情報の付加を忘れてしまうといった状況も当然考えられ、この場合、上述したように、特定のタイミングを録音、撮影された音声、映像から判断せざるを得ないという問題点があった。
本発明は、上記に鑑みてなされたものであって、時間経過を伴い記録された情報における特定タイミングを容易に判断可能とすることを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、指定された開始時間を基準とする時系列に沿って経過した経過時間を取得する時間取得部と、所定の条件に応じて発生した意味情報を受け付ける受付部と、時系列に従い入力された、少なくとも映像および音声のうち一方を含む情報を、経過時間と関連付けて管理すると共に、受付部で受け付けられた意味情報と、意味情報が発生した時間に対応する経過時間とを関連付けて管理する時間管理部と、意味情報を示すマーカを経過時間と関連付けて時系列に従い配置した表示を、複数の端末装置のうち少なくともいずれか一つの端末装置に提示する提示部と、端末装置から表示に応じた入力により指定された時系列上の時間に従い、記憶部に記憶される、指定された時間に対応する経過時間に関連付けられた情報を端末装置に送信する送信部とを備え、前記受付部が受け付ける前記意味情報は、前記複数の端末装置のそれぞれにおけるユーザ動作に応じて発生した第１の種類の意味情報と、前記複数の端末装置のそれぞれにおける環境情報に応じて発生した第２の種類の意味情報と、を含み、前記提示部は、前記受付部により前記第１の種類の意味情報が受け付けられた場合に、当該第１の種類の意味情報を示すマーカを、前記複数の端末装置のうち当該第１の種類の意味情報の発生元の端末装置に提示し、前記受付部により前記第２の種類の意味情報が受け付けられた場合に、当該第２の種類の意味情報を示すマーカを、前記複数の端末装置のそれぞれに提示する。
本発明によれば、時間経過を伴い記録された情報における特定タイミングを容易に判断可能となるという効果を奏する。
図１は、実施形態に適用可能な情報処理システムの一例の構成を示すブロック図である。 図２は、実施形態に適用可能なサーバ装置の一例のハードウェア構成を示すブロック図である。 図３は、実施形態に適用可能な電子黒板の一例のハードウェア構成を示すブロック図である。 図４は、実施形態に適用可能な端末装置の一例のハードウェア構成を示すブロック図である。 図５は、実施形態に適用可能な端末装置の一例のハードウェア構成を示すブロック図である。 図６は、実施形態に適用可能な情報処理システムにおける各情報の流れについて概略的に説明するための図である。 図７は、実施形態に適用可能な時系列について概略的に示す図である。 図８は、図１に示したサーバ装置の機能を説明するための一例の機能ブロック図である。 図９は、実施形態に適用可能なプロジェクト選択画面の例を示す図である。 図１０は、実施形態に係るプロジェクト管理部の機能を説明するための一例の機能ブロック図である。 図１１は、実施形態に適用可能な端末装置の機能を説明するための一例の機能ブロック図を示す図である。 図１２は、実施形態に適用可能な、会議の準備段階におけるサーバ装置の処理を示す一例のフローチャートである。 図１３は、実施形態に適用可能な会議管理画面の例を示す図である。 図１４は、実施形態に適用可能な議題設定画面の例を示す図である。 図１５は、実施形態に適用可能な、各情報の入力などが完了した場合の会議管理画面の例を示す図である。 図１６は、実施形態に適用可能な、電子黒板に表示される会議開始画面の例を示す図である。 図１７は、実施形態に適用可能な、電子黒板における処理を概略的に示す一例のフローチャートである。 図１８は、実施形態に適用可能な、会議の開始を通知するための会議開始通知画面の例を示す図である。 図１９は、実施形態に適用可能な描画画面の例を示す図である。 図２０−１は、実施形態に適用可能な、ファイルリストが表示された描画画面の例を示す図である。 図２０−２は、実施形態に適用可能な、描画領域にファイルに基づく画像が表示された例を示す図である。 図２１は、実施形態に適用可能な、描画による画像が資料データによる画像に重畳して表示された例を示す図である。 図２２は、実施形態に適用可能な、描画領域内に予め定められた領域内に表示される画像を保存する例を示す図である。 図２３は、実施形態に適用可能な留意事項マークおよび決定事項マークを設定するための処理を示す一例のフローチャートである。 図２４は、実施形態に適用可能な留意事項入力画面の例を示す図である。 図２５は、実施形態に適用可能な決定事項入力画面の例を示す図である。 図２６は、実施形態に適用可能な、留意事項および決定事項に関するマーカについて概略的に示す図である。 図２７は、実施形態に適用可能な、端末装置における会議閲覧画面の例を示す図である。 図２８は、実施形態に適用可能な、端末装置における会議閲覧画面に、会議端末のカメラで撮影された映像を表示させた例を示す図である。 図２９は、実施形態に適用可能な、描画領域表示モードの画面の例を示す図である。 図３０は、実施形態に適用可能な、タイムライン表示画面の例を示す図である。 図３１は、実施形態に適用可能な、議題表示画面の例を示す図である。 図３２は、実施形態に適用可能な、アクションアイテムのより詳細な内容が表示された画面の例を示す図である。 図３３は、実施形態に適用可能なマーカ処理について説明するための図である。 図３４は、実施形態に適用可能なマーカ処理について説明するための図である。 図３５は、実施形態に適用可能なマーカ処理について説明するための図である。 図３６は、実施形態に適用可能なマーカ処理について説明するための図である。 図３７は、第１の実施形態に係る、ヒューマンアクションに基づくマーカ情報の設定処理を示す一例のフローチャートである。 図３８は、第１の実施形態に適用可能なセンサＩ／Ｆの一例の構成を概略的に示すブロック図である。 図３９は、第１の実施形態に適用可能なＩ／Ｆの一例の構成を示すブロック図である。 図４０は、第１の実施形態に係る、Ｉ／Ｆによる検知処理を示す一例のフローチャートである。 図４１は、第２の実施形態に係るマーカの表示方法の例を概略的に示す図である。 図４２は、第３の実施形態に係るマーカ情報の集計方法について概略的に説明するための図である。 図４３は、第３の実施形態に係るマーカ情報の集計処理を示す一例のフローチャートである。 図４４は、第３の実施形態に係るマーカ情報の集計結果の送信処理を示す一例のフローチャートである。 図４５は、第３の実施形態の第１の変形例に係るマーカ情報の集計方法例を概略的に示す図である。 図４６は、第３の実施形態の第２の変形例に係る、各端末装置で設定された各マーカ情報を集計した集計結果に対し、さらに、各センサの検知結果に基づき設定したマーカ情報によるマーカを重畳して表示させた例を示す図である。
以下に添付図面を参照して、情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システムの実施形態を詳細に説明する。
（実施形態に適用可能な構成）
図１は、実施形態に適用可能な情報処理システムの一例の構成を示す。図１において、情報処理システム１は、情報処理装置としてのサーバ装置１０を含み、サーバ装置１０は、ＬＡＮ(Local Area Network)といったネットワーク１２を介して、１以上の会議室２ａ、２ｂ、…内の機器と接続される。
例えば会議室２ａは、それぞれネットワーク１２に接続される１以上の端末装置２０ａおよび２０ｂと、電子黒板２２と、センサＩ／Ｆ（インタフェース）２３と、会議端末２５とを含む。端末装置２０ａおよび２０ｂは、デスクトップ型あるいはノート型のパーソナルコンピュータや、タブレット型コンピュータを適用できる。端末装置２０ａおよび２０ｂは、有線または無線通信により、ネットワーク１２に接続される。また、端末装置２０ａおよび２０ｂは、それぞれマイクロホンを内蔵または接続可能とされ、マイクロホンで収音された音声を音声データとして処理可能とされているものとする。
詳細は後述するが、電子黒板２２は、入力デバイスと表示デバイスとが一体的に構成された大型のタッチパネルと、ＣＰＵ(Central Processing Unit)、メモリおよび通信Ｉ／Ｆとを備え、例えば会議室２ａに固定的に設置される。電子黒板２２は、ユーザのタッチパネルに対する描画動作に応じて、タッチパネルの表示デバイスによる表示が更新される。また、電子黒板２２は、ネットワーク１２を介して転送されたデータに応じた表示を行うことができ、また、表示デバイスによる表示画面の画像データを保存することができる。
センサＩ／Ｆ２３は、１以上のセンサ２４1、２４2、…が接続される。各センサ２４1、２４2、…は、会議室２ａ内の環境情報を検知する。詳細は後述するが、会議室２ａの環境情報は、例えば、会議室２ａに設置された室内灯が点灯しているか否か、ドアの開閉状態などを含む。センサＩ／Ｆ２３は、各センサ２４1、２４2、…の出力に応じた各検知結果を、ネットワーク１２を介してサーバ装置１０に送信する。
会議端末２５は、例えばスピーカ（ＳＰ）２５ａと、マイクロホン（ＭＩＣ）２５ｂと、動画撮影の可能なカメラ２５ｃとを含む。会議端末２５は、例えば会議室２ａに固定的に設置され、マイクロホン２５ｂで収音された音声による音声データと、カメラ２５ｃに撮影された撮影画像データとをネットワーク１２を介してサーバ装置１０に送信する。また、会議端末２５は、例えばサーバ装置１０からネットワーク１２を介して送信された音声データに基づく音声を、スピーカ２５ａにより再生する。
会議室２ａにおいて、電子黒板２２や各端末装置２０ａ、２０ｂは、例えば各端末装置２０ａ、２０ｂを使用する各ユーザが、それぞれの端末装置を操作可能なポジションにおいて電子黒板２２の表示を確認可能な位置関係にあることが考えられる。また、会議端末２５は、カメラ２５ｃが少なくとも電子黒板２２の表示を撮影可能とされ、スピーカ２５ａによる再生音が会議室２ａ内の各ユーザに聞き取り可能とされ、さらに、マイクロホン２５ｂにより会議室２ａ内の各ユーザによる発言を収音可能となるように設置される。
会議室２ｂは、会議室２ａと略同様の構成であるので、説明を省略する。なお、各会議室２ａ、２ｂ、…は、含有される各機器がサーバ装置１０と接続可能であれば、位置関係および形態などは限定されない。
情報処理システム１は、この会議室２ａに含まれる各端末装置２０ａおよび２０ｂと、電子黒板２２と、センサＩ／Ｆ２３および各センサ２４1、２４2、…と、会議端末２５をさらに含む。同様に、情報処理システム１は、会議室２ｂに含まれる、会議室２ａと同様の各構成をさらに含んでもよい。
情報処理システム１は、さらに、サーバ装置１０に対してインターネットといった外部のネットワーク３０を介して接続される１以上の端末装置２０ｃおよび２０ｄを含む。これら端末装置２０ｃおよび２０ｄは、例えば会議室２ａを少なくとも直接観察できない、会議室２ａに対して遠隔の場所において使用されるものとする。
また、この例では、端末装置２０ｃがデスクトップ型コンピュータといった非モバイルデバイス、端末装置２０ｄが多機能型携帯電話端末（スマートフォン）あるいはタブレット型コンピュータといったモバイルデバイスであるものとして示してる。なお、ここでは、ノート型コンピュータも非モバイルデバイスに含めるものとし、端末装置２０ｃは、ノート型コンピュータであってもよい。端末装置２０ｃおよび２０ｄは、それぞれマイクロホンおよびカメラを内蔵または接続可能とされ、マイクロホンで収音された音声、および、カメラで撮影された撮影映像を、それぞれ音声データおよび映像データとして処理可能とされているものとする。
図２は、実施形態に適用可能なサーバ装置１０の一例のハードウェア構成を示す。図２において、サーバ装置１０は、ＣＰＵ１０００と、ＲＯＭ(Read Only Memory)１００１と、ＲＡＭ(Random Access Memory)１００２と、ストレージ１００３と、通信Ｉ／Ｆ１００４とを含み、これら各部がバス１０１０により互いに通信可能に接続される。
ストレージ１００３は、ハードディスクドライブや不揮発性半導体メモリにより構成され、ＣＰＵ１０００が動作するための各種プログラムやデータが格納される。また、ＲＯＭ１００１は、例えばサーバ装置１０が起動、動作するために用いるプログラムやデータが予め記憶される。ＣＰＵ１０００は、ストレージ１００３やＲＯＭ１００１に格納されるプログラムに従い、ＲＡＭ１００２をワークエリアとして用いて動作し、サーバ装置１０の全体の動作を制御する。通信Ｉ／Ｆ１００４は、ＣＰＵ１０００の指示に従い、ネットワーク１２を介した通信を制御する。
図３は、実施形態に適用可能な電子黒板２２の一例のハードウェア構成を示す。図３において、電子黒板２２は、ＣＰＵ２０２０と、ＲＯＭ２０２１と、ＲＡＭ２０２２と、ストレージ２０２３と、通信Ｉ／Ｆ２０２４と、グラフィクスＩ／Ｆ２０２５と、入力Ｉ／Ｆ２０２６とを含み、これら各部がバス２０２８により互いに通信可能に接続される。このように、電子黒板２２は、ＣＰＵ２０２０と、ＲＯＭ２０２１およびＲＡＭ２０２２とを含み、コンピュータであると見做すことができる。
電子黒板２２は、ディスプレイ２０２７ａと、入力デバイス２０２７ｂとをさらに含む。ディスプレイ２０２７ａおよび入力デバイス２０２７ｂは、一体的に形成されて、所謂タッチパネル２０２７を構成する。
ストレージ２０２３は、ハードディスクドライブや不揮発性半導体メモリにより構成され、ＣＰＵ２０２０が動作するための各種プログラムやデータが格納される。また、ＲＯＭ２０２１は、例えば電子黒板２２が起動、動作するために用いるプログラムやデータが予め記憶される。ＣＰＵ２０２０は、ストレージ２０２３やＲＯＭ２０２１に格納されるプログラムに従い、ＲＡＭ２０２２をワークエリアとして用いて動作し、電子黒板２２の全体の動作を制御する。通信Ｉ／Ｆ２０２４は、ＣＰＵ２０２０の指示に従い、ネットワーク１２を介した通信を制御する。
グラフィクスＩ／Ｆ２０２５は、ＣＰＵ２０２０によりプログラムに従い生成された表示制御信号を、ディスプレイ２０２７ａが対応可能な表示信号に変換してディスプレイ２０２７ａに供給する。ディスプレイ２０２７ａは、表示デバイスとしての例えばＬＣＤ(Liquid Crystal Display)と、表示デバイスを表示信号に従い駆動する駆動回路とを含む。入力Ｉ／Ｆ２０２６は、入力デバイス２０２７ｂから、例えば入力デバイス２０２７ｂに対する接触操作に応じて出力された信号を、ＣＰＵ２０２０が対応可能な制御信号に変換して、バス２０２８に出力する。
図４は、実施形態に適用可能な端末装置２０ｃの一例のハードウェア構成を示す。なお、端末装置２０ａおよび２０ｂは、端末装置２０ｃと同等の構成であるものとし、ここでの説明を省略する。
図４において、端末装置２０ｃは、ＣＰＵ２０００と、ＲＯＭ２００１と、ＲＡＭ２００２と、グラフィクスＩ／Ｆ２００３と、ストレージ２００４と、入力Ｉ／Ｆ２００５と、音声Ｉ／Ｆ２００６と、通信Ｉ／Ｆ２００７と、映像Ｉ／Ｆ２００８とを含み、これら各部がバス２０１０により互いに通信可能に接続される。
ストレージ２００４は、ハードディスクドライブや不揮発性半導体メモリにより構成され、ＣＰＵ２０００が動作するための各種プログラムやデータが格納される。ストレージ２００４に格納されるプログラムの例としては、端末装置２０ｃの基本的な動作を制御するＯＳ(Operating System)や、ＨＴＭＬ(HyperText Markup Language)データに基づき表示や各種制御を行うブラウザアプリケーションプログラム（以下、ブラウザ）がある。また、ＲＯＭ２００１は、端末装置２０ｃが起動、動作するために用いるプログラムやデータが予め記憶される。ＣＰＵ２０００は、ストレージ２００４やＲＯＭ２００１に格納されるプログラムに従い、ＲＡＭ２００２をワークエリアとして用いて動作し、端末装置２０ｃの全体の動作を制御する。
グラフィクスＩ／Ｆ２００３は、ＣＰＵ２０００によりプログラムに従い生成された表示制御信号を、ディスプレイ２０１１が対応可能な表示信号に変換して、ディスプレイ２０１１に供給する。ディスプレイ２０１１は、例えば表示バイスとしてのＬＣＤと、表示信号に従い表示デバイスを駆動する駆動回路とを含む。
入力Ｉ／Ｆ２００５は、マウスなどのポイティングデバイスや、キーボードといった入力デバイス２０１２が接続される。入力Ｉ／Ｆ２００５は、入力デバイス２０１２に対するユーザ操作に応じて入力デバイス２０１２から出力される信号を、ＣＰＵ２０００が対応可能な制御信号に変換してバス２０１０に出力する。これに限らず、入力Ｉ／Ｆ２００５は、外部機器との間でデータの送受信を行う例えばＵＳＢ(Universal Serial Bus)といったデータＩ／Ｆを含んでいてもよい。
音声Ｉ／Ｆ２００６は、例えばマイクロホン（ＭＩＣ）２０１３から供給されるアナログ方式の音声信号を、ディジタル方式の音声データに変換して、バス２０１０に出力する。また、音声Ｉ／Ｆ２００６は、バス２０１０を介して供給されたディジタル方式の音声データを、アナログ方式の音声信号に変換して、スピーカ（ＳＰ）２０１４に出力する。スピーカ２０１４は、音声Ｉ／Ｆ２００６から出力され供給された音声信号に従い、音声を再生する。
通信Ｉ／Ｆ２００７は、ＣＰＵ２０００の指示に従い、ネットワーク１２を介した通信を制御する。
映像Ｉ／Ｆ２００８は、被写体を撮影し撮影画像データを出力するカメラ２０１５が接続される。なお、カメラ２０１５は、動画撮影が可能であり、毎秒６０フレームといったフレームレートで、動画撮影を行った撮影画像データを出力する。映像Ｉ／Ｆ２００８は、カメラ２０１５から出力される撮影画像データをバス２０１０に対して出力する。
図５は、実施形態に適用可能な、タブレット型コンピュータまたはスマートフォンとしての端末装置２０ｄの一例のハードウェア構成を示す。なお、図５において、上述した図４と共通する部分には同一の符号を付して、詳細な説明を省略する。
図５において、端末装置２０ｄは、上述した端末装置２０ｃの構成に対して、９軸センサ２０１６と、ＧＮＳＳ部２０１７とが追加されている。９軸センサ２０１６は、それぞれｘ，ｙ，ｚの３軸にて検知を行うジャイロセンサ（角速度センサ）、加速度センサ、地磁気センサを含み、端末装置２０ｄ（９軸センサ２０１６）の姿勢の変化を示す姿勢情報を、バス２０１０に対して出力する。
ＧＮＳＳ部２０１７は、ＧＮＳＳ(Global Navigation Satellite System)に対応し、ＧＮＳＳによる衛星からの電波を受信して、受信した電波に含まれる情報に基づき現在位置を示す位置情報を取得する。また、ＧＮＳＳ部２０１７は、位置情報と共に、現在の時刻を示す時間情報を取得することができる。ＧＮＳＳ部２０１７は、取得した位置情報および時間情報を、バス２０１０に対して出力する。
（実施形態に適用可能な情報処理システムにおける処理の概要）
次に、図６を用いて、実施形態に適用可能な情報処理システム１における各情報の流れについて、概略的に説明する。なお、図６において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。
ここでは、会議室２ａにおいて、電子黒板２２を用いて会議を行う例について説明する。会議の主催者は、会議に参加する参加者を予め把握し、また、会議に用いる資料データを予めサーバ装置１０に登録しておくものとする。また、会議には、主催者以外には、会議室２ａ内で端末装置２０ｂを用いて会議に参加する者（直接参加者と呼ぶ）と、端末装置２０ｃを用いてネットワーク３０を介して会議に参加する者（遠隔参加者と呼ぶ）との２人が参加するものとする。
例えば会議の主催者は、会議で用いる資料のデータを、会議開始前に予めサーバ装置１０に登録し、例えばストレージ１００３に格納しておく。主催者は、サーバ装置１０に格納した資料データを、会議開始前、あるいは、会議中に、サーバ装置１０から取り出して電子黒板２２に転送する（ステップＳ１０）。電子黒板２２は、サーバ装置１０から転送された資料データを例えばストレージ２０２３に保存し、また、当該資料データに応じた画面をタッチパネル２０２７のディスプレイ２０２７ａに表示させることができる。
例えば、電子黒板２２に対する所定の操作に応じて会議が開始され、その旨がサーバ装置１０に通知される。サーバ装置１０は、会議の開始を示す通知を受け取ると、この会議に関する時系列を定義する。例えば、サーバ装置１０は、会議の開始の通知を受け取った時間を基準として時系列を定義し、定義された時系列に従いこの会議の経過時間を管理する。サーバ装置１０は、複数の会議室２ａおよび２ｂからそれぞれ会議の開始の通知を受け取った場合には、それぞれの通知を受信した各時間を基準として、各会議室２ａおよび２ｂにおける各会議について、それぞれ時系列を定義する。すなわち、サーバ装置１０は、会議毎に異なる時系列で経過時間を管理する。
会議が開始されると、会議端末２５は、マイクロホン２５ｂおよびカメラ２５ｃにより、会議の様子の撮影および収音を開始する。会議端末２５は、撮影した映像データと、収音した音声データとをサーバ装置１０に送信する（ステップＳ１１）。また、会議が開始されると、センサＩ／Ｆ２３は、各センサ２４1、２４2、…による検知結果をサーバ装置１０に送信する（ステップＳ１２）。
端末装置２０ｂは、例えば内蔵されるマイクロホンで収音された音声に基づく音声データをサーバ装置１０に送信する（ステップＳ１３）。端末装置２０ｂがカメラを内蔵している場合、端末装置２０ｂは、さらに、カメラで撮影された撮影映像に基づく映像データをサーバ装置１０に送信することができる。
サーバ装置１０は、会議端末２５から送信された音声データおよび映像データと、端末装置２０ｂから送信された音声データとをそれぞれ受信する。サーバ装置１０は、受信した映像データおよび音声データを、端末装置２０ｃに送信する（ステップＳ１４）。それと共に、サーバ装置１０は、受信した音声データおよび映像データを例えばストレージ１００３に、会議の時系列と関連付けて順次に保存する。
図７は、実施形態に適用可能な時系列について概略的に示す図である。サーバ装置１０は、図７（ｄ）に例示されるように、例えば電子黒板２２からの会議の開始通知を受信した時間ｔstを基準として時系列を定義する。また、サーバ装置１０は、図７（ｂ）および図７（ｃ）に例示されるように、会議端末２５から送信された映像データ（映像）および音声データ（音声）に対して、時系列の各時間を関連付ける。この例では、映像データおよび音声データの先頭が時間ｔstに関連付けられている。以降、サーバ装置１０は、映像データおよび音声データを、時系列上の時間の経過に応じて管理する。
ここで、サーバ装置１０は、ステップＳ１４で音声データを端末装置２０ｃに送信するにあたり、受信した各音声データのうち何れの音声データを再生するかを選択する選択情報を端末装置２０ｃに送信する。例えば、サーバ装置１０は、受信した複数の音声データに対して互いに異なるチャネルを割り当てる。ここでは、サーバ装置１０は、会議端末２５から送信された音声データにチャネルｃｈ＃１を、端末装置２０ｂから送信された音声データにチャネルｃｈ＃２を、それぞれ割り当てるものとする。
端末装置２０ｃは、サーバ装置１０から送信された、チャネルｃｈ＃１およびｃｈ＃２のうち何れのチャネルの音声データを再生させるかを選択するための選択情報に基づく選択画面を、ディスプレイ２０１１に表示させる。端末装置２０ｃは、選択画面に応じたユーザ操作に従い、スピーカ２０１４から再生する音声データのチャネルを決定し、決定されたチャネルを示すチャネル選択情報をサーバ装置１０に送信する。サーバ装置１０は、会議端末２５および端末装置２０ｂから受信した各音声データから、端末装置２０ｃから送信されたチャネル選択情報に示されるチャネルの音声データを選択して、端末装置２０ｃに送信する。端末装置２０ｃを使用するユーザ（遠隔参加者）は、複数の音声データから、会議の様子をより聞き取り易い音声データを選択することができる。
なお、サーバ装置１０は、例えば、端末装置２０ｃからの要求に応じて、資料データを端末装置２０ｃに送信することができる。同様に、サーバ装置１０は、端末装置２０ｂからの要求に応じて、資料データを端末装置２０ｂに送信することができる。
端末装置２０ｃは、内蔵または接続されるマイクロホン２０１３で収音された音声に基づく音声データをサーバ装置１０に送信する（ステップＳ１５）。端末装置２０ｃは、さらに、内蔵または接続されるカメラ２０１５で撮影を行っている場合には、撮影された撮影映像に基づく映像データをサーバ装置１０に送信することもできる。
サーバ装置１０は、端末装置２０ｃから送信された音声データを受信して時系列に従った時間情報と関連付けてストレージ１００３に順次に保存すると共に、受信した音声データを会議端末２５に送信する（ステップＳ１６）。会議端末２５は、サーバ装置１０から送信された、端末装置２０ｃによる音声データを受信し、受信した音声データに基づく音声をスピーカ２５ａにより再生する。
電子黒板２２は、ユーザ操作に応じて、タッチパネル２０２７に表示された情報（画面情報）を例えばストレージ２０２３に保存することができる。保存される画面情報は、タッチパネル２０２７のディスプレイ２０２７ａに表示される、描画に応じた描画画像と、資料データによる資料画像とを含む。電子黒板２２は、保存した画面情報を、サーバ装置１０に送信する（ステップＳ１７）。サーバ装置１０は、電子黒板２２から送信された画面情報を受信し、受信した画面情報を、時系列に従った時間情報と関連付けて例えばストレージ１００３に保存する。
なお、電子黒板２２は、ユーザ操作に応じて、ディスプレイ２０２７ａに表示させる資料データや、ディスプレイ２０２７ａに表示させる画面の全体を変更することができる。電子黒板２２は、資料データや画面の変更の履歴を、サーバ装置１０に送信することができる。上述した図７において、図７（ａ）は、資料データが、時系列上の時間ｔ1、ｔ2、ｔ3、ｔ4、ｔ5、…において、それぞれ資料＃１、＃２、＃３、＃４、＃５、…と変更される様子を示している。
電子黒板２２は、例えば、資料＃１が時間ｔ1にてディスプレイ２０２７ａに表示された場合に、資料＃１を示す情報と、時間ｔ1を示す情報とをサーバ装置１０に送信する。サーバ装置１０では、これら資料＃１を示す情報と、時間ｔ1を示す情報とを受信すると、資料＃１を示す情報と、時間ｔ1を示す情報とを関連付けて、例えばストレージ１００３に保存する。
サーバ装置１０は、時系列上の特定の時間を記憶することができる。例えば、端末装置２０ｃは、あるタイミングでなされたマーカ付与のユーザ操作を受け付けると、サーバ装置１０に対して、マーカ付与の操作を受け付けた時間を示す時間情報を含むマーカ付与の要求を送信する（ステップＳ１８）。サーバ装置１０は、この要求に応じて、要求に含まれる時間情報を含むマーカ情報を設定し、設定したマーカ情報を例えばストレージ１００３に保存する。上述した図７（ｄ）において、時間ｔMにマーカ情報に基づくマーカＭが設定された様子が示されている。
サーバ装置１０は、後（例えば図７（ｄ）の時間ｔN）に、端末装置２０ｃから、例えば付与したマーカに基づく再生要求を受け付けると、当該マーカに関連付けられた時間ｔMに対応する位置から、音声データおよび映像データを端末装置２０ｃに送信する（Ｓ１９）。端末装置２０ｃは、サーバ装置１０から送信された音声データおよび映像データを受信して、再生する。端末装置２０ｃを使用するユーザは、例えば自身がマーキングした時点から音声および映像を視聴することができる。端末装置２０ｂにおいても同様に、マーカ付与の要求をサーバ装置１０に送信し（ステップＳ２０）、マーキングした時点からの音声および映像を視聴することができる。
（実施形態に係る情報処理システムを実現するための機能構成）
次に、実施形態に係る情報処理システム１を実現するための一例の機能構成について説明する。
図８は、図１に示したサーバ装置１０の機能を説明するための一例の機能ブロック図である。図８において、サーバ装置１０は、通信部１００と、ユーザ管理部１０１と、選択部１０２と、記憶部１０３と、１以上のプロジェクト管理部１０４と、制御部１０５とを含む。通信部１００、ユーザ管理部１０１、選択部１０２、記憶部１０３、各プロジェクト管理部１０４および制御部１０５は、ＣＰＵ１０００上で動作するプログラムにより実現される。これに限らず、通信部１００、ユーザ管理部１０１、選択部１０２、記憶部１０３、各プロジェクト管理部１０４および制御部１０５のうち一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
サーバ装置１０において、制御部１０５は、サーバ装置１０の全体の動作を制御する。通信部１００は、ネットワーク１２を介した通信を行う。通信部１００は、ブラウザなどを実行する複数の端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄからのアクセスを受け付ける。そして、サーバ装置１０は、複数の端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄのそれぞれに対して、その端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄが要求した情報を提供する。
ユーザ管理部１０１は、サーバ装置１０にアクセス可能なユーザの情報を管理する。表１は、ユーザ管理部１０１がユーザ情報管理に用いるユーザ管理テーブルの例を示す。ユーザ管理テーブルは、例えばストレージ１００３に保存される。
表１において、ユーザ管理テーブルは、「ユーザＩＤ」、「ユーザ名」、「パスワード」、「メールアドレス」、「接続先情報」の各項目を含む１以上のレコードを有する。
Figure 0006827236
項目「ユーザＩＤ」は、そのレコードが示すユーザを識別するための識別情報であるユーザＩＤが格納される。項目「ユーザ名」は、そのレコードのユーザのユーザ名が格納される。項目「パスワード」は、そのレコードのユーザがサーバ装置１０にアクセスする際の認証に用いるパスワードが格納される。サーバ装置１０は、例えばユーザＩＤとパスワードとの組み合わせを用いてユーザ認証を行う。項目「メールアドレス」は、そのレコードのユーザが持つ電子メールアドレスが格納される。項目「接続先情報」は、そのレコードのユーザが主に用いる端末装置の接続情報（例えばＭＡＣアドレス(Media Access Control address)）が格納される。
サーバ装置１０において、１以上のプロジェクト管理部１０４は、それぞれプロジェクトを管理する。プロジェクトは、複数のユーザを含むグループが形成され、サーバ装置１０は、プロジェクト毎に、グループに含まれるユーザ間のコミュニケーションを実現させる。
なお、上述した会議室２ａ、２ｂ、…で行われる会議は、会議室毎に１のプロジェクトのユーザをメンバとして実行されるものとする。これはこの例に限定されず、１の会議室において複数のプロジェクトのユーザが混在したメンバで会議を実行してもよいし、１のプロジェクトのユーザを複数の会議室における会議に分散してもよい。以下では、１のプロジェクトは、１の会議に対応するものとして説明を行う。
ここで、実施形態において、会議への参加方法として、以下の３種類の参加方法を定義する。
（１）直接参加
（２）遠隔参加
（３）準参加
（１）の直接参加は、例えば会議の主催者と同室におり、主催者と直接的に議論を行うことが可能な参加方法である。図１の例では、直接参加により参加する参加者（直接参加者と呼ぶ）は、会議室２ａ内で端末装置２０ｂを使用するものとする。直接参加者は、会議に、会議の開始から終了までフルタイムで参加する参加形態を取ることを前提とする。
（２）の遠隔参加は、主催者とは異なる場所（部屋）におり、例えばネットワーク３０を介して会議に参加する参加方法である。図１の例では、遠隔参加により参加する参加者（遠隔参加者と呼ぶ）は、ネットワーク３０を介してサーバ装置１０に接続される、端末装置２０ｃおよび２０ｄの何れかを使用するものとする。遠隔参加者は、会議に、会議の開始から終了までフルタイムで参加する参加形態を取ることを前提とするが、これに限らず、会議の開始から終了までの間の一部期間のみ、参加する参加形態であってもよい。
（３）の準参加は、会議の閲覧のみを行い、会議に対して発言などのアクションを起こさないことを前提とする参加方法である。図１の例では、準参加により参加する参加者（準参加者と呼ぶ）は、ネットワーク３０を介してサーバ装置１０に接続される、端末装置２０ｃおよび２０ｄの何れかを使用するものとする。準参加者は、会議に、会議の開始から終了までの間の任意の期間に参加するパート参加の参加形態を取ることを前提とするが、これに限らず、会議にフルタイムで参加する参加形態であってもよい。
説明は図８に戻り、選択部１０２は、プロジェクトを管理するためのプロジェクト管理テーブルを有する。選択部１０２は、ユーザ認証がされた例えば端末装置２０ａからアクセスされた場合、プロジェクト管理テーブルに基づき図９に示すようなプロジェクト選択画面４００を端末装置２０ａに提供して、端末装置２０ａのディプレイ２０１１に表示させる。プロジェクト選択画面４００は、管理している少なくとも１つのプロジェクトの中から１を端末装置２０ａに選択させるための画面である。
表２は、実施形態に適用可能なプロジェクト管理テーブルの例を示す。表２において、プロジェクト管理テーブルは、「プロジェクトＩＤ」、「メンバのユーザＩＤ」、「プロジェクト名」、「定例日時」の各項目を含む１以上のレコードを有する。
Figure 0006827236
項目「プロジェクトＩＤ」は、プロジェクトの識別情報が格納される。プロジェクトの識別情報は、プロジェクトの新規作成時にサーバ装置１０が一意に生成する。項目「メンバのユーザＩＤ」は、プロジェクトに参加しているユーザのユーザＩＤが列挙される。ユーザＩＤは、表１に示したユーザ管理テーブルにおける項目「ユーザＩＤ」に格納される値が用いられる。項目「プロジェクト名」は、そのレコードのプロジェクトの名前が格納される。項目「プロジェクト名」に格納される値が、プロジェクト選択画面４００に表示される。項目「定例日時」は、そのレコードのプロジェクトにおいて定例的に行われるイベント（会議など）の日時が格納される。
端末装置２０ａは、ユーザ（主催者）により何れかのプロジェクトが選択された場合、選択されたプロジェクトを示す選択情報をサーバ装置１０に送信する。選択部１０２は、端末装置２０ａからの選択情報に応じて、その端末装置２０ａが参加するプロジェクトを選択する。選択部１０２は、端末装置２０ａからの選択情報に応じて選択されたプロジェクトに対応するプロジェクト管理部１０４を呼び出し、そのプロジェクト管理部１０４とその端末装置２０ａとの間の情報のやり取りを可能とする。
それぞれのプロジェクト管理部１０４は、対応するプロジェクトに参加するそれぞれの端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄからアクセスを受け付ける。また、それぞれのプロジェクト管理部１０４は、対応するプロジェクトに関する各種の情報処理を実行する。
記憶部１０３は、それぞれのプロジェクト管理部１０４が管理するデータを、プロジェクト毎に例えばストレージ１００３に記憶させる。
図１０は、実施形態に係るプロジェクト管理部１０４の機能を説明するための一例の機能ブロック図である。プロジェクト管理部１０４は、映像音声処理部１０４０と、会議情報管理部１０４２と、時間取得部１０４３と、画面提供部１０４４と、時間管理部１０４５と、受付部１０４６と、テキスト化部１０４７とを含む。
プロジェクト管理部１０４において、映像音声処理部１０４０は、サーバ装置１０に受信された、当該プロジェクト管理部１０４が管理するプロジェクトに係る映像データおよび音声データに対する処理を行う。例えば映像音声処理部１０４０は、サーバ装置１０における映像データおよび音声データの送受信処理、および、映像データおよび音声データのストレージ１００３などに対する保存処理などを制御する。
図１を参照して音声データの例について説明すると、例えば、映像音声処理部１０４０は、会議端末２５、および、端末装置２０ａ〜２０ｄから送信された音声データをそれぞれ受信し、ストレージ１００３に順次に保存する。また、映像音声処理部１０４０は、受信した各音声データから、例えば端末装置２０ｃおよび２０ｄから送信されたチャネル選択情報に従いそれぞれ選択した音声データを、端末装置２０ｃおよび２０ｄにそれぞれ送信する。
映像データについては、映像音声処理部１０４０は、会議端末２５から送信された映像データを受信し、ストレージ１００３に保存する。また、映像音声処理部１０４０は、受信した映像データを、例えば端末装置２０ｃおよび２０ｄの要求に従い、端末装置２０ｃおよび２０ｄに送信する。
さらに、映像音声処理部１０４０は、例えばストレージ１００３に保存される映像データおよび音声データを、時系列上で指定された位置（時間）から読み出して出力する。例えば、映像音声処理部１０４０は、ストレージ１００３に保存される映像データおよび音声データを、上述したマーカ情報により指定した位置から出力することができる。
会議情報管理部１０４２は、当該プロジェクト管理部１０４に管理されるプロジェクトにおいて行われる会議の情報を管理する。表３は、会議情報管理部１０４２が会議の情報を管理するために用いる会議管理テーブルの例を示す。表３において、会議管理テーブルは、「プロジェクトＩＤ」、「会議ＩＤ」、「会議名」、「参加者」、「場所」、「日時」および「会議端末情報」の各項目を含む１以上のレコードを有する。
Figure 0006827236
項目「プロジェクトＩＤ」は、その会議が属するプロジェクトの識別情報が格納される。項目「プロジェクトＩＤ」に格納される値は、表２のプロジェクト管理テーブルにおける項目「プロジェクトＩＤ」の値が用いられる。項目「会議ＩＤ」は、その会議を識別する識別情報が格納される。会議の識別情報は、会議の新規作成時にサーバ装置１０が一意に生成する。項目「会議名」は、その会議に設定された名前が格納される。項目「参加者」は、その会議に参加する参加者のユーザＩＤが格納される。ユーザＩＤは、表１に示したユーザ管理テーブルにおける項目「ユーザＩＤ」に格納される値が用いられる。また、ユーザＩＤは、項目「プロジェクトＩＤ」の値で識別されるプロジェクトに参加しているユーザのユーザＩＤから選択される。項目「場所」は、会議が行われる場所（部屋）を示す情報が格納される。項目「日時」は、会議が行われる日付および時間が格納される。項目「会議端末情報」は、その会議で用いられる会議端末２５を識別する識別情報が格納される。
また、会議情報管理部１０４２は、会議ＩＤ毎に、会議で用いる資料データを管理する。さらに、会議情報管理部１０４２は、電子黒板２２に描画された描画画像の管理も行う。会議情報管理部１０４２は、例えば電子黒板２２に表示される資料データにオーバーラップして描画がなされた場合、描画画像と当該資料データとを関連付けて管理する。また、会議情報管理部１０４２は、例えば端末装置２０ａに対して、後述する会議管理画面を提供する。
時間取得部１０４３は、現在の日時および時刻を示す時間情報を取得する。
画面提供部１０４４は、各端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄの画面を提供する。例えば、画面提供部１０４４は、画面を表示させるための表示制御情報を、例えばＨＴＭＬに従い記述されたＷｅｂページとして所定のＵＲＬ(Uniform Resource Locator)に示される場所に保存する。各端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄは、自身に搭載されるブラウザにより当該ＵＲＬにアクセスすることで、画面提供部１０４４により提供される画面を表示することができる。なお、ＨＴＭＬには、Ｗｅｂページにアクセスした機器の種類（デスクトップ型コンピュータ、タブレット型コンピュータ、スマートフォン、など）を判別するための仕組みを有し、アクセスした機器の種類に応じた画面を提供することが可能である。
画面提供部１０４４による各端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄへの画面の提供は、Ｗｅｂページを用いる方法に限定されない。例えば、各端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄに、この情報処理システム１に専用のアプリケーションプログラムを搭載させ、画面提供部１０４４は、各端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄに対して、この専用のアプリケーションプログラムによる画面表示を制御するための所定の表示制御情報を送信するようにしてもよい。
時間管理部１０４５は、当該プロジェクト管理部１０４に管理されるプロジェクトにおいて行われる会議における時系列を管理する。例えば、時間管理部１０４５は、時間取得部１０４３から取得した時間を、会議が開始された時間を基準とする時系列上の時間、すなわち、会議開始時からの経過時間として管理する。また、時間管理部１０４５は、当該会議において各端末装置２０ａ〜２０ｄにおいて設定されサーバ装置１０に送信された各マーカ情報と、時系列上の時間（経過時間）とを関連付けて管理する。
さらに、時間管理部１０４５は、電子黒板２２および各端末装置２０ａ〜２０ｄから送信された、電子黒板２２および各端末装置２０ａ〜２０ｄにおける各アクション（電子黒板２２上での資料データの表示、各端末装置２０ａ〜２０ｄからの反応、など）を示す情報を時系列上で蓄積的に記憶し、アクションのログを記録する。ログは、会議の識別情報（会議ＩＤ）と関連付けて例えばストレージ１００３に保存される。
受付部１０４６は、各端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄから送信されたマーカ付与の要求や、センサＩ／Ｆ２３から送信された検知結果などを受け付ける。テキスト化部１０４７は、映像音声処理部１０４０において取得された音声データを、既存の技術を用いて解析してテキスト化する。これに限らず、テキスト化部１０４７は、例えばネットワーク３０を介して接続可能な外部のサービスを利用して、音声データのテキスト化を行ってもよい。
サーバ装置１０における各機能を実現するための情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該情報処理プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該情報処理プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。
当該情報処理プログラムは、上述した各部（映像音声処理部１０４０、会議情報管理部１０４２、時間取得部１０４３、画面提供部１０４４、時間管理部１０４５、受付部１０４６およびテキスト化部１０４７）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がストレージ１００３などの記憶媒体から当該情報処理プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、映像音声処理部１０４０、会議情報管理部１０４２、時間取得部１０４３、画面提供部１０４４、時間管理部１０４５、受付部１０４６およびテキスト化部１０４７が主記憶装置上に生成されるようになっている。
図１１は、実施形態に適用可能な端末装置２０ｄの機能を説明するための一例の機能ブロック図を示す。端末装置２０ｄは、通信部２００と、制御部２０１と、入力受付部２０２と、表示制御部２０３と、音声処理部２０４と、映像処理部２０５と、運動検知部２０６と、マーカ処理部２０７とを含む。なお、端末装置２０ａ、２０ｂおよび２０ｃは、図１１に示す構成から運動検知部２０６を省いた構成となる。ここでは、端末装置２０ａ、２０ｂ、２０ｃおよび２０ｄを、端末装置２０ｄで代表させて説明を行う。
これら通信部２００、制御部２０１、入力受付部２０２、表示制御部２０３、音声処理部２０４、映像処理部２０５、運動検知部２０６およびマーカ処理部２０７は、ＣＰＵ２０００上で動作するプログラムにより実現される。これに限らず、通信部２００、制御部２０１、入力受付部２０２、表示制御部２０３、音声処理部２０４、映像処理部２０５、運動検知部２０６およびマーカ処理部２０７の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
通信部２００は、通信Ｉ／Ｆ２００７を制御して、ネットワーク１２やネットワーク３０を介した通信を行う。制御部２０１は、端末装置２０ｄの全体の動作を制御する。入力受付部２０２は、入力Ｉ／Ｆ２００５を制御して、入力デバイス２０１２に対してなされたユーザ操作による入力を受け付ける。表示制御部２０３は、表示制御情報に基づき表示制御信号を生成し、表示制御信号に従いグラフィクスＩ／Ｆ２００３を制御してディスプレイ２０１１に所定の画面を表示させる。
音声処理部２０４は、音声データに対して所定の処理を施す。例えば、音声処理部２０４は、マイクロホン２０１３で収音されたアナログ方式の音声信号が音声Ｉ／Ｆ２００６で変換されたディジタル方式の音声データに対して所定の処理を施して通信部２００に渡す。通信部２００は、音声処理部２０４から渡された音声データをサーバ装置１０に送信する。また例えば、音声処理部２０４は、マイクロホン２０１３で収音された、例えばユーザの音声による音声信号に基づく音声データを既存の音声認識技術を用いて解析し、音声に含まれる特定ワードを抽出することができる。
映像処理部２０５は、映像データに対して所定の処理を施す。例えば、映像処理部２０５は、カメラ２０１５で撮影され映像Ｉ／Ｆ２００８から出力された映像データに対して所定の処理を施して通信部２００に渡す。通信部２００は、映像処理部２０５から渡された映像データをサーバ装置１０に送信する。また例えば、映像処理部２０５は、カメラ２０１５での撮影により得た、例えばユーザの映像を含む映像データを既存の映像解析技術を用いて解析し、映像に含まれるユーザの特定のポーズを抽出することができる。
運動検知部２０６は、９軸センサ２０１６の出力を解析して、端末装置２０ｄの姿勢および姿勢の変化を検出する。マーカ処理部２０７は、入力受付部２０２に受け付けられた入力に応じてマーカ情報を作成する。
端末装置２０ｄに含まれる各機能部のうち、制御部２０１を除く各部（通信部２００、入力受付部２０２、表示制御部２０３、音声処理部２０４、映像処理部２０５、運動検知部２０６およびマーカ処理部２０７）は、例えばＷｅｂアプリケーションプログラムであって、端末装置２０ｄがブラウザによりネットワーク３０（端末装置２０ｂの場合はネットワーク１２）を介してサーバ装置１０から取得したプログラムがＣＰＵ２０００上で実行されることで構成される。
（実施形態に適用可能な処理の具体例）
次に、実施形態に適用可能な処理について、より具体的に説明する。以下では、図１を参照し、会議室２ａにおいて電子黒板２２を用いて会議を行うものとして説明を行う。会議の主催者は、端末装置２０ａを、直接参加者は、端末装置２０ｂを、それぞれ用いるものとする。また、遠隔参加者および準参加者は、それぞれ端末装置２０ｃおよび端末装置２０ｄのうち何れを用いてもよいが、ここでは、遠隔参加者が端末装置２０ｃを用い、準参加者が端末装置２０ｄを用いるものとする。
図１２は、実施形態に適用可能な、会議の準備段階におけるサーバ装置１０の処理を示す一例のフローチャートである。例えば、会議の主催者は、端末装置２０ａを用いてサーバ装置１０にアクセスする。ステップＳ１００で、サーバ装置１０は、端末装置２０ａからのアクセスを受け付ける。例えば、サーバ装置１０は、ユーザ管理部１０１により、端末装置２０ａからのアクセスに応じて、端末装置２０ａに対して、ユーザＩＤおよびパスワードの入力領域を備えるログイン画面を提示する。サーバ装置１０において、ユーザ管理部１０１は、端末装置２０ａから、このログイン画面に対して入力されたユーザＩＤおよびパスワードを受信すると、例えばユーザ管理テーブルを参照して認証処理を行い、認証が成功した場合に、端末装置２０ａからのアクセスを許可する。
ステップＳ１００で端末装置２０ａのアクセスを許可すると、次のステップＳ１０１で、サーバ装置１０は、プロジェクト管理テーブルに基づき図９に示したプロジェクト選択画面４００を端末装置２０ａに提示する。例えば会議の主催者は、端末装置２０ａを操作して、プロジェクト選択画面４００に対してプロジェクト選択入力を行い、会議を行うプロジェクトを指定する。端末装置２０ａは、プロジェクト選択入力の結果をサーバ装置１０に送信する。
会議の主催者は、会議を行うためのプロジェクトを新規に作成してもよい。この場合、例えば、サーバ装置１０において、選択部１０２は、端末装置２０ａからのプロジェクト新規作成要求に応じて、表２で示したプロジェクト管理テーブルにおける入力すべき各項目の入力領域を含むプロジェクト作成画面を端末装置２０ａに提示する。選択部１０２は、端末装置２０ａから、このプロジェクト作成画面に従い入力された各項目の情報に基づきプロジェクト管理テーブルにレコードを追加して、新規のプロジェクトを作成する。
次のステップＳ１０２で、サーバ装置１０は、端末装置２０ａによりプロジェクト選択画面４００に対してなされたプロジェクト選択入力を受け付け、入力結果を取得する。サーバ装置１０は、取得したプロジェクト選択入力の結果に基づき、端末装置２０ａにより指定されたプロジェクトのプロジェクトＩＤを取得する。サーバ装置１０は、ステップＳ１０２で取得されたプロジェクトＩＤに対応するプロジェクト管理部１０４を、複数のプロジェクト管理部１０４から特定する。
次のステップＳ１０３で、サーバ装置１０は、ステップＳ１０２で特定されたプロジェクト管理部１０４の画面提供部１０４４により、端末装置２０ａに対して会議管理画面を提示する。
次のステップＳ１０４で、サーバ装置１０において会議情報管理部１０４２は、会議管理画面に対する会議の書誌情報などの入力を受け付ける。ステップＳ１０４では、（ａ）会議に参加するメンバ（参加者）に関する情報の登録と、（ｂ）会議の書誌情報の設定と、（ｃ）会議に用いる資料データの登録とが行われる。会議の書誌情報は、例えば会議名、議題、会議の日時および場所などを含む。
図１３は、実施形態に適用可能な、画面提供部１０４４が端末装置２０ａに対して提示する会議管理画面の例を示す。図１３において、会議管理画面５００は、プロジェクトに参加しているメンバの情報が表示されるメンバ表示領域５０１と、議題を設定するための議題設定領域５０２とを含む。
メンバ表示領域５０１は、プロジェクトに参加している各メンバのメンバ情報５０１０1、５０１０2、５０１０3、…が一覧で表示される。メンバ表示領域５０１にプロジェクトに参加している全メンバの情報が表示しきれない場合は、例えば端末装置２０ａに対する所定の操作によりメンバ表示領域５０１をスクロール（この例では横方向にスクロール）させることで、表示されていないメンバの情報がメンバ表示領域５０１内に出現する。
例えばメンバ情報５０１０1は、このメンバ情報５０１０1に表示されるメンバを示すアイコン画像５０１１が表示されると共に、当該メンバの各属性情報が表示される表示領域５０１２〜５０１５を含む。表示領域５０１２は、当該メンバの名前が表示される。画面提供部１０４４は、例えばユーザ管理テーブルとプロジェクト管理テーブルとに基づき、プロジェクトに参加しているメンバの名前を取得する。
表示領域５０１３は、当該メンバの参加方法が表示される。参加種類は、例えば上述した参加者の種類のうち（１）〜（３）の直接参加、遠隔参加および準参加と、会議に参加しないことを示す不参加とを含む。図１３の例では、メンバ情報５０１０1および５０１０4のメンバが直接参加（Ｐａｒｔｉｃｉｐａｔｉｏｎ）、メンバ情報５０１０2のメンバが遠隔参加（Ｒｅｍｏｔｅ）、メンバ情報５０１０3のメンバが準参加（Ｓｅｍｉ−Ｐａｒｔｉｃｉｐａｔｉｏｎ）、メンバ情報５０１０5のメンバが不参加（Ａｂｓｅｎｔ）となっている。
表示領域５０１４は、当該メンバの参加形態が表示される。図１３の例では、メンバ情報５０１０1、５０１０2および５０１０4のメンバがフルタイムの参加形態、メンバ情報５０１０3のメンバが議題２および３のみ参加のパート参加形態となっている。
会議情報管理部１０４２は、各メンバの参加種類および参加形態を、例えば表４に示す参加方法テーブルを用いて管理する。表４において、参加方法テーブルは、それぞれユーザＩＤ、参加方法、参加形態に対応する「ユーザＩＤ」、「参加方法」、「参加形態」の各項目を含むレコードを、例えば会議の参加メンバ分、有する。参加方法テーブルは、例えば会議ＩＤに関連付けられて、ストレージ１００３に保存される。参加方法テーブルに格納される各情報は、例えば会議の主催者により予め登録される。
Figure 0006827236
表示領域５０１５は、当該メンバが会議のためにサーバ装置１０に登録した資料データの一覧が表示される。図１３の例では、各メンバ情報５０１０1〜５０１０5において表示領域５０１５の表示が「Ｎｏ Ｆｉｌｅ」とされ、資料データが登録されていないことが示されている。
なお、例えば会議の主催者は、端末装置２０ａに表示された会議管理画面５００における表示領域５０１２〜５０１５に表示される情報を、端末装置２０ａから編集することができる。また、プロジェクトの各メンバは、各自の端末装置２０ｂ、２０ｃおよび２０ｄから会議管理画面５００にアクセスして、自身の属性情報を編集することができる。表示領域５０１２〜５０１５に表示される情報は、例えば編集に応じてサーバ装置１０に送信され、会議情報管理部１０４２により会議管理テーブルおよび参加方法テーブルの対応する項目に反映され、登録される。
図１３において、議題設定領域５０２は、過去の会議における決定事項などを確認するための議題領域５０２０ａと、会議に議題を追加するための議題領域５０２０ｂとを含む。図１４は、議題領域５０２０ｂに対する操作に応じて端末装置２０ａに表示される、実施形態に適用可能な議題設定画面の例を示す。なお、ここでは、図１４に示される議題設定画面５１０は、所定の権限（例えば会議の主催者）を持つユーザのユーザＩＤに応じて表示されるものとする。
図１４において、議題設定画面５１０は、入力領域５１０１〜５１０４と、ボタン５１０５ａおよび５１０５ｂとを含む。入力領域５１０１は、会議のタイトル（会議名）を入力するための領域である。入力領域５１０２は、会議の議題を入力するための領域である。
入力領域５１０３は、会議で用いる資料データをアップロードするための領域である。例えば、端末装置２０ａは、入力領域５１０３に設けられるボタン５１０３ａに対する操作に応じて、端末装置２０ａ内のファイルを選択するファイル選択画面を表示させる。端末装置２０ａは、ファイル選択画面に対するファイルの選択操作に応じて、入力領域５１０３に、アップロードを行うファイルの一覧を表示させる。
入力領域５１０４は、入力領域５１０４ａ、５１０４ｂおよび５１０４ｃを含む。入力領域５１０４ａは、会議の日付を入力するための領域である。入力領域５１０４ｂは、会議の開始時間および終了時間を入力するための領域である。また、入力領域５１０４ｃは、会議の場所を入力するための領域である。これら入力領域５１０４ａ、５１０４ｂおよび５１０４ｃは、例えば別途に提供されるスケジューラのアプリケーションプログラムを参照して値を入力することが可能である。
ボタン５１０５ａは、入力領域５１０１〜５１０４に入力された各情報を破棄するためのボタンである。ボタン５１０５ｂは、入力領域５１０１〜５１０４に入力された各情報を確定し、各情報をサーバ装置１０に登録するためのボタンである。端末装置２０ａは、ボタン５１０５ｂが操作されると、入力領域５１０１〜５１０４に入力された各情報をサーバ装置１０に送信する。また、端末装置２０ａは、入力領域５１０３に表示される各ファイルをサーバ装置１０に送信する。
サーバ装置１０において、会議情報管理部１０４２は、端末装置２０ａから受信した各情報のうち、入力領域５１０１に入力された会議のタイトルを、会議管理テーブルの項目「会議名」に、入力領域５１０４に入力された各情報を、会議管理テーブルの項目「日時」および「場所」に、それぞれ反映させて、書誌情報の登録を行う。また、会議情報管理部１０４２は、端末装置２０ａからアップロードされた各ファイルを、会議ＩＤおよびユーザＩＤと関連付けて例えばストレージ１００３に保存する。さらに、会議情報管理部１０４２は、端末装置２０ａから受信した、入力領域５１０２に入力された会議の議題を、会議ＩＤと関連付けてストレージ１００３などに所定に保存し、書誌情報に追加する。
なお、会議に参加する各メンバは、各自の端末装置２０ｂ、２０ｃおよび２０ｄから会議管理画面５００にアクセスして、例えば入力領域５０１３および５０１４に表示される、自身の会議への参加方法および参加形態を編集することができる。また、各メンバは、各自の端末装置２０ｂ、２０ｃおよび２０ｄから会議管理画面５００にアクセスして、入力領域５１０３に対して資料データのファイルをアップロードすることができる。アップロードされたファイルは、会議情報管理部１０４２により、会議ＩＤおよびユーザＩＤと関連付けられて、ストレージ１００３に保存される。
図１５は、実施形態に適用可能な、上述のようにして各情報の入力やファイルのアップロードが完了した場合の会議管理画面５００の例を示す。図１５の例では、メンバ情報５０１０2、５０１０3および５０１０4に、アップロードしたファイルの情報が表示されている。また、議題設定領域５０２において、新たに設定された議題の情報を含む議題領域５０２０ｃが追加されている。
説明は図１２に戻り、会議情報管理部１０４２は、ステップＳ１０５で、会議管理画面５００に従った各情報の登録が完了したか否かを判定する。完了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理がステップＳ１０４に戻される。一方、会議情報管理部１０４２は、情報の登録が完了したと判定した場合（ステップＳ１０５、「Ｙｅｓ」）、処理をステップＳ１０６に移行させる。会議情報管理部１０４２は、例えば、会議管理画面５００に対する所定の操作に応じて、情報の登録が完了したと判定することが考えられる。
ステップＳ１０６で、サーバ装置１０は、会議情報管理部１０４２により、会議管理画面５００のメンバ表示領域５０１により登録された、会議に参加する各参加者に対して、会議の開催が通知される。各参加者に対する会議開催通知は、例えば、会議管理テーブルおよびユーザ管理テーブルに基づき、各参加者に対する電子メールの送信により行う。ここで、会議情報管理部１０４２は、各参加者に送信する会議開催通知メールに、画面提供部１０４４が各端末装置２０ｂ、２０ｃおよび２０ｄに対して会議画面を表示させるためのＵＲＬを付加して、当該通知メールを送信する。
次のステップＳ１０７で、会議情報管理部１０４２は、現在が、議題設定画面５１０において入力領域５１０４ａおよび５１０４ｂに設定された会議開催日時であるか否かを判定する。現在が会議開催日時ではないと判定した場合（ステップＳ１０７、「Ｎｏ」）、会議情報管理部１０４２は、処理をステップＳ１０７に戻し、会議開催日時を待機する。
一方、会議情報管理部１０４２は、現在が会議開催日時であると判定した場合（ステップＳ１０７、「Ｙｅｓ」）、処理をステップＳ１０８に移行させる。ステップＳ１０８で、会議情報管理部１０４２は、電子黒板２２に対して、会議開始画面を表示させるよう指示する。図１６は、実施形態に適用可能な、電子黒板２２に表示される会議開始画面の例を示す。図１６において、会議開始画面５２０は、表示領域５２１および５２２と、ボタン５２３ａおよび５２３ｂとを含む。
表示領域５２１は、開始される会議名５２１０と、会議の主催者を示す情報５２１１とを含む。この例では、情報５２１１は、会議の主催者のアイコン画像と、名前とを含んでいる。表示領域５２２は、会議の書誌情報が表示される。この例では、表示される書誌情報は、会議が開催される日時を示す情報と、会議の開催場所を示す情報とを含んでいる。
ボタン５２３ａは、この会議の開始をキャンセルするためのボタンである。また、ボタン５２３ｂは、この会議の開始を指示するためのスタートボタンである。
図１７は、実施形態に適用可能な、電子黒板２２における処理を概略的に示す一例のフローチャートである。ステップＳ１２０で、電子黒板２２において会議開始画面５２０のボタン５２３ｂが操作され、会議の開始が指示される。電子黒板２２は、会議の開始指示をサーバ装置１０に通知する。
サーバ装置１０は、会議の開始時の通知に応じて、会議が開催される会議室２ａと遠隔の場所にある、端末装置２０ｃおよび２０ｄに対して会議の開始を通知する。
図１８は、実施形態に適用可能な、会議の開始を通知するための会議開始通知画面の例を示す。なお、以下では、端末装置２０ｄがスマートフォンであって、画面を縦長の方向に保持して画面表示させているものとして説明する。勿論、画面を横長の方向に保持した場合や、端末装置２０ｄがタブレット型コンピュータ、デスクトップ型コンピュータ、ノート型コンピュータであっても、同様の構成要素を用いて画面表示を行うことができる。
図１８において、会議開始通知画面５３０は、表示領域５３１および５３２と、ボタン５３３ａおよび５３３ｂとを含む。図１８の例では、表示領域５３１は、会議の議題が表示され、表示領域５３２は、会議の書誌情報として、会議が開催される日時および場所を示す情報が表示されている。また、図１８の例では、会議開始通知画面５３０は、会議の開始を通知するための表示５３１０および５３１１を含む。ボタン５３３ａは、会議開始通知画面５３０を閉じるためのボタンであり、ボタン５３３ｂは、次の画面に遷移させるためのボタンである。
次のステップＳ１２１で、サーバ装置１０は、電子黒板２２から会議の開始指示が通知されると、音声および映像の記録、ならびに、ログの取得を開始する。
より具体的には、サーバ装置１０は、例えば、会議開始指示の通知を受け付けた時間を会議開始時間とし、会議開始時間を基準とした時系列を、当該会議の会議ＩＤに関連付けられる時系列として定義する。サーバ装置１０は、会議端末２５から受信した音声データおよび映像データを、会議ＩＤおよび時系列上の時間と関連付けて、例えばストレージ１００３に保存する。サーバ装置１０は、同様に、各端末装置２０ｂ、２０ｃおよび２０ｄから音声データや映像データを受信している場合には、それらの音声データおよび映像データを、会議ＩＤおよび時系列上の時間と関連付けて、ストレージ１００３に保存する。
また、サーバ装置１０は、音声データおよび映像データの、会議端末２５や各端末装置２０ｂ、２０ｃおよび２０ｄへの送信も制御する。
さらに、サーバ装置１０は、電子黒板２２および各端末装置２０ａ〜２０ｄにおけるアクションを、電子黒板２２および各端末装置２０ａ〜２０ｄから受信することができる。サーバ装置１０は、電子黒板２２および各端末装置２０ａ〜２０ｄからアクションを受信した場合に、受信したアクションを、会議ＩＤおよび時系列上の時間と関連付けて、ストレージ１００３に蓄積に保存して、アクションのログを記録する。
次のステップＳ１２２で、電子黒板２２は、ディスプレイ２０２７ａに描画画面を表示させ、タッチパネル２０２７に対する描画の受け付けを開始する。これにより、ユーザは、タッチパネル２０２７に対して自在に描画を行い、描画した画像をタッチパネル２０２７のディスプレイ２０２７ａに表示させることが可能となる。
図１９は、実施形態に適用可能な描画画面の例を示す。図１９において、描画画面５４０は、表示領域５４００と、メニュー領域５４０１と、描画領域５４０２とを含む。表示領域５４００は、議題を切り替えるためのボタン５４００ａと、サーバ装置１０にログインしているユーザを示すアイコン画像５４００ｂとを含む。
メニュー領域５４０１は、ボタン５４０１ａ、５４０１ｂおよび５４０１ｃを含む。ボタン５４０１ａは、サーバ装置１０に予め登録される資料データファイルを指定するためのファイルリストを表示させるためのボタンである。ボタン５４０１ｂおよび５４０１ｃは、それぞれ、後述する留意事項マークおよび決定事項マークを設定するためのボタンである。
描画領域５４０２は、接触などによる描画が可能な領域である。描画領域５４０２は、ツールアイコン部５４１０と、画面切替部５４１１とを含む。ツールアイコン部５４１０は、電子黒板２２の各機能を指定するための各アイコン画像が含まれる。例えば、ツールアイコン部５４１０は、描画に用いる各描画ツールを示すアイコン画像が含まれる。所望の描画ツールのアイコン画像をタッチした後に描画領域５４０２をタッチすることで、当該描画ツールによる効果を描画領域５４０２に反映させることができる。
また、ツールアイコン部５４１０は、描画領域５４０２内に表示される画像の拡大縮小、複製、貼り付け、保存、消去などを実行するための各機能ボタンが含まれる。拡大縮小の機能ボタンを指定すると、描画領域５４０２内の画像が拡大または縮小されて表示される。複製の機能ボタンを指定すると、描画領域５４０２内の画像が例えばＲＡＭ２０２２に一時的に記憶される。貼り付けの機能ボタンを指定すると、複製の機能ボタンの指定により記憶された画像が、描画領域５４０２に貼り付けられる。保存の機能ボタンを指定すると、描画領域５４０２内の画像が例えばストレージ２０２３に保存される。消去の機能ボタンを指定すると、描画領域５４０２内の画像が消去される。
画面切替部５４１１は、例えばツールアイコン部５４１０における保存の機能ボタンを指定して保存された画像のサムネイル画像が一覧表示される。電子黒板２２は、画面切替部５４１１に表示されるサムネイル画像が指定されると、指定されたサムネイル画像に対応する画像をストレージ２０２３から読み出して、描画領域５４０２内に表示させることができる。
次のステップＳ１２３で、電子黒板２２は、ステップＳ１２０で開始された会議が終了したか否かを判定する。電子黒板２２は、例えば、タッチパネル２０２７に対する、予め定められた会議終了を指示する操作の有無に基づき、会議が終了したか否かを判定する。電子黒板２２は、タッチパネル２０２７に対して会議終了を指示する操作があった場合、会議が終了したと判定し（ステップＳ１２３、「Ｙｅｓ」）、会議の終了をサーバ装置１０に通知し、図１７のフローチャートにおける一連の処理を終了させる。
サーバ装置１０は、電子黒板２２による会議終了の通知に応じて、例えば音声データおよび映像データの記録と、ログの記録とを終了させる。
電子黒板２２は、会議が終了していないと判定した場合（ステップＳ１２３、「Ｎｏ」）、処理をステップＳ１２４に移行させる。ステップＳ１２４で、電子黒板２２は、予め登録された資料データに対する操作の有無を判定する。電子黒板２２は、資料データに対する操作があったと判定した場合（ステップＳ１２４、「有り」）、処理をステップＳ１２５に移行させる。電子黒板２２は、ステップＳ１２５で、操作に応じた処理を実行し、処理をステップＳ１２３に戻す。
資料データに対する処理の１つとして、サーバ装置１０に予め登録された資料データによる画像を、電子黒板２２のディスプレイ２０２７ａに表示させる処理がある。電子黒板２２は、図１９に示した描画画面５４０において、ボタン５４０１ａに対する操作に応じて、サーバ装置１０に予め登録される資料データファイルを指定するためのファイルリストを表示させる。
図２０−１は、実施形態に適用可能な、ボタン５４０１ａの操作に応じてファイルリスト５４２０が表示された例を示す。例えば、電子黒板２２は、ボタン５４０１ａが操作されると、サーバ装置１０に対して、当該会議の会議ＩＤに関連付けられて保存される資料データのファイルを要求する。サーバ装置１０は、この要求に応じて、要求された各ファイルを、当該ファイルに関連付けられたユーザＩＤと共にストレージ１００３から読み出して電子黒板２２に送信する。
電子黒板２２は、サーバ装置１０から送信された各ファイルを受信すると、受信した各ファイルを、例えばストレージ１００３に記憶し、各ファイルのファイル名を示す情報に基づきファイルリスト５４２０を表示させる。電子黒板２２は、ファイルリスト５４２０に対する操作に応じて選択されたファイルをストレージから読み出して、読み出したファイルに基づく画像を描画領域５４０２に表示させる。図２０−２は描画領域５４０２にファイルに基づく画像６００が表示された例を示す。
また、電子黒板２２は、選択されたファイルに関連付けられたユーザＩＤに基づき、サーバ装置１０に対して例えば当該ユーザＩＤに関連付けられたメールアドレスにより、当該ユーザＩＤに対応するユーザに対して、ファイルが選択され表示された旨を通知する。さらに、電子黒板２２は、選択されたファイルを示す情報と、当該ファイルに関連付けられたユーザＩＤと、ファイルが選択された時系列上の時間とをサーバ装置１０に送信する。サーバ装置１０は、電子黒板２２から受信したファイル情報、ユーザＩＤおよび時間を関連付けて、ログとして記録する。
なお、電子黒板２２は、ファイルに基づく画像６００が表示されている場合であっても、ユーザ操作に応じた描画を受け付けることができる。図２１は、実施形態に適用可能な、資料データによる画像６００が表示されている描画領域５４０２に対して描画を行い、描画による画像６０１が資料データによる画像６００に重畳して表示された例を示す。
説明は図１７のフローチャートに戻り、上述したステップＳ１２４で、電子黒板２２は、資料データに対する操作が無いと判定した場合（ステップＳ１２４、「無し」）、処理をステップＳ１２６に移行させる。ステップＳ１２６で、電子黒板２２は、描画領域５４０２内の画像を保存するか否かを判定する。例えば、電子黒板２２は、ツールアイコン部５４１０における保存の機能ボタンに対する操作の有無に応じて、描画領域５４０２内の画像を保存するか否かを判定することができる。これに限らず、電子黒板２２は、例えば所定の時間間隔で描画領域５４０２内の画像を自動的に保存するようにしてもよい。
電子黒板２２は、描画領域５４０２内の画像を保存すると判定した場合（ステップＳ１２６、「Ｙｅｓ」）、処理をステップＳ１２７に移行させる。ステップＳ１２７で、電子黒板２２は、描画領域５４０２内の画像の保存処理を実行する。例えば、電子黒板２２は、図２２に例示されるように、描画領域５４０２内に予め定められた領域５４２０内に表示される画像を保存する。このとき、電子黒板２２は、領域５４２０内に、資料データによる画像６００が含まれる場合、当該画像６００を表示させる資料データのファイルを示す情報を、保存対象の画像に関連付けることができる。
また、電子黒板２２は、画像が保存されると、保存された画像を示す情報（例えばファイル情報）と、画像が保存された時系列上の時間と、画像の保存を示す情報とをサーバ装置１０に送信する。サーバ装置１０は、電子黒板２２から受信したファイル情報と時間と画像の保存を示す情報とを関連付けて、ログとして記録する。
電子黒板２２は、上述したステップＳ１２６で、描画領域５４０２内の画像を保存しないと判定した場合（ステップＳ１２６、「Ｎｏ」）、処理をステップＳ１２８に移行させる。ステップＳ１２８で、電子黒板２２は、描画領域５４０２内の画像を消去するか否かを判定する。例えば、電子黒板２２は、ツールアイコン部５４１０における消去の機能ボタンに対する操作の有無に応じて、描画領域５４０２内の画像を消去するか否かを判定することができる。電子黒板２２は、描画領域５４０２内の画像を消去しないと判定した場合（ステップＳ１２８、「Ｎｏ」）、処理をステップＳ１２３に戻す。
一方、電子黒板２２は、描画領域５４０２内の画像を消去すると判定した場合（ステップＳ１２８、「Ｙｅｓ」）、処理をステップＳ１２９に移行させる。ステップＳ１２９で、電子黒板２２は、描画領域５４０２内の画像を全て消去し、処理をステップＳ１２３に戻す。このとき、電子黒板２２は、画像を消去した時系列上の時間と、画像の消去を示す情報とをサーバ装置１０に送信する。サーバ装置１０は、電子黒板２２から受信した時間と画像の消去を示す情報とを関連付けて、ログとして記録する。
上述したステップＳ１２３〜ステップＳ１２９の処理が、ステップＳ１２３で会議が終了したと判定されるまで繰り返し実行される。
（実施形態に適用可能な留意事項マークおよび決定事項マーク）
次に、上述した、メニュー領域５４０１におけるボタン５４０１ｂおよび５４０１ｃを操作した際の、留意事項マークおよび決定事項マークの設定について説明する。留意事項マークおよび決定事項マークは、会議中において音声などの情報を意図的に残したい場合に用いる。
図２３は、実施形態に適用可能な留意事項マークおよび決定事項マークを設定するための処理を示す一例のフローチャートである。ステップＳ１４０で、電子黒板２２は、留意事項または決定事項の入力が開始されたか否かを判定する。例えば、電子黒板２２は、メニュー領域５４０１におけるボタン５４０１ｂおよび５４０１ｃの何れかに対する操作に応じて、留意事項または決定事項の入力の開始を判定する。
より具体的には、電子黒板２２は、ボタン５４０１ｂまたは５４０１ｃに対する操作に応じて、留意事項または決定事項の詳細を入力するための入力画面を表示させる。
図２４は、実施形態に適用可能な、ボタン５４０１ｂに対する操作に応じて表示される、留意事項を入力するための留意事項入力画面の例を示す。図２４において、留意事項入力画面５４０５は、入力領域５４０６および５４０７と、録音開始ボタン５４０８とを含む。入力領域５４０６は、留意事項のオーナを入力するための領域であって、会議の各メンバから、オーナを選択するようになっている。入力領域５４０７は、留意事項の種類を入力するための領域であって、予め用意された複数の留意事項の種類から１を選択するようになっている。
録音ボタン５４０８は、録音の開始および終了をトグル操作により指示するためのボタンである。電子黒板２２は、録音ボタン５４０８に対する操作に応じて時系列上の時間を取得し、留意事項入力の開始または終了を示すポイントを、取得した時間に関連付けて設定し、設定したポイントと、ポイントに関連付けられた時間とをサーバ装置１０に送信する。例えば、電子黒板２２は、この留意事項入力画面５４０５が表示されて１回目の録音ボタン５４０８の操作に応じて、留意事項入力の開始を示すポイントを設定し、２回目の録音ボタン５４０８の操作に応じて、留意事項入力の終了を示すポイントを設定する。
図２５は、ボタン５４０１ｃに対する操作に応じて表示される、決定事項を入力するための決定事項入力画面の例を示す。図２５において、決定事項入力画面５５００は、入力領域５５０１と、ボタン５５０２および５５０３とを含む。この場合、電子黒板２２は、ボタン５４０１ｃに対する操作に応じてこの決定事項入力画面５５００を表示させると共に、時系列上の時間を取得し、決定事項入力の開始を示すポイントを取得した時間に関連付けて設定する。電子黒板２２は、設定したポイントと、ポイントに関連付けられた時間とをサーバ装置１０に送信する。
入力領域５５０１は、決定事項の内容をテキスト情報により入力するための領域である。ボタン５５０２は、決定事項入力操作をキャンセルするためのボタンである。電子黒板２２は、ボタン５５０２に対する操作に応じて、例えば、入力領域５５０１に入力されたテキスト情報を破棄すると共に、サーバ装置１０に対して、この決定事項入力画面５５００の表示に伴い設定されたポイントの削除を依頼する。
ボタン５５０３は、入力領域５５０１に入力されたテキスト情報を確定させるためのボタンである。電子黒板２２は、例えば、ボタン５５０３の操作に応じて、入力領域５５０１に入力されたテキスト情報をサーバ装置１０に送信する。それと共に、電子黒板２２は、時系列上の時間を取得し、決定事項入力の終了を示すポイントを取得した時間に関連付けて設定する。電子黒板２２は、設定したポイントと、ポイントに関連付けられた時間とをサーバ装置１０に送信する。
説明は図２３のフローチャートに戻り、ステップＳ１４０で、電子黒板２２は、留意事項または決定事項の入力が開始されていないと判定した場合（ステップＳ１４０、「Ｎｏ」）、処理をステップＳ１４０に戻し、ボタン５４０１ｂおよび５４０１ｃの何れかに対する操作を待機する。
一方、電子黒板２２は、留意事項または決定事項の入力が開始されたと判定した場合（ステップＳ１４０、「Ｙｅｓ」）、処理をステップＳ１４１に移行させる。ステップＳ１４１で、電子黒板２２は、ボタン５４０１ｂおよび５４０１ｃの何れかに対する操作に応じて、時系列上の時間を取得し、留意事項または決定事項の入力の開始を示すポイントを、取得した時間に関連付けて設定する。電子黒板２２は、設定したポイントと、ポイントに関連付けられた時間とをサーバ装置１０に送信する。
次のステップＳ１４２で、電子黒板２２は、留意事項入力画面５４０５または決定事項入力画面５５００における留意事項または決定事項の入力が終了したか否かを判定する。電子黒板２２は、入力が終了していないと判定した場合（ステップＳ１４２、「Ｎｏ」）、処理をステップＳ１４２に戻す。一方、電子黒板２２は、入力が終了したと判定した場合（ステップＳ１４２、「Ｙｅｓ」）、処理をステップＳ１４３に移行させる。
ステップＳ１４３で、電子黒板２２は、時系列上の時間を取得し、留意事項または決定事項の入力の終了を示すポイントを、取得した時間に関連付けてサーバ装置１０に送信する。次のステップＳ１４４で、電子黒板２２は、留意事項入力画面５４０５または決定事項入力画面５５００に入力された入力内容を、サーバ装置１０に送信する。サーバ装置１０は、電子黒板２２から受信したこれら入力内容を、例えばそれぞれの開始を示すポイントに関連付けて保存する。
図２６は、実施形態に適用可能な、留意事項および決定事項に関するマーカ情報について概略的に示す。図２６（ｃ）は、この会議の開始時間を基準とする時系列を示す。この例では、時系列上の時間ｔAIstおよびｔAIedに、それぞれ留意事項入力の開始および終了を示す各ポイントが設定されている。また、時系列上の時間ｔDSstおよびｔDSedに、それぞれ決定事項入力の開始および終了を示す各ポイントが設定されている。
実施形態では、例えば留意事項入力の開始および終了を示す各ポイントのうち、開始を示すポイントに対して、留意事項を示すマーカ情報（第５の種類の意味情報）を設定する。以下では、留意事項を示すマーカ情報を適宜「アクションアイテムＡ．Ｉ」と呼び、「Ａ．Ｉ」として示す。
同様に、決定事項入力の開始および終了を示す各ポイントのうち、開始を示すポイントに対して、決定事項を示すマーカ情報（第５の種類の意味情報）を設定する。以下では、決定事項を示すマーカ情報を適宜「ディシジョンＤＳ」と呼び、そのマーカを「ＤＳ」として示す。図２６（ｄ）は、留意事項の開始のポイントである時間ｔAIstにアクションアイテムＡ．Ｉによるマーカ「Ａ．Ｉ」が設定され、決定事項の開始ポイントである時間ｔDSstにディシジョンＤＳによるマーカ「ＤＳ」が設定された様子を示している。
また、図２６（ａ）の例では、留意事項入力画面５４０５の入力領域５４０６および５４０７に入力された入力情報であるＡ．Ｉ入力データ５０は、アクションアイテムＡ．Ｉに関連付けられる。同様に、決定事項入力画面５５００の入力領域５５０１に入力された入力情報であるＤＳ入力データ５１は、ディシジョンＤＳに関連付けられる。
なお、図２６（ｂ）に示されるように、音声データは、これらアクションアイテムＡ．ＩおよびディシジョンＤＳとは関わりなく、時系列に沿って記録される。例えば端末装置２０ｄは、後述するタイムライン画面におけるアクションアイテムＡ．Ｉの指定に応じて、時間ｔAIstから時間ｔAIedの間の音声データを選択的に再生することができる。同様に、端末装置２０ｄは、タイムライン画面におけるディシジョンＤＳの指定に応じて、時間ｔDSstから時間ｔDSedの間の音声データを選択的に再生することができる。
これに限らず、音声データにおいて、例えば時間ｔAIstから時間ｔAIedの間の音声データを複製して、アクションアイテムＡ．Ｉによる音声データを新規に作成してもよい。
（実施形態に適用可能な、端末装置に対する会議情報の提示例）
サーバ装置１０は、会議室２ａで開催されている会議の様子などを、会議室２ａから遠隔した場所にある端末装置２０ｃおよび２０ｄに提示することができる。図２７は、実施形態に適用可能な、例えばスマートフォンである端末装置２０ｄにおける会議閲覧画面の例を示す。
図２７の例では、会議閲覧画面７００は、会議名表示部７０１と、チャネル選択部７０２と、会議情報表示部７０３と、トークボタン７０４と、機能指定部７０５と、画面切替部７０６とを含んでいる。なお、端末装置２０ｄを画面が横長の方向に保持した場合や、端末装置２０ｄがタブレット型コンピュータ、デスクトップ型コンピュータ、ノート型コンピュータであっても、会議閲覧画面７００は、同様の構成要素を含んで画面表示を行うことができる。
画面切替部７０６は、画面の表示モードを切り替えるためのボタン７０６０、７０６１、７０６２および７０６３を含む。ボタン７０６０は、画面の表示モードを、議題に関する情報を表示する議題表示モードに切り替える。ボタン７０６１は、画面の表示モードを、チャットを行うためのチャット画面を表示するチャット表示モードに切り替える。例えば、端末装置２０ｄは、ボタン７０６１に対する操作に応じて、サーバ装置１０に対してチャットへの参加を要求し、要求に応じてチャットへの参加が許可されると、会議閲覧画面７００内に、チャット画面を表示させる。
ボタン７０６２は、画面の表示モードを、当該会議における時系列上の時間経過を示すタイムラインを表示するタイムライン表示モードに切り替える。ボタン７０６３は、画面の表示モードを、会議の様子を中継する中継表示モードに切り替える。図２７の例は、この中継表示モードの例である。
図２７の例では、中継表示モードの会議閲覧画面７００において、会議名表示部７０１は、現在閲覧している会議の会議名が表示される。チャネル選択部７０２は、端末装置２０ｄにおいて再生する音声データのチャネルを指定するための操作部である。端末装置２０ｄは、チャネル選択部７０２に対する操作に応じて、それぞれサーバ装置１０から送信される、例えば会議端末２５により収音された音声による音声データと、端末装置２０ｂにより収音された音声による音声データとのうち、所望の音声データを選択して再生することができる。
会議情報表示部７０３は、会議室２ａにおける会議の様子を表示または提示する。図２７の例では、会議情報表示部７０３は、音声再生中を示すアイコン画像７０３０が表示され、チャネル選択部７０２で指定されたチャネルの音声データによる音声が再生されていることが示されている。
トークボタン７０４は、端末装置２０ｄで収音した音声による音声データをサーバ装置１０に送信させるためのボタンである。例えば、端末装置２０ｄは、トークボタン７０４に対する操作に応じて、端末装置２０ｄのマイクロホン２０１３で収音した音声による音声データをサーバ装置１０に送信する。サーバ装置１０は、端末装置２０ｄから送信された音声データを受信すると、受信した音声データを例えばストレージ１００３に保存すると共に、会議端末２５に送信し再生させる。
機能指定部７０５は、ボタン７０５０、７０５１および７０５２を含む。ボタン７０５０は、操作された時間に応じたマーカを設定するためのボタンである。ボタン７０５１は、端末装置２０ｄにおいてテキスト入力を行うためのボタンである。ボタン７０５１の操作に応じて入力されたテキスト情報は、サーバ装置１０に送信されて保存されると共に、サーバ装置１０から電子黒板２２に送信され、電子黒板２２において描画領域５４０２内の所定領域に表示される。
ボタン７０５２は、端末装置２０ｄを使用しているユーザの、会議に対する反応を送信するためのボタンである。端末装置２０ｄは、ボタン７０５２に対する操作に応じて、サブメニューとして各種の反応を示す各アイコン画像を表示させ、サブメニューに表示される各アイコン画像に応じた情報を、サーバ装置１０に送信する。サーバ装置１０は、この情報を時系列上の時間と関連付けて保存すると共に、電子黒板２２に送信する。電子黒板２２は、サーバ装置１０から受信したこの情報に応じた例えばアイコン画像を、ディスプレイ２０２７ａの所定位置に表示する。
なお、図２７の例では、中継表示モードの会議閲覧画面７００は、会議情報表示部７０３に音声再生中を示すアイコン画像７０３０が表示され、端末装置２０ｄは、チャネル選択部７０２で指定された音声データによる音声を再生しているが、これはこの例に限定されない。例えば、図２８に例示されるように、会議情報表示部７０３に、会議端末２５のカメラ２５ｃで撮影された映像データによる映像７０３２を表示させてもよい。
図２９は、実施形態に適用可能な、図２７の会議閲覧画面７００においてボタン７０６０が操作され、会議閲覧画面７００の表示モードが描画領域表示モードに切り替えられた例を示す。この場合、会議情報表示部７０３には、電子黒板２２の描画領域５４０２内の画像７０３１が表示される。例えば、電子黒板２２は、所定の時間間隔で描画領域５４０２内の画像をサーバ装置１０に送信し、端末装置２０ｄがその画像を取得して表示することが考えられる。
図３０は、実施形態に適用可能な、タイムライン表示モードによるタイムライン表示画面の例を示す。上述したように、端末装置２０ｄは、画面切替部７０６におけるボタン７０６２の操作に応じて、画面表示をタイムライン表示画面に切り替える。図３０において、タイムライン表示画面７１０は、マーカボタン７１１（後述する）と、画像表示領域７１２と、タイムライン表示領域７１３と、画面切替部７０６とを含んでいる。
タイムライン表示領域７１３は、時系列に沿った時間経過を示すタイムライン７１３０が表示される。この例では、タイムライン７１３０は、画面の下から上に向けて時間が経過するように表示されている。これはこの例に限定されず、タイムライン７１３０は、画面の上から下に向けて時間が経過するように表示してもよいし、画面の水平方向に時間の経過を表示してもよい。
また、図３０の例では、タイムライン７１３０上に、マーカ７１３４、７１３５および７１３６が配置されている。マーカ７１３４および７１３５は、それぞれ上述したアクションアイテムＡ．ＩおよびディシジョンＤＳによるマーカ「Ａ．Ｉ」および「ＤＳ」であり、電子黒板２２上で指定されたマーカ情報に基づくマーカである。また、マーカ７１３６は、例えばユーザがこの端末装置２０ｄ上で指定したマーカ情報に基づくマーカである。各マーカ７１３４、７１３５および７１３６は、それぞれ、時系列上で指定された時間に対応するタイムライン７１３０上の位置に配置される。
タイムライン表示領域７１３において、時間指定線７１３１は、タイムライン７１３０上で現在指定されている時間を示している。時間指定線７１３１は、ユーザ操作に応じてタイムライン７１３０上を移動させ、指定する時間を変更することができる。また、図３０の例では、時間指定線７１３１に指定された時間に対応する、電子黒板２２の描画領域５４０２内の画像が、画像表示領域７１２に表示されている。また、テキスト表示領域７１３３は、例えば時間指定線７１３１で指定された時間に、アクションアイテムＡ．Ｉのマーカ７１３４や、ディシジョンＤＳのマーカ７１３５があった場合、アクションアイテムＡ．ＩやディシジョンＤＳに対して入力されたテキスト情報が表示される。
図３０において、タイムライン表示領域７１３の中央部（タイムライン７１３０の右側）には、タイムライン７１３０上の各時間に対応する電子黒板２２の描画領域５４０２内の各画像が、サムネイル画像７１３２1、７１３２2、７１３２3として表示されている。これらサムネイル画像７１３２1、７１３２2、７１３２3のうち所望のサムネイル画像を指定することで、指定されたサムネイル画像に対応する電子黒板２２の描画領域５４０２内の画像を、画像表示領域７１２に表示させることができる。
図３１は、実施形態に適用可能な、議題表示モードによる議題表示画面の例を示す。上述したように、端末装置２０ｄは、画面切替部７０６におけるボタン７０６０の操作に応じて、画面表示を議題表示画面に切り替える。図３１において、議題表示画面７２０は、表示領域７２１、７２２、７２３および７２４を含んでいる。
表示領域７２３および７２４は、それぞれ議題の詳細を表示するための領域である。図３１の例では、表示領域７２４は、議題のみが表示され、右端に配置されるアイコンを指定することで領域が拡張され、議題の詳細が表示されるようになる。表示領域７２３は、領域が拡張された状態であって、議題の詳細として、この議題に応じて指定されたアクションアイテムＡ．Ｉの内容を示す情報７２３１と、ディシジョンＤＳの内容を示す情報７２３２とが表示されている。
表示領域７２１は、この例では、この端末装置２０ｄを使用しているユーザが入力したアクションアイテムＡ．Ｉの内容の概略が表示されている。表示領域７２１内の所定の位置（例えば右下隅）を指定することで、図３２に示されるように、当該アクションアイテムＡ．Ｉのより詳細な内容が表示される。図３２において、アクションアイテム表示画面７３０は、表示領域７３１、７３２および７３３を含む。
表示領域７３１は、当該アクションアイテムＡ．Ｉが係る会議の議題が表示される。表示領域７３１は、当該アクションアイテムＡ．Ｉが指定された時系列上の時間における電子黒板２２の描画領域５４０２内の画像７３２０が表示されると共に、音声データを再生させるための再生ボタン７３２１が配置される。再生ボタン７３２１は、サーバ装置１０に記録される音声データを、当該アクションアイテムＡ．Ｉが指定された時系列上の時間（図２６の例では時間ｔAIst）から再生させるためのボタンである。
また、ボタン７５１０は、再生ボタン７３２１の操作に応じて再生される音声データの再生速度を指定するボタンである。図３２の例では、ボタン７５１０上に「×２」と表示され、音声データを、記録時の速度の２倍の速度で再生する２倍速再生が指定されていることが示されている。サーバ装置１０は、このボタン７５１０に指定された再生速度に応じて、再生する音声データに対してサンプル単位の間引きおよび補間処理、あるいは、リサンプル処理などを施すことにより、記録された際の速度と異なる速度で音声データを再生することができる。
表示領域７３３は、当該アクションアイテムＡ．Ｉに関して、指定された時間と、内容とが表示される。
（実施形態に適用可能なマーカの処理）
次に、実施形態に適用可能なマーカ処理について説明する。先ず、基本的なマーカ処理について、図３３〜図３６を用いて説明する。図３３に示す会議閲覧画面７００において、例えばユーザ操作に応じたポインタ７０７０によりボタン７０５０を指定し、ポインタ７０７０を、矢印７０７１に示すように、画面の表示モードをタイムライン表示モードに切り替えるボタン７０６２に移動させることで（ドラッグ操作）、現在の時間に対応するマーカを設定することができる。端末装置２０ｄは、設定されたマーカを示す情報を、例えば、当該時間を示す情報に関連付けてＲＡＭ２００２に記憶する。
ユーザが指定したマーカに関連付けられる時間における情報を表示させる場合、図３４に例示するように、先ずボタン７０６２を操作して表示モードをタイムライン表示モードに切り替える。その上で、矢印７０７２に示されるように、マーカボタン７１１を操作する。端末装置２０ｄは、このマーカボタン７１１に対する操作に応じて、画面の表示を、図３５に示されるマーカ一覧画面７４０に切り替える。
図３５において、マーカ一覧画面７４０は、表示領域７４００に、当該会議の時系列上で設定されたマーカが一覧表示される。図３５の例では、各マーカが、設定された時刻を示す情報を用いて一覧表示されている。端末装置２０ｄは、表示領域７４００に表示されるマーカを示す情報の一覧に対してマーカを指定する操作がなされると、当該マーカのマーカ情報に関連付けられた時間を示す情報をサーバ装置１０に送信し、当該時間に関連する情報をサーバ装置１０に要求する。
サーバ装置１０は、この要求に応じて、当該時間に対応する情報を、端末装置２０ｄに送信する。サーバ装置１０が端末装置２０ｄに送信する情報としては、、電子黒板２２の描画領域５４０２内の画像、記録された音声データや映像データの、当該時間を再生開始ポイントとしたストリーム、当該時間に電子黒板２２に提示されている資料データなどが考えられる。
また、端末装置２０ｄは、このマーカ指定の操作に応じて、画面の表示を、指定されたマーカに対応する情報を表示する情報表示画面に切り替える。図３６は、実施形態に適用可能な情報表示画面の例を示す。図３６において、情報表示画面７５０は、表示領域７５１、７５２および７５３を含む。表示領域７５１は、マーカに対応する時間に、電子黒板２２の描画領域５４０２に表示されていた画像が表示される。表示領域７５２は、当該マーカが設定された時間を示す情報が表示される。また、この例では、サーバ装置１０は、音声データを例えば逐次的にテキスト情報に変換して保存する機能を備え、表示領域７５３には、このサーバ装置１０により変換されたテキスト情報における、マーカに対応する時間を含む所定範囲のテキスト情報が表示されている。
また、図３６の例においても、情報表示画面７５０は、図３２で説明したアクションアイテム表示画面７３０と同様に、再生速度を指定するためのボタン７５１０が設けられている。表示領域７５３に音声データが変換されたテキスト情報が表示されるこの例では、例えば、ボタン７５１０の操作に応じて再生速度が変更された音声データにおけるテキスト情報の対応する部分のタイミングに応じて、表示領域７５３に表示されるテキスト情報が更新される。
（第１の実施形態）
上述の例では、各マーカは、アクションアイテムＡ．ＩおよびディシジョンＤＳを除き、意味付けがなされていないので、ユーザは、どのマーカを指定することで自分が欲しい情報を取得できるかを知ることが困難であった。また、ユーザのマーカ情報の設定忘れに対応できないと共に、マーカ情報の指定がユーザ個人の操作にのみ依存しているので、ユーザとは別の観点から情報を探し出すことが困難であった。
そこで、第１の実施形態では、意味情報を持ったマーカ情報の設定を可能とする。より具体的には、第１の実施形態では、時系列上の時間に対して、ユーザの動作（ヒューマンアクション）に応じてマーカ情報（第１の種類の意味情報）を設定する。
マーカ情報の設定に利用するヒューマンアクションは、様々に考えられる。例えば、ユーザが操作する端末装置がスマートフォンやタブレット型コンピュータといったモバイルデバイスである場合、タッチパネルの所定の位置をタップすることで、当該位置に関連付けられたマーカ情報を設定することができる。タッチパネルの各位置に予め意味を与えておくことで、意味情報を持ったマーカ情報を設定できる。
また、モバイルデバイスは、例えば９軸センサ２０１６のような、機器の姿勢や姿勢の変化を検出可能な検知手段を備えたものが多い。そこで、端末装置がモバイルデバイスである場合、例えば機器の姿勢や姿勢の変化における特異点を検知して、その特異点に関連付けてマーカ情報を設定することができる。特異点は、例えば、機器の特定の姿勢や、特定の動きを含む。
一方、端末装置がデスクトップ型コンピュータやノート型コンピュータといった非モバイルデバイスである場合には、例えばキーボード上の特定のキーの押下操作に応じてマーカ情報を設定することができる。特定のキーに予め意味を与えておくことで、意味情報を持ったマーカ情報を設定できる。また、端末装置が非モバイルデバイスである場合、マウスやタッチパッドといったポインティングデバイスを用いて、表示画面に連携した操作を行うことでマーカ情報を設定することができる。表示画面上の特定の位置に予め意味を与えておくことで、その特定位置の指定に応じて意味情報を持ったマーカ情報を設定できる。
さらに、端末装置がマイクロホン２０１３などのような音声収音機能を備えるデバイスを利用可能である場合、収音された音声に含まれる特定の音、例えば予め定められたキーワードに応じてマーカ情報を設定することができる。キーワードとしては、例えばマーカを設定する対象が会議である場合、「賛成」、「反対」、「同意」、「次」、「離席」など、会議の内容やユーザの状態に応じて発せられる言葉を適用することが考えられる。
さらにまた、端末装置がカメラ２０１５といった撮影機能を備えるデバイスを利用可能である場合、その端末装置を使用しているユーザの特定のポーズ、例えば挙手や手指を用いた特定のサインに応じてマーカ情報を設定することができる。この特定のポーズに予め意味を与えておくことで、ポーズに応じて意味情報を持ったマーカ情報を設定できる。
図３７は、第１の実施形態に係る、ヒューマンアクションに基づくマーカ情報の設定処理を示す一例のフローチャートである。ここでは、非モバイルデバイスである端末装置２０ｃにおける処理について説明する。なお、ここでは、便宜上、端末装置２０ｃが９軸センサ２０１６を備え姿勢や姿勢の変化を検知可能であるものとする。
ステップＳ２００で、端末装置２０ｃは、端末装置２０ｃに対するユーザのアクションの検出を開始する。ここでは、端末装置２０ｃは、キーボードに対する操作に応じた特定のキーに対する入力検知と、ポインティングデバイスに対する操作に応じた特定位置へのタップ、クリックによる入力検知と、カメラ２０１５により撮影された映像データに対する映像解析に基づくユーザの特定ポーズの検知と、マイクロホン２０１３により収音された音声による音声データに対する音声認識に基づくユーザによる特定ワードの検知とを行う。また、端末装置２０ｃは、９軸センサ２０１６の出力に基づく姿勢および姿勢変化の検知を行う。
次のステップＳ２０１で、端末装置２０ｃは、キーボードに対する操作に応じた特定キーに対する入力の有無を判定する。入力があったと判定した場合（ステップＳ２０１、「Ｙｅｓ」）、処理をステップＳ２０２に移行させる。
ステップＳ２０２で、端末装置２０ｃは、入力を検知したキーに応じたマーカ種類およびマーカの値、入力を検知した時間、端末装置２０ｃを使用しているユーザのユーザＩＤを例えばＲＡＭ２００２に記憶する。また、端末装置２０ｃは、記憶したこれらマーカ種類、マーカの値、時間およびユーザＩＤを、サーバ装置１０に送信する。ステップＳ２０２の処理の後、処理がステップＳ２０１に戻される。
サーバ装置１０は、端末装置２０ｃから受信したマーカ種類、マーカの値、時間およびユーザＩＤを、マーカ情報として、例えばストレージ１００３に、会議ＩＤと関連付けて保存する。
ステップＳ２０１で入力が無いと判定した場合（ステップＳ２０１、「Ｎｏ」）、端末装置２０ｃは、処理をステップＳ２０３に移行させる。ステップＳ２０３で、端末装置２０ｃは、ポインティングデバイスに対する操作に応じた特定位置へのタップ、クリックなどによる入力の有無を判定する。入力があったと判定した場合（ステップＳ２０３、「Ｙｅｓ」）、処理をステップＳ２０４に移行させる。
ステップＳ２０４で、端末装置２０ｃは、入力を検知した位置に応じたマーカ種類およびマーカの値、入力を検知した時間、端末装置２０ｃを使用しているユーザのユーザＩＤを例えばＲＡＭ２００２に記憶する。また、端末装置２０ｃは、記憶したこれらマーカ種類、マーカの値、時間およびユーザＩＤを、サーバ装置１０に送信する。ステップＳ２０４の処理の後、処理がステップＳ２０１に戻される。
ステップＳ２０３で入力が無いと判定した場合（ステップＳ２０３、「Ｎｏ」）、端末装置２０ｃは、処理をステップＳ２０５に移行させる。ステップＳ２０５で、端末装置２０ｃは、カメラ２０１５により撮影された映像データに対する映像解析に基づき映像データから特定ポーズの検出の有無を判定する。検出したと判定した場合（ステップＳ２０５、「Ｙｅｓ」）、処理をステップＳ２０６に移行させる。
ステップＳ２０６で、端末装置２０ｃは、検出したポーズに応じたマーカ種類およびマーカの値、ポーズを検出した時間、端末装置２０ｃを使用しているユーザのユーザＩＤを例えばＲＡＭ２００２に記憶する。また、端末装置２０ｃは、記憶したこれらマーカ種類、マーカの値、時間およびユーザＩＤを、サーバ装置１０に送信する。ステップＳ２０６の処理の後、処理がステップＳ２０１に戻される。
ステップＳ２０５で特定ポーズを検出しなかったと判定した場合（ステップＳ２０５、「Ｎｏ」）、端末装置２０ｃは、処理をステップＳ２０７に移行させる。ステップＳ２０７で、端末装置２０ｃは、マイクロホン２０１３により収音された音声に基づく音声データに対する音声認識に基づき音声データから特定のワードを検出したか否かを判定する。検出したと判定した場合（ステップＳ２０７、「Ｙｅｓ」）、処理をステップＳ２０８に移行させる。
ステップＳ２０８で、端末装置２０ｃは、検出したワードに応じたマーカ種類およびマーカの値、ポーズを検出した時間、端末装置２０ｃを使用しているユーザのユーザＩＤを例えばＲＡＭ２００２に記憶する。また、端末装置２０ｃは、記憶したこれらマーカ種類、マーカの値、時間およびユーザＩＤを、サーバ装置１０に送信する。ステップＳ２０６の処理の後、処理がステップＳ２０１に戻される。
ステップＳ２０７で特定ワードを検出しなかったと判定した場合（ステップＳ２０７、「Ｎｏ」）、端末装置２０ｃは、処理をステップＳ２０９に移行させる。ステップＳ２０９で、端末装置２０ｃは、９軸センサ２０１６の出力に基づき検知された端末装置２０ｃの姿勢および姿勢変化の特異点が検出されたか否かを判定する。検出されたと判定した場合（ステップＳ２０９、「Ｙｅｓ」）、処理をステップＳ２１０に移行させる。
ステップＳ２１０で、端末装置２０ｃは、検出した特異点に応じたマーカ種類およびマーカの値、ポーズを検出した時間、端末装置２０ｃを使用しているユーザのユーザＩＤを例えばＲＡＭ２００２に記憶する。また、端末装置２０ｃは、記憶したこれらマーカ種類、マーカの値、時間およびユーザＩＤを、サーバ装置１０に送信する。ステップＳ２１０の処理の後、処理がステップＳ２０１に戻される。
ステップＳ２０９で姿勢および姿勢変化の特異点が検出されなかったと判定した場合、処理がステップＳ２０１に戻される。
なお、ステップＳ２０９の判定処理は、端末装置２０ｃが９軸センサ２０１６といった姿勢および姿勢変化を検知する手段を備えていない場合には、省略される。また、上述では、特定キーへのキー入力の判定が最も優先順位が高く、以下、特定位置のタップおよびクリックの判定、特定ポーズの判定、特定ワードの判定、姿勢および姿勢変化の特異点の判定の順に優先順位が低くなるように説明したが、これはこの例に限定されず、各判定の順序は別の順序であってもよい。また、各判定を、並列的に実行することも可能である。
第１の実施形態では、さらに、ある端末装置を操作するユーザが、そのユーザによる観点以外の情報に基づき時系列上の時間を指定することを可能とする。例えば、第１の実施形態では、上述のヒューマンアクションに加えて、会議時間中に発生する環境変化を、さらにマーカ情報（第２の種類の意味情報）の設定要因として用いる。
マーカ設定に用いる環境変化は、様々に考えられる。例えば、日の出、日の入り、月の出、月の入り、満潮、干潮といった自然現象を、その現象が発生した時間と関連付けてマーカ情報として用いることができる。この場合、マーカ情報に関連付けられる自然現象そのものが、当該マーカ情報の意味情報となる。これらの自然現象は、発生する時間が既知であるため、予め発生時間と関連付けてテーブルとして保存しておくことが可能である。
また例えば、会議室２ａ内といった室内の環境変化を、その変化が発生した時間と関連付けてマーカとして用いることができる。マーカ情報として適用可能な室内の環境変化としては、通電のオン／オフ（例えば室内灯のオン／オフ）、電子黒板２２の電源のオン／オフ、各端末装置２０ａ、２０ｂのネットワーク１２への接続開始、終了といった、電気的な変化が考えられる。これらの変化は、例えば電源や通電のオン／オフは、電源ラインなどの電圧の変化を検出することで検知できる。ネットワーク１２への接続開始、終了は、例えば、ネットワーク１２に接続されるハブなどを介して各機器の通信状態をモニタして検出することが考えられる。
また、マーカ情報として適用可能な室内の環境変化として、ドアや窓の開閉の時間、会議室２ａ内の各ユーザの着席状態の変化なども考えられる。ドアや窓の開閉は、対象のドアや窓に開閉センサを設けて検出することが考えられる。着席状態は、例えば圧力に応じて電圧を発生する発電ゴムなどを椅子に設け、この発電ゴムの電圧の変化を検出することで検知することが考えられる。
さらに、会議の参加者の無意識なアクションを検出して、マーカ情報を設定することも可能である。参加者の無意識なアクションとしては、例えば、参加者が端末装置を用いて議題外の情報へのアクセスを行った場合、例えば、端末装置２０ａ〜２０ｄにおいて、会議に用いるように予め登録された以外のアプリケーションプログラムを起動させた場合に、そのアクセスの時間を、起動させたアプリケーションプログラムの情報と関連付けて、マーカ情報として設定することができる。また、会議の参加者以外の宛先へのメール作成、送信や、チャットの開始、終了のタイミングを、メール作成、チャット実行などの情報と関連付けて、マーカ情報として設定することができる。
図３８および図３９を用いて、図１に示したセンサＩ／Ｆ２３の一例の構成について、概略的に説明する。ここでは、説明のため、センサ２４1、２４2、…（図１参照）を、電圧の変化を検知するセンサであるものとする。この場合、例えば、上述した室内灯のオン／オフの検出、電子黒板２２における通電のオン／オフの検出、発電ゴムによる圧力の検出などが可能である。また、センサの構造によっては、ドアや窓の開閉の検出にも適用できる。
図３８は、図１に示したセンサＩ／Ｆ２３の一例の構成を概略的に示す。センサＩ／Ｆ２３は、センサ２４1、２４2…にそれぞれ対応する複数のインタフェース（Ｉ／Ｆ）２３０1、２３０2、２３０3、…と、マルチプレクサ２３１と、タイマ２３２とを含む。マルチプレクサ２３１は、各Ｉ／Ｆ２３０1、２３０2、２３０3、…の出力を、１の出力としてセンサＩ／Ｆ２３から出力する。タイマ２３２は、例えばサーバ装置１０と同期した時間Ｔを出力する。タイマ２３２から出力される時間Ｔは、各Ｉ／Ｆ２３０1、２３０2、２３０3、…に供給される。
図３９は、各Ｉ／Ｆ２３０1、２３０2、２３０3、…の一例の構成を示す。ここでは、説明のため、各Ｉ／Ｆ２３０1、２３０2、２３０3、…をＩ／Ｆ２３０1で代表させて示している。また、Ｉ／Ｆ２３０1は、センサ２４1の出力が供給されるものとする。
Ｉ／Ｆ２３０1は、Ａ／Ｄ２３００と、比較器２３０１と、メモリ２３０２と、スイッチ回路２３０３と、合成器２３０４および２３０６と、ＩＤ記憶部２３０５とを含む。ＩＤ記憶部２３０５は、例えば、各Ｉ／Ｆ２３０1、２３０2、…を識別するためのＩＤが予め記憶される。
Ａ／Ｄ２３００は、センサ２４1から供給されるアナログ方式の検出信号を、ディジタル方式の検出データに変換する。Ａ／Ｄ２３００から出力される検出データは、比較器２３０１の第１入力端と、スイッチ回路２３０３の一端とに入力される。スイッチ回路２３０３の他端の出力は、合成器２３０４に入力されると共に、メモリ２３０２に入力されメモリ２３０２に記憶される値を更新する。
比較器２３０１の第２入力端に、メモリ２３０２の出力が入力される。比較器２３０１は、第１入力端の入力値と第２入力端の入力値との差分に対して閾値判定を行う。比較器２３０１は、この差分が閾値以上の場合にスイッチ回路２３０３を閉状態に制御し、差分が閾値未満でスイッチ回路２３０３を開状態に制御する。これにより、Ｉ／Ｆ２３０1は、センサ２４1の出力の一定以上の変化を検知することができる。
合成器２３０４は、スイッチ回路２３０３から出力された検出データに、ＩＤ記憶部２３０５に記憶されるＩＤを付加して出力する。合成器２３０４の出力は、合成器２３０６に供給され時間Ｔを付加されて出力される。
図４０は、第１の実施形態に係る、Ｉ／Ｆ２３０1による検知処理を示す一例のフローチャートである。ステップＳ２２０で、Ｉ／Ｆ２３０1は、比較器２３０１により、センサ２４1の出力に基づく値を取得する。次のステップＳ２２１で、Ｉ／Ｆ２３０1は、比較器２３０１により、ステップＳ２２０で取得した値と、メモリ２３０２に記憶される値とを比較する。次のステップＳ２２２で、Ｉ／Ｆ２３０1は、比較器２３０１により閾値判定を行い、ステップＳ２２０で取得した値の変化の有無を判定する。Ｉ／Ｆ２３０1は、比較器２３０１の第１入力端および第２入力端の入力値の差分が閾値未満であれば、変化がないと判定し（ステップＳ２２２、「無し」）、処理をステップＳ２２０に戻す。スイッチ回路２３０３は、開状態に制御される。
Ｉ／Ｆ２３０1は、比較器２３０１の第１入力端および第２入力端の入力値の差分が閾値以上であれば、変化があったと判定し（ステップＳ２２２、「有り」）、処理がステップＳ２２３に移行される。スイッチ回路２３０３は、閉状態に制御される。ステップＳ２２３で、Ｉ／Ｆ２３０1は、ステップＳ２２０で取得した値に、合成器２３０４および２３０６にてＩＤおよび時間Ｔを付加して出力する。出力されたセンサ２４1の出力値、ＩＤおよび時間Ｔは、サーバ装置１０に供給され、マーカ情報として記録される。次のステップＳ２２４で、Ｉ／Ｆ２３０1は、ステップＳ２２０で取得した値でメモリ２３０２に記憶される値を更新し、処理をステップＳ２２０に戻す。
サーバ装置１０は、上述した図３７および図４０のフローチャートの処理により各端末装置２０ａ〜２０ｄ、および、センサＩ／Ｆ２３から受信したマーカ情報を、表５に示されるマーカ情報テーブルに格納して、例えばストレージ１００３に保存する。
表５において、マーカ情報テーブルは、「時間情報」、「ＩＤ」、「種類」および「値」の各項目を含む１以上のレコードを有する。マーカ情報は、例えば、これら「時間情報」、「ＩＤ」、「種類」および「値」の各項目を含んで構成される。
Figure 0006827236
項目「時間情報」は、各端末装置２０ａ〜２０ｄ、および、各Ｉ／Ｆ２３０1、２３０2、…においてマーカ情報が取得された時間が格納される。項目「ＩＤ」は、マーカ情報の取得元を識別するための識別情報が格納される。具体的な例としては、項目「ＩＤ」は、マーカ情報の取得元が各端末装置２０ａ〜２０ｄである場合には、各端末装置２０ａ〜２０ｄを使用しているユーザのユーザＩＤが用いられる。マーカ情報の取得元が各センサ２４1、２４2、…である場合には、センサＩ／Ｆ２３内の対応するＩ／Ｆ２３０1、２３０2、…のＩＤが項目「ＩＤ」の値として用いられる。
項目「種類」は、そのレコードが示すマーカ情報の種類を示す情報が格納される。マーカ情報の種類は、例えばマーカ情報の取得元が各センサ２４1、２４2、…である場合には、「ドア開閉」、「室内灯（オン／オフ）」、「電子黒板２２の通電（オン／オフ）」などを含む。マーカ情報の取得元が各端末装置２０ａ〜２０ｄである場合には、マーカ情報の種類は、「アクションアイテムＡ．Ｉ」、「特定位置へのタップ」、「特定ポーズ」などを含む。また、マーカ情報の取得元が各端末装置２０ａ〜２０ｄである場合、ユーザにより単に時系列上の時間が指定されたことにより設定されたマーカについては、その旨を示す情報を、マーカ情報の種類とすることが考えられる。
項目「値」は、そのレコードが示すマーカ情報に対応する値が格納される。マーカ情報に対応する値は、例えばマーカ情報の取得元が各センサ２４1、２４2、…である場合には、センサ２４1、２４2、…の種類に応じた値が用いられる。この例では、項目「値」として、「オープン／クローズ（ドア開閉検知の場合）」、「オン／オフ（通電などの場合）」などが用いられている。また、マーカ情報の取得元が各端末装置２０ａ〜２０ｄである場合には、マーカが設定される例えばユーザ操作やユーザの動作などに応じた値が用いられる。この例では、項目「値」として、「開始／終了（アクションアイテムＡ．Ｉなどの場合）」、「位置（タップの場合）」、「意味（ポーズの場合）」などが用いられている。
このように、マーカ情報は、例えば項目「種類」および「値」により、意味情報が与えられる。
サーバ装置１０は、上述のようにして意味情報が与えられたマーカ情報を各端末装置２０ａ〜２０ｄに送信する。このとき、項目「ＩＤ」の値がユーザＩＤを示している場合は、サーバ装置１０は、そのレコードのマーカ情報を、端末装置２０ａ〜２０ｄのうち項目「ＩＤ」が示すユーザＩＤに対応する端末装置に送信する。一方、サーバ装置１０は、項目「ＩＤ」の値がセンサＩＤを示している場合には、そのレコードのマーカ情報を、各端末装置２０ａ〜２０ｄに共通に送信することができる。
各端末装置２０ａ〜２０ｄは、サーバ装置１０から送信された各マーカ情報に基づくマーカを、例えば、図３０に示したタイムライン表示画面７１０のタイムライン表示領域７１３に、時系列上の時間に対応させて表示させることができる。このとき、各端末装置２０ａ〜２０ｄは、マーカを、例えばマーカ情報が示す意味情報に応じて表示させるとより好ましい。
このように、第１の実施形態では、マーカに対して意味情報を持たせることができるため、ユーザは、時系列上の特定のタイミングを容易に判断することが可能となる。
（第２の実施形態）
次に、第２の実施形態について説明する。上述した第１の実施形態では、各端末装置２０ａ〜２０ｄにおいて設定されたマーカは、そのマーカを設定した端末装置に対してのみ、表示されていた。これに対して、第２の実施形態では、各端末装置２０ａ〜２０ｄにおいて設定されたマーカを統合して、各端末装置２０ａ〜２０ｄに提示する。
図４１は、第２の実施形態に係るマーカの表示方法の例を、概略的に示す。図４１（ａ）は、開始通知を受信した時間ｔstを基準とした時系列に対して、異なる３台の端末装置（端末装置２０ｂ、２０ｃおよび２０ｄとする）においてそれぞれ設定されたマーカ情報に基づくマーカ６０ａ、６０ｂおよび６０ｃが配置された例を示す。図４１（ｂ）は、図４１（ａ）の一部を拡大した例を示している。
このように、複数の端末装置２０ｂ、２０ｃおよび２０ｄがそれぞれ設定したマーカ情報に基づく各マーカ６０ａ、６０ｂおよび６０ｃを混在させて、例えば図３０のタイムライン７１３０に表示させる。これにより、ユーザは、他のユーザが設定したマーカ情報を参照してタイムライン７１３０上の時間を指定することができる。したがって、ユーザは、他のユーザの観点から、時系列上の情報（電子黒板２２の描画領域５４０２内の画像、音声、映像）を参照することができる。
なお、各マーカ６０ａ、６０ｂおよび６０ｃには、端末装置２０ｂ、２０ｃおよび２０ｄのうちどの端末装置により設定されたかを示す情報を表示させてもよいし、この表示は省略してもよい。
また、上述では、各端末装置２０ｂ、２０ｃおよび２０ｄにより設定されたマーカ情報に基づく各マーカ６０ａ、６０ｂおよび６０ｃをタイムライン７１３０上に表示させるように説明したが、これはこの例に限定されない。例えば、各センサ２４1、２４2、…の検知出力に基づくマーカ情報によるマーカを、タイムライン７１３０上にさらに混在させて表示させてもよい。
さらにまた、サーバ装置１０において記録されるログに基づきマーカ情報を設定することもできる。このログに応じて設定したマーカ情報によるマーカを、タイムライン７１３０上にさらに混在させて表示させてもよい。また、タイムライン７１３０上に表示させるマーカを、マーカ情報に基づきフィルタリングすることも可能である。
（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態では、各端末装置２０ａ〜２０ｄで設定された各マーカ情報を集計し、集計結果を各端末装置２０ａ〜２０ｄに提示可能とする。
図４２を用いて、第３の実施形態に係るマーカ情報の集計方法について概略的に説明する。サーバ装置１０は、時系列上の時間を所定の単位時間ｕ1、ｕ2、ｕ3、…毎に分割する。サーバ装置１０は、各端末装置２０ａ〜２０ｄから送信され保存された各マーカ情報を、各マーカ情報に関連付けられた時間に基づき、各単位時間ｕ1、ｕ2、ｕ3、…毎に集計する。
集計した結果は、例えば図４２に例示されるように、各単位時間ｕ1、ｕ2、ｕ3、…を階級としてマーカ情報の頻度を示すヒストグラムとして表示させることができる。これは、換言すれば、単位時間ｕ1、ｕ2、ｕ3、…毎のマーカ情報の密度を示しているといえる。このヒストグラムを、例えば図３０のタイムライン表示領域７１３に表示させる。
図４２のヒストグラムにおいて、頻度の区切りとなる階級（単位時間）に基づき、例えば会議において発生したイベントを認識することが可能である。図４２の例では、例えば単位時間ｕ5およびｕ6と、単位時間ｕ10とが頻度の区切りであり、時系列上でこの区切りの間、あるいは、この区切り上で、会議上の何らかのイベントが発生したと推測することができる。イベントが頻度の区切りの間、および、区切り上の何れで発生したかは、予め定められた、例えばマーカ情報を設定する際のルールに応じて決めることができる。
図４３は、第３の実施形態に係るマーカ情報の集計処理を示す一例のフローチャートである。ステップＳ３００で、サーバ装置１０は、各端末装置２０ａ〜２０ｄの何れかからマーカ情報を受信したか否かを判定する。サーバ装置１０は、受信していないと判定した場合（ステップＳ３００、「Ｎｏ」）、処理をステップＳ３００に戻し、各端末装置２０ａ〜２０ｄからのマーカ情報の受信を待機する。
サーバ装置１０は、マーカ情報を受信したと判定した場合（ステップＳ３００、「Ｙｅｓ」）、処理をステップＳ３０１に移行させ、受信したマーカ情報を、例えばストレージ１００３に記憶する。次のステップＳ３０２で、サーバ装置１０は、単位時間を経過したか否かを判定する。すなわち、サーバ装置１０は、このステップＳ３０２で前回、単位時間を経過したと判定した時間から、単位時間を経過したか否かを判定する。単位時間を経過していないと判定した場合（ステップＳ３０２、「Ｎｏ」）、サーバ装置１０は、処理をステップＳ３００に戻す。
一方、サーバ装置１０は、ステップＳ３０２で単位時間を経過したと判定した場合（ステップＳ３０２、「Ｙｅｓ」）、処理をステップＳ３０３に移行させる。ステップＳ３０３で、サーバ装置１０は、未集計の１単位時間分のマーカ情報をストレージ１００３から読み出す。次のステップＳ３０４で、サーバ装置１０は、ステップＳ３０３で読み出したマーカ情報の集計を行う。例えば、サーバ装置１０は、単位時間におけるマーカ情報の総数を求める。次のステップＳ３０５で、サーバ装置１０は、ステップＳ３０４の集計処理による集計結果を、会議ＩＤに関連付けて、例えばストレージ１００３に記憶する。
サーバ装置１０は、ステップＳ３０５の処理が終了すると、処理をステップＳ３００に戻し、次の単位時間における処理を実行する。
図４４は、第３の実施形態に係る、サーバ装置１０によるマーカ情報の集計結果の送信処理を示す一例のフローチャートである。例えば、各端末装置２０ａ〜２０ｄは、サーバ装置１０に対して、マーカ情報の集計結果の要求を、会議ＩＤを含めて送信する。
ステップＳ３１０で、サーバ装置１０は、各端末装置２０ａ〜２０ｄの何れかから集計結果の要求を受信したか否かを判定する。各端末装置２０ａ〜２０ｄの何れからも要求を受信していないと判定した場合（ステップＳ３１０、「Ｎｏ」）、処理をステップＳ３１０に戻し、各端末装置２０ａ〜２０ｄの何れかから集計結果の要求を待機する。
サーバ装置１０は、各端末装置２０ａ〜２０ｄの何れかから集計結果の要求を受信したと判定した場合（ステップＳ３１０、「Ｙｅｓ」）、処理をステップＳ３１１に移行させる。ステップＳ３１１で、サーバ装置１０は、受信した要求に含まれる会議ＩＤに関連付けられた、現在までの集計結果を、例えばストレージ１００３から読み出す。次のステップＳ３１２で、サーバ装置１０は、読み出した集計結果を、集計結果を要求した端末装置に送信する。集計結果の送信後、処理がステップＳ３１０に戻される。
（第３の実施形態の第１の変形例）
次に、第３の実施形態の第１の変形例について説明する。上述した第３の実施形態では、会議の直接参加者が使用する端末装置２０ａおよび２０ｂにより設定されたマーカ情報（第１のマーカ情報とする）と、会議の遠隔参加者および準参加者が使用する端末装置２０ｃおよび２０ｄにより設定されたマーカ情報（第２のマーカ情報とする）とを一纏めにして集計していた。これに対して、第３の実施形態の第１の変形例では、これら第１のマーカ情報（第３の種類の意味情報）および第２のマーカ情報（第４の種類の意味情報）を、分けて集計する。第１のマーカ情報および第２のマーカ情報は、マーカ情報に含まれるユーザＩＤに基づき識別が可能である。
図４５は、第３の実施形態の第１の変形例に係るマーカ情報の集計方法例を概略的に示す。図４５に例示されるヒストグラムでは、頻度「０」の軸に対して上方向に第２のマーカ情報、すなわち、会議の遠隔参加者および準参加者により設定されたマーカ情報の集計結果が示されている。また、頻度「０」の軸に対して下方向に第１のマーカ情報、すなわち、会議の直接参加者により設定されたマーカ情報の集計結果が示されている。
会議室２ａ内で、対面で直接的に議論を行っている直接参加者と、会議室２ａとは遠隔した場所において間接的に会議に参加している遠隔参加者および準参加者とでは、会議に対する体験が異なる。したがって、マーカ情報についても、直接参加者と、遠隔参加者および準参加者とでは、互いに異なる観点で設定していることが考えられる。したがって、マーカ情報の集計結果をこれら直接参加者と、遠隔参加者および準参加者とで分けて提示することで、会議の内容などを多様に分析可能となる。
（第３の実施形態の第２の変形例）
次に、第３の実施形態の第２の変形例について説明する。第３の実施形態の第２の変形例では、図４６に示されるように、各端末装置２０ａ〜２０ｄで設定された各マーカ情報を集計した集計結果に対し、さらに、各センサ２４1、２４2、…の検知結果に基づき設定したマーカ情報によるマーカ６０1、６０2、…を重畳して表示させる。この例では、各センサ２４1、２４2、…の検知結果に基づき設定したマーカ情報は、集計せずにそのままマーカとして表示している。
このように、各センサ２４1、２４2、…の検知結果に応じたマーカ６０1、６０2、…をさらに表示させることで、会議中の所望の情報を探索することが、より容易になることが期待できる。
（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態は、各端末装置２０ａ〜２０ｄにより設定されたマーカ情報、および、各センサ２４1、２４2、…の検知結果に基づき設定されたマーカ情報に対して、クロスモーダルの考え方を適用した例である。
クロスモーダルとは、五感（視覚、聴覚、触覚、嗅覚、味覚）を独立した感覚ではなく、互いに交じり合い影響し合うという考え方である。第４の実施形態では、この考えに基づき、各端末装置２０ａ〜２０ｄにより設定されたマーカ情報と、各センサ２４1、２４2、…の検知結果に基づき設定されたマーカ情報とを統合して時系列に従い解析、分析し、新たなマーカ情報を設定する。
例えば、サーバ装置１０は、会議端末２５や端末装置２０ｂから送信された日本語による音声データを取得し、この音声データの所定のタイミングにマーカ情報を設定する。次に、サーバ装置１０は、この日本語音声による音声データに対して音声認識処理を施して、当該音声データを日本語によるテキスト情報に変換する。このとき、サーバ装置１０は、日本語によるテキスト情報の、音声データに設定されたタイミングに対応する位置にマーカ情報を設定する。
サーバ装置１０は、この日本語によるテキスト情報を、既存の機械翻訳技術を用いて英語によるテキスト情報に変換する。このとき、サーバ装置１０は、マーカ情報が設定された日本語のテキスト情報の部分の意味に基づき、英語によるテキスト情報の、当該意味に対応する位置に、マーカ情報を設定する。さらに、サーバ装置１０は、この英語によるテキスト情報を、既存の音声合成技術を用いて英語の音声データに変換する。そして、サーバ装置１０は、この変換された英語の音声データの、英語によるテキスト情報に対して設定されたマーカ情報の位置に対応するタイミングに、マーカ情報を設定する。
これにより、日本語による音声データを英語による音声データに変換し、この英語による音声データにおける、日本語による音声データに設定されたマーカ情報と意味が対応するタイミングに、マーカ情報を設定することが可能となる。
なお、各実施形態に適用される情報処理システム１は、ターゲットが会議に限定されない。また、当該情報処理システム１が会議をターゲットとしない場合、より多くのクロスモーダルによるマーカ情報の生成が想定される。
なお、上述の実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
１ 情報処理システム
２ａ，２ｂ 会議室
１０ サーバ装置
２０ａ，２０ｂ，２０ｃ，２０ｄ 端末装置
２２ 電子黒板
２３ センサＩ／Ｆ
２４1，２４2，… センサ
２５ 会議端末
１０１ ユーザ管理部
１０２ 選択部
１０４ プロジェクト管理部
５００ 会議管理画面
５１０ 議題設定画面
５２０ 会議開始画面
５３０ 会議開始通知画面
５４０ 描画画面
７００ 会議閲覧画面
７１０ タイムライン表示画面
７２０ 議題表示画面
７３０ アクションアイテム表示画面
７４０ マーカ一覧画面
７５０ 情報表示画面
特開２００８−１７２５８２号公報

Claims (9)

  1. 指定された開始時間を基準とする時系列に沿って経過した経過時間を取得する時間取得部と、
    所定の条件に応じて発生した意味情報を受け付ける受付部と、
    前記時系列に従い入力された、少なくとも映像および音声のうち一方を含む情報を、前記経過時間と関連付けて管理すると共に、前記受付部で受け付けられた前記意味情報と、該意味情報が発生した時間に対応する前記経過時間とを関連付けて管理する時間管理部と、
    前記意味情報を示すマーカを前記経過時間と関連付けて前記時系列に従い配置した表示を、複数の端末装置のうち少なくともいずれか一つの端末装置に提示する提示部と、
    前記端末装置から前記表示に応じた入力により指定された前記時系列上の時間に従い、指定された該時間に対応する前記経過時間に関連付けられた前記情報を該端末装置に送信する送信部と
    を備え、
    前記受付部が受け付ける前記意味情報は、
    前記複数の端末装置のそれぞれにおけるユーザ動作に応じて発生した第１の種類の意味情報と、前記複数の端末装置のそれぞれにおける環境情報に応じて発生した第２の種類の意味情報と、を含み、
    前記提示部は、
    前記受付部により前記第１の種類の意味情報が受け付けられた場合に、当該第１の種類の意味情報を示すマーカを、前記複数の端末装置のうち当該第１の種類の意味情報の発生元の端末装置に提示し、
    前記受付部により前記第２の種類の意味情報が受け付けられた場合に、当該第２の種類の意味情報を示すマーカを、前記複数の端末装置のそれぞれに提示する、
    情報処理装置。
  2. 前記意味情報は、
    前記開始時間の指定が行われる第１の環境内にある前記端末装置に対する入力に応じて発生した、第３の種類の意味情報と、
    前記第１の環境とは異なる第２の環境内にある前記端末装置に対する入力に応じて発生した、第４の種類の意味情報と
    を含む
    請求項１に記載の情報処理装置。
  3. 前記意味情報は、
    前記開始時間の指定が行われる環境内にある前記端末装置に対する第１の入力と、該第１の入力に対して前記時系列上で後の時間になされた、該第１の入力と対になる第２の入力とに応じて発生した、第５の種類の意味情報を含む
    請求項１または２に記載の情報処理装置。
  4. 前記第１の入力および前記第２の入力は、
    前記開始時間と、該開始時間と対になる終了時間との間の任意のタイミングでなされる
    請求項３に記載の情報処理装置。
  5. 前記提示部は、
    前記マーカを、該マーカに対応する前記意味情報の種類に応じて異ならせる
    請求項１乃至請求項４の何れか１項に記載の情報処理装置。
  6. 前記提示部は、
    前記意味情報を該意味情報に対応する前記経過時間に基づき前記時系列上で集計した結果を示すマーカを、前記時系列に従い配置した表示を前記端末装置に提示する
    請求項１乃至請求項５の何れか１項に記載の情報処理装置。
  7. 指定された開始時間を基準とする時系列に沿って経過した経過時間を取得する時間取得ステップと、
    所定の条件に応じて発生した意味情報を受け付ける受付ステップと、
    前記時系列に従い入力された、少なくとも映像および音声のうち一方を含む情報を、前記経過時間と関連付けて管理すると共に、前記受付ステップにより受け付けられた前記意味情報と、該意味情報が発生した時間に対応する前記経過時間とを関連付けて管理する時間管理ステップと、
    前記意味情報を示すマーカを前記経過時間と関連付けて前記時系列に従い配置した表示を、複数の端末装置のうち少なくともいずれか一つの端末装置に提示する提示ステップと、
    前記端末装置から前記表示に応じた入力により指定された前記時系列上の時間に従い、指定された該時間に対応する前記経過時間に関連付けられた前記情報を該端末装置に送信する送信ステップと
    を有し、
    前記受付ステップが受け付ける前記意味情報は、
    前記複数の端末装置のそれぞれにおけるユーザ動作に応じて発生した第１の種類の意味情報と、前記複数の端末装置のそれぞれにおける環境情報に応じて発生した第２の種類の意味情報と、を含み、
    前記提示ステップは、
    前記受付ステップにより前記第１の種類の意味情報が受け付けられた場合に、当該第１の種類の意味情報を示すマーカを、前記複数の端末装置のうち当該第１の種類の意味情報の発生元の端末装置に提示し、
    前記受付ステップにより前記第２の種類の意味情報が受け付けられた場合に、当該第２の種類の意味情報を示すマーカを、前記複数の端末装置のそれぞれに提示する、
    する情報処理方法。
  8. 指定された開始時間を基準とする時系列に沿って経過した経過時間を取得する時間取得ステップと、
    所定の条件に応じて発生した意味情報を受け付ける受付ステップと、
    前記時系列に従い入力された、少なくとも映像および音声のうち一方を含む情報を、前記経過時間と関連付けて管理すると共に、前記受付ステップにより受け付けられた前記意味情報と、該意味情報が発生した時間に対応する前記経過時間とを関連付けて管理する管理ステップと、
    前記意味情報を示すマーカを前記経過時間と関連付けて前記時系列に従い配置した表示を、複数の端末装置のうち少なくともいずれか一つの端末装置に提示する提示ステップと、
    前記端末装置から前記表示に応じた入力により指定された前記時系列上の時間に従い、指定された該時間に対応する前記経過時間に関連付けられた前記情報を該端末装置に送信する送信ステップと
    をコンピュータに実行させ、
    前記受付ステップが受け付ける前記意味情報は、
    前記複数の端末装置のそれぞれにおけるユーザ動作に応じて発生した第１の種類の意味情報と、前記複数の端末装置のそれぞれにおける環境情報に応じて発生した第２の種類の意味情報と、を含み、
    前記提示ステップは、
    前記受付ステップにより前記第１の種類の意味情報が受け付けられた場合に、当該第１の種類の意味情報を示すマーカを、前記複数の端末装置のうち当該第１の種類の意味情報の発生元の端末装置に提示し、
    前記受付ステップにより前記第２の種類の意味情報が受け付けられた場合に、当該第２の種類の意味情報を示すマーカを、前記複数の端末装置のそれぞれに提示する、
    ための情報処理プログラム。
  9. 複数の端末装置と情報処理装置とを含む情報処理システムであって、
    前記端末装置は、
    情報を表示する表示部を備え、
    前記情報処理装置は、
    指定された開始時間を基準とする時系列に沿って経過した経過時間を取得する経過時間取得部と、
    所定の条件に応じて発生した意味情報を受け付ける受付部と、
    前記時系列に従い入力された、少なくとも映像および音声のうち一方を含む情報を、前記経過時間と関連付けて管理すると共に、前記受付部で受け付けられた前記意味情報と、該意味情報が発生した時間に対応する前記経過時間とを関連付けて管理する時間管理部と、
    前記意味情報を示すマーカを前記経過時間と関連付けて前記時系列に従い配置した表示を、複数の端末装置のうち少なくともいずれか一つの前記端末装置に提示する提示部と、
    前記端末装置から、前記提示部に提示されて前記表示部になされた表示に応じた入力により指定された前記時系列上の時間に従い、指定された該時間に対応する前記経過時間に関連付けられた前記情報を該端末装置に送信する送信部と
    を備え、
    前記受付部が受け付ける前記意味情報は、
    前記複数の端末装置のそれぞれにおけるユーザ動作に応じて発生した第１の種類の意味情報と、前記複数の端末装置のそれぞれにおける環境情報に応じて発生した第２の種類の意味情報と、を含み、
    前記提示部は、
    前記受付部により前記第１の種類の意味情報が受け付けられた場合に、当該第１の種類の意味情報を示すマーカを、前記複数の端末装置のうち当該第１の種類の意味情報の発生元の端末装置に提示し、
    前記受付部により前記第２の種類の意味情報が受け付けられた場合に、当該第２の種類の意味情報を示すマーカを、前記複数の端末装置のそれぞれに提示する、
    情報処理システム。
JP2016162230A 2016-08-22 2016-08-22 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム Active JP6827236B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016162230A JP6827236B2 (ja) 2016-08-22 2016-08-22 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016162230A JP6827236B2 (ja) 2016-08-22 2016-08-22 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム

Publications (2)

Publication Number Publication Date
JP2018032098A JP2018032098A (ja) 2018-03-01
JP6827236B2 true JP6827236B2 (ja) 2021-02-10

Family

ID=61305100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016162230A Active JP6827236B2 (ja) 2016-08-22 2016-08-22 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム

Country Status (1)

Country Link
JP (1) JP6827236B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6985667B2 (ja) * 2018-03-19 2021-12-22 株式会社リコー 情報処理装置、情報処理方法、プログラム、情報処理システム、および会議システム
JP7490978B2 (ja) * 2020-02-14 2024-05-28 株式会社リコー 情報処理システム、情報処理装置、プログラム及び情報処理方法
JP2023131635A (ja) 2022-03-09 2023-09-22 株式会社リコー 表示システム、表示方法、撮像装置、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229919A (ja) * 2001-02-07 2002-08-16 Fujitsu Ltd 会話装置及び会話促進方法
US20060101022A1 (en) * 2004-10-25 2006-05-11 Microsoft Corporation System and process for providing an interactive, computer network-based, virtual team worksite
JP2008172582A (ja) * 2007-01-12 2008-07-24 Ricoh Co Ltd 議事録作成再生装置
US8812510B2 (en) * 2011-05-19 2014-08-19 Oracle International Corporation Temporally-correlated activity streams for conferences

Also Published As

Publication number Publication date
JP2018032098A (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
US10565246B2 (en) Information processing apparatus, information processing method, and information processing system
CN1119763C (zh) 合作动态视频注释的设备和方法
US7733366B2 (en) Computer network-based, interactive, multimedia learning system and process
US7299405B1 (en) Method and system for information management to facilitate the exchange of ideas during a collaborative effort
JP4363166B2 (ja) コミュニケーションサービス提供システム、サーバ、サービス提供方法およびサービス提供プログラム
JP2006146415A (ja) 会議支援システム
JP6017583B2 (ja) 投射型映像表示装置
JP6914154B2 (ja) 表示制御装置、表示制御方法及びプログラム
CN106134149A (zh) 通信事件历史
JP2004266831A (ja) ライブのおよび記録されたマルチメディアドキュメントをブックマークするシステムと方法
JP2003348243A (ja) 音声情報をアーカイブする技術
JP2005267279A (ja) 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP6827236B2 (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP2006148730A (ja) 会議システム及び会議情報提供方法
JP2009294625A (ja) 遠隔教育システムおよびマルチメディアコンテンツの表示制御方法
CN103561106A (zh) 远程教学及会议系统和方法
JP2018101368A (ja) 情報処理装置、情報処理方法、情報処理システムおよび情報処理プログラム
CN102385501A (zh) 显示控制装置及由显示控制装置执行的控制方法
JP4010094B2 (ja) 遠隔地用講座情報提示装置
JP2016063477A (ja) 会議システム、情報処理方法、及びプログラム
JP2018032097A (ja) 情報処理装置、会議システム、方法およびプログラム
JP4686990B2 (ja) コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム
JP2000098985A (ja) マルチメディア情報処理装置
JP2023111552A (ja) 記録情報作成システム、記録情報作成方法、プログラム
JP2021060949A (ja) 通信システム、情報処理装置、通信方法、プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R150 Certificate of patent or registration of utility model

Ref document number: 6827236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150