JP7009904B2 - 端末装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、端末装置、情報処理システム、情報処理方法及びプログラムに関する。

従来から、プロジェクタにより投影された画像をページ毎にカメラで撮像するシステムが知られている。また、このシステムでは、投射されているページを撮像した画像データと、このページが次のページに遷移した後に撮像した画像データと、を比較し、遷移前のページの投影中に投影面に記入された情報を抽出することが知られている。

しかしながら、上述した従来のシステムでは、投影面に対する手書き入力がない場合でも、２つの画像を比較する処理が行われるため、特定の情報を抽出する処理の負荷が大きく、処理時間が長くなる。

本発明は、上記事情に鑑みてなされたものであり、特定の情報を抽出する処理の負荷を軽減すること目的としている。

本発明は、表示装置に表示された表示画像データに基づき、コンテンツデータを生成する生成部と、外部の情報処理装置からの接続要求を受け付けると、生成された前記コンテンツデータから、前記表示装置に対して手書きで入力された一画毎の軌跡の画像であるストローク画像を示すストローク情報が含まれるコンテンツデータを、特定の属性情報が設定されたストローク画像データの検出処理の対象に選択する選択部と、を有する端末装置である。

特定の情報を抽出する処理の負荷を軽減できる。

第一の実施形態の情報処理システムのシステム構成の一例を示す図である。 電子黒板のハードウェア構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 利用者が電子黒板を利用する状態を示したイメージ図である。 第一の実施形態の情報処理システムの有する各装置の機能構成を説明する図である。 第一の実施形態のコンテンツデータベースの一例を示す図である。 第一の実施形態の属性データベースの一例を示す図である。 第一の実施形態の重要事項データベースの一例を示す図である。 ＰＤＦデータの構造について説明する図である。 電子黒板のディスプレイに表示される画面について説明する図である。 第一の実施形態のページデータを説明する図である。 ストローク配列データを説明する図である。 座標配列データを説明する図である。 座標配列データを説明する図である。 第一の実施形態の情報処理システムの動作を説明するシーケンス図である。 第一の実施形態のコンテンツデータを格納する処理を説明するフローチャートである。 第一の実施形態の情報処理システムの動作を説明する図である。 重要事項情報の抽出の処理を説明する図である。 第一の実施形態における重要事項情報の一覧の表示について説明する図である。 第二の実施形態の情報処理システムの動作を説明するシーケンス図である。 第三の実施形態の情報処理システムの有する各装置の機能構成を説明する図である。 第四の実施形態の情報処理システムを説明する図である。 情報処理システムの変形例を示す第一の図である。 情報処理システムの変形例を示す第二の図である。 情報処理システムの変形例を示す第三の図である。

（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。

本実施形態の情報処理システム１００は、電子黒板（電子情報ボード）２００と、サーバ装置３００と、を有する。情報処理システム１００において、電子黒板２００とサーバ装置３００とは、ネットワークを介して接続される。

本実施形態の情報処理システム１００において、電子黒板２００は、電子黒板２００の画面をキャプチャした画像データ（キャプチャ画像データ）、電子黒板２００に対して手書き入力された文字や画像等を示すストローク画像データ、マイク等の集音装置よって集音された音声データ等を取得し、サーバ装置３００に送信する。尚、本実施形態の電子黒板２００は、取得した情報と対応付けて各種のデータを取得したときの日時を、サーバ装置３００に送信しても良い。

また、電子黒板２００は、複数の端末装置と通信が可能であり、各端末装置から画像データや音声データを取得しても良い。この場合、電子黒板２００に表示される画像は、複数の端末装置によって共有されても良く、電子黒板２００は、複数の端末装置に共有される画面を表示させる共有端末となる。

以下の説明では、電子黒板２００が取得し、サーバ装置３００に送信する各種のデータをコンテンツデータと呼ぶ。したがって、本実施形態のコンテンツデータは、音声データ、電子黒板２００の画面のキャプチャ画像データ、手書き入力されたストローク画像データ、ストローク画像を示すストローク情報、動画データと、それぞれの情報を受信した日時を示す情報等を含む。

尚、本実施形態のストローク画像データは、タッチパネルに対して手書き入力が行われた場合において、利用者による一画毎の軌跡を示す点群により示される画像データである。また、ストローク画像は、ストローク画像データに基づき、電子黒板２００のディスプレイに描画（表示）された画像である。

本実施形態のストローク情報は、ストローク画像を数値や式として表現した形式(ベクタ)の情報である。本実施形態のストローク情報の詳細は、後述される。

また、例えば、電子黒板２００がある会議において使用された場合、本実施形態の電子黒板２００は、会議名を特定する情報と、会議中に電子黒板２００が取得したコンテンツデータとを対応付けてサーバ装置３００へ送信しても良い。

本実施形態のサーバ装置３００は、受信したコンテンツデータを格納する。このとき、サーバ装置３００は、電子黒板２００から取得したコンテンツデータを、会議毎に格納しても良い。また、本実施形態の電子黒板２００は、サーバ装置３００の有する音声認識機能を用いて、発話データに基づく操作指示（コマンド）を受け付ける音声操作が行われても良い。

尚、本実施形態の音声データは、電子黒板２００の周辺で発話した人の声や、人の声以外の様々な音等、集音装置が集音した全ての音を示す波形をデジタル化したデータである。したがって、本実施形態では、電子黒板２００の周辺で発話した人の声を示す発話データは、音声データの一部である。

さらに、本実施形態のサーバ装置３００は、電子黒板２００から受信したコンテンツデータから、電子黒板２００を用いて行われた会議等における重要事項を示す重要事項情報を抽出する。

ここで、本実施形態では、電子黒板２００に表示された画面において、利用者が重要だと思う部分には、利用者によって、特定のマーク等が手書きで入力されることを前提としている。言い換えれば、本実施形態では、電子黒板２００に表示された画面のキャプチャ画像に、利用者の手書き入力によるストローク画像が含まれる場合、このキャプチャ画像には、重要事項が含まれる可能性がある、と考えられる。

言い換えれば、ストローク画像を示すストローク情報が含まれるコンテンツデータは、利用者が重要であると考える重要事項を含んでいる可能性がある。

そこで、本実施形態の電子黒板２００は、電子黒板２００が取得したコンテンツデータにストローク情報が含まれる場合に、このコンテンツデータを、重要事項情報を抽出するための解析の対象として選択し、サーバ装置３００に送信する。

サーバ装置３００は、電子黒板２００から受信したコンテンツデータにおいて、特定の属性で描画されたストローク画像によって示される領域内の画像データを、重要事項情報として抽出し、保存する。

また、本実施形態のサーバ装置３００は、例えば、電子黒板２００からの重要事項情報の表示要求を受けて、重要事項情報を電子黒板２００に表示させても良い。

以上のように、本実施形態の電子黒板２００は、ストローク情報が含まれないコンテンツデータについては、サーバ装置３００に送信せず、ストローク情報が含まれるコンテンツデータのみをサーバ装置３００へ送信する。

したがって、サーバ装置３００では、ストローク情報が含まれるコンテンツデータについてのみ、重要事項情報を抽出する処理が実行される。つまり、サーバ装置３００は、ストローク情報を含むコンテンツデータについてのみ、重要事項情報であることを示す特定の属性で描画されたストローク画像を検出する処理を行う。そして、サーバ装置３００は、特定の属性で描画されたストローク画像が検出された場合に、このストローク画像により特定される領域の画像データを重要事項情報として抽出する。

したがって、本実施形態の情報処理システム１００では、電子黒板２００が記録した全てのコンテンツデータから重要事項情報（特定の情報）を抽出するための処理を行う必要がなく、重要事項情報の抽出の処理負荷を軽減することができる。このため、本実施形態によれば、重要事項情報の抽出にかかる時間を短縮することができる。

また、本実施形態の電子黒板２００は、ストローク情報が含まれるコンテンツデータのみをサーバ装置３００へ送信するため、電子黒板２００とサーバ装置３００との間の通信負荷も軽減することができる。

以下の説明では、電子黒板２００に対する手書き入力を受け付けることを、ストローク画像の入力を受け付ける、と表現する。言い換えれば、以下の説明では、電子黒板２００が、ディスプレイに対する利用者の手又は電子ペン等の接触を検出してから、利用者の手又は電子ペン等が離れたことを検出するまでの間は、ストローク画像が入力されている状態となる。

本実施形態では、コンテンツデータから重要事項情報を抽出して保存しておくことで、電子黒板２００を用いた会議の途中や、会議終了時等の任意のタイミングで、会議の参加者に、会議で決定された重要事項を迅速に提示することができる。

つまり、本実施形態のサーバ装置３００は、電子黒板２００から送信されたコンテンツデータに含まれる重要事項情報を抽出し、電子黒板２００に提供する重要事項抽出サービスを提供するものと言える。

以下に、図２及び図３を参照して、本実施形態の情報処理システム１００の有する各装置のハードウェア構成について説明する。図２は、電子黒板のハードウェア構成の一例を示す図である。

図２に示されているように、電子黒板２００は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ(Interface)２０５、及び、外部機器接続Ｉ／Ｆ２０６を備えた端末装置である。

これらのうち、ＣＰＵ２０１は、電子黒板２００全体の動作を制御する。尚、ＣＰＵ２０１は、例えば、複数のＣＰＵを含んでいても良い。

ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリ２６００、外付け機器（カメラ２４００、スピーカ２３００、マイク２２００）との通信を制御する。

また、電子黒板２００は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、近距離通信回路２１９のアンテナ２１９ａ、及び電源スイッチ２２２を備えている。

これらのうち、キャプチャデバイス２１１は、ＰＣ４００－１のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの入力画像をディスプレイ２３０（表示装置）等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ２３０上に電子ペン２５００や利用者の手Ｈ等が接触したことを検知する。

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２３０の上側両端部に設置された２つ受発光装置が、ディスプレイ２３０に平行して複数の赤外線を放射し、ディスプレイ２３０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。

電子ペンコントローラ２１６は、電子ペン２５００と通信することで、ディスプレイ２３０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

電源スイッチ２２２は、電子黒板２００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

また、電子黒板２００は、バスライン２１０を備えている。バスライン２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

更に、電子黒板２００は、ＲＳ－２３２Ｃポート２２３、変換コネクタ２２４、Ｂｌｕｅｔｏｏｔｈコントローラ２２５を有する。

ＲＳ－２３２Ｃポート２２３は、バスライン２１０と接続されており、ＰＣ４００－２等をＣＰＵ２０１等に接続する。変換コネクタ２２４は、ＰＣ４００－２のＵＳＢ（Universal Serial Bus）ポートに電子黒板２００を接続するためのコネクタである。

Ｂｌｕｅｔｏｏｔｈコントローラ２２５は、例えば、ＰＣ４００－１等と、Ｂｌｕｅｔｏｏｔｈによる通信を行うためのコントローラである。

尚、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

次に、図３を参照して、本実施形態のサーバ装置３００のハードウェア構成について説明する。図３は、サーバ装置のハードウェア構成の一例を示す図である。

サーバ装置３００は、コンピュータによって構築されており、図３に示されているように、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ(Hard Disk)３０４、ＨＤＤ(Hard Disk Drive)３０５、記録メディア３０６、メディアＩ／Ｆ３０７、ディスプレイ３０８、ネットワークＩ／Ｆ３０９、キーボード３１１、マウス３１２、ＣＤ－ＲＯＭドライブ３１４、及び、バスライン３１０を備えた情報処理装置である。

これらのうち、ＣＰＵ３０１は、サーバ装置３００全体の動作を制御する。また、本実施形態では、ＣＰＵ３０１は、複数のＣＰＵを含んでいても良い。

ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤ(Hard Disk Drive)３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ３０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ３０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。キーボード３１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＯＭドライブ３１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ(Compact Disc Read Only Memory)３１３に対する各種データの読み出し又は書き込みを制御する。

また、サーバ装置３００は、バスライン３１０を備えている。バスライン３１０は、図３に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

次に、図４を参照して、本実施形態の電子黒板２００を利用する状態について説明する。図４は、利用者が電子黒板を利用する状態を示したイメージ図である。

例えば、利用者Ａが電子黒板２００を利用する場合、電源スイッチ２２２を押下すると、後述する表示制御部が、ディスプレイ２３０上にログイン画面を表示させる。このとき、利用者Ａが、電子黒板２００の近距離通信回路２１９に、自身のＩＣカード１０を近接させると、電子黒板２００は、ＩＣカード１０からＩＣカード１０の識別情報を読み取る。そして、電子黒板２００は、サーバ装置３００に対して、ＩＣカード１０の識別情報を含む認証要求を送信する。そして、電子黒板２００は、サーバ装置３００から、利用者Ａが認証されたことを示す通知を受けると、利用者Ａによって入力された情報をＩＣカード１０の識別情報と対応付けてサーバ装置３００に保存することができるようになる。

次に、図５を参照して、情報処理システム１００の有する各装置の機能について説明する。図５は、第一の実施形態の情報処理システムの有する各装置の機能を説明する図である。

始めに、電子黒板２００の機能について説明する。以下に説明する電子黒板２００の各部は、電子黒板２００の有する１又は複数のＣＰＵ２０１がＲＯＭ２０２等に格納されたプログラムを読み出して実行することで実現される。

本実施形態の電子黒板２００は、ページ記憶部２５０、表示制御部２６０、入力部２６１、集音部２６２、ページ生成部２６３、ページ選択部２６４、通信部２６５、カード読取部２６６、カード情報対応付け部２６６、属性設定部２６８を有する。

本実施形態のページ記憶部２５０は、ページ生成部２６３の処理により取得された各種のデータを記憶する。具体的には、ページ記憶部２５０には、重畳画像データ２５１、ストローク画像データ２５２、ページデータ２５３、ＰＤＦ（Portable Document Format）データ２５４が格納される。各データの詳細は、後述される。尚、本実施形態のページ記憶部２５０は、例えば、電子黒板２００のＳＳＤ２０４等に設けられても良い。

本実施形態の表示制御部２６０は、例えば、電子黒板２００と接続されたコンピュータから出力される映像や、電子黒板２００に入力された各種のファイル、遠隔地に設置された他の電子黒板２００に表示されている画像等を、ディスプレイ２３０に表示させる。また、本実施形態の表示制御部２６０は、サーバ装置３００から受信した属性情報にしたがって、ストローク画像を表示させる。

本実施形態の入力部２６１は、ディスプレイ２３０に対して手書き入力された文字や画像を示すストローク画像や、ディスプレイ２３０に設けられたタッチパネルに表示された画像の画像データ等を取得する。

また、入力部２６１は、カメラ２４００により撮影された動画データ等を取得する。本実施形態では、動画データは、画像データに含まれる。また、入力部２６１は、電子黒板２００に対する各種の指示を受け付ける。また、入力部２６１は、ＰＣ４００－２等から出力され、電子黒板２００に入力される入力画像データ等を取得する。

本実施形態の集音部２６２は、マイク２２００に入力された音声を音声データとして取得する。また、集音部２６２は、映像と共に入力される音声データを取得する。

本実施形態のページ生成部２６３は、ディスプレイ２３０に表示された１ページの画像（表示画像）から、重畳画像データ２５１、ページデータ２５３、ＰＤＦデータ２５４を取得する。また、ページ生成部２６３は、１ページの画像にストローク画像が入力された場合には、ストローク画像データ２５２を取得する。

具体的には、ページ生成部２６３は、ディスプレイ２３０に入力された入力画像やストローク画像等を重畳させた重畳画像の画像データを取得し、重畳画像データ２５１としてページ記憶部２５０に格納する。尚、ページ生成部２６３は、ディスプレイ２３０に対してストローク画像が入力されていない場合には、ディスプレイ２３０に表示された画像を重畳画像データとする。

本実施形態の重畳画像とは、ディスプレイ２３０の画面をキャプチャしたキャプチャ画像であり、重畳画像データとは、キャプチャ画像データである。言い換えれば、重畳画像とは、ディスプレイ２３０の画面に表示されている表示画像であり、重畳画像データとは、ディスプレイ２３０の画面に表示された表示画像を示す表示画像データである。

また、ページ生成部２６３は、ディスプレイ２３０に対してストローク画像が入力された場合には、ストローク画像の画像データを取得し、ストローク画像データ２５２として、ページ記憶部２５０に格納する。

また、ページ生成部２６３は、ディスプレイ２３０に表示された画像から、この画像を表示させるための表示用のページデータを生成し、ページデータ２５３としてページ記憶部２５０に格納する。ページデータ２５３の詳細は、後述される。

また、ページ生成部２６３は、重畳画像データ２５１と、ストローク画像データ２５２と、ページデータ２５３と、から、重畳画像データ２５１をＰＤＦ形式に変換したＰＤＦデータ２５４を生成し、ページ記憶部２５０に格納する。

このように、本実施形態のページ生成部２６３は、ディスプレイ２３０に表示された表示画像データから、コンテンツデータを生成する生成部である。

本実施形態のＰＤＦデータ２５４は、重畳画像データにストローク画像データが含まれる場合には、重畳画像データから生成されるＰＮＧ（Portable Network Graphics）形式の画像データと、ページデータから生成されるベクタ形式のストローク情報とを含む。また、本実施形態のＰＤＦデータ２５４は、重畳画像データにストローク画像データが含まれない場合には、ＰＮＧ形式の画像データのみを含む。本実施形態のＰＤＦデータ２５４の詳細は後述される。

本実施形態では、重畳画像データ２５１には、例えば、ページを識別するページ識別情報（ページＩＤ）が含まれ、重畳画像データ２５１、ストローク画像データ２５２、ページデータ２５３、ＰＤＦデータ２５４のそれぞれが、ページＩＤによって対応付けられていても良い。

本実施形態では、ページ記憶部２５０に格納されたデータのうち、ページデータ２５３以外の重畳画像データ２５１、ストローク画像データ２５２、ＰＤＦデータ２５４が、コンテンツデータの一部として、サーバ装置３００に送信されても良い。また、本実施形態では、ページ記憶部２５０に格納されたデータが、コンテンツデータの一部としてサーバ装置３００に送信されても良い。

ページ選択部２６４は、ページ生成部２６３により生成されたＰＤＦデータ２５４から、ストローク情報が含まれるＰＤＦデータを選択する。また、ページ選択部２６４は、選択したＰＤＦデータを通信部２６５によって、サーバ装置３００に送信させる。

つまり、本実施形態において、コンテンツデータに含まれるストローク情報とは、ＰＤＦデータ２５４に含まれるベクタ形式のストローク情報である。また、本実施形態において、ストローク情報の有無に応じて選択されるコンテンツデータは、ＰＤＦデータ２５４である。したがって、本実施形態のページ選択部２６４は、ストローク情報が含まれるコンテンツデータを選択する選択部である。

本実施形態の通信部２６５は、入力部２６１が受け付けた各種のデータや、集音部２６２が取得した音声データや、ページ選択部２６４が選択したＰＤＦデータ２５４を含むコンテンツデータをサーバ装置３００へ送信する。

本実施形態のカード読取部２６６は、アンテナ２１９ａにＩＣカード等が翳されると、ＩＣカードに記録されている識別情報（カードＩＤ）を読み取る。本実施形態のカードＩＤは、例えば、ＩＣカードの所有者（電子黒板２００の利用者）を特定するためのカード識別情報である。

カード情報対応付け部２６７は、カード読取部２６６が読み取ったカードＩＤと、コンテンツデータとを対応付ける。具体的には、カード情報対応付け部２６６は、例えば、カード読取部２６６によりカードＩＤが読み取られてから所定時間内に取得したコンテンツデータを、読み取ったカードＩＤと対応付けても良い。

このようにすれば、本実施形態では、例えば、会議の参加者が、発話する前や文字や数字等を書き込む前等に、自身が所持しているＩＣカードをアンテナ２１９ａに翳すだけで、文字、画像、音声等のコンテンツデータと、コンテンツデータを入力した参加者とを対応付けることができる。

本実施形態の通信部２６５は、コンテンツデータを送信する際に、コンテンツデータに対応付けられたカードＩＤと共に、サーバ装置３００へ送信する。

本実施形態の属性設定部２６８は、ストローク画像に対する属性の変更指示に基づき、サーバ装置３００から、特定の属性情報を受信し、属性の変更の対象とされたストローク画像に対し、この特定の属性情報を設定する。

本実施形態における特定の属性情報とは、このストローク画像が重要事項を特定する画像であることを示す識別情報でもある。また、本実施形態の属性の変更指示とは、例えば、ディスプレイ２３０の所定の位置をタッチする操作を行うことや、予め決められた特定の形状のストローク画像を描画することによって、与えられても良い。

次に、本実施形態のサーバ装置３００の機能について説明する。本実施形態のサーバ装置３００は、コンテンツデータベース３３０、属性データベース３４０、重要事項データベース３５０を有する。図５では、これらの各データベースは、サーバ装置３００に設けられるものとしているが、これに限定されない。これらの各データベースは、サーバ装置３００の外部の記憶装置等に設けられていても良い。

また、本実施形態のサーバ装置３００は、通信部３６１、音声認識部３６２、コンテンツ格納部３６３、属性制御部３６４、重要事項抽出部３６５、重要事項格納部３６６を有する。本実施形態のサーバ装置３００の有する各部は、サーバ装置３００が有する１又は複数のＣＰＵ３０１が、ＲＯＭ３０２等に格納されたプログラムを読み出して実行することで実現される。

コンテンツデータベース３３０は、電子黒板２００から受信した各種のデータ（コンテンツデータ）が格納される。属性データベース３４０は、ストローク画像に対して設定される各種の属性情報が格納される。属性情報とは、例えば、ストローク画像の色や、線の太さ等を示す情報である。重要事項データベース３５０は、重要事項抽出部３６５により抽出された重要事項情報が格納される。各データベースの詳細は、後述される。

本実施形態の通信部３６１は、サーバ装置３００と他の装置との通信を行う。具体的には、通信部３６１は、サーバ装置３００と電子黒板２００との間の情報の送受信を行う。

本実施形態の音声認識部３６２は、コンテンツデータに含まれる音声データを、音声認識機能によってテキストデータに変換する。音声認識部３６２の音声認識機能は、例えば、人工知能等によって実現されても良い。

本実施形態のコンテンツ格納部３６３は、通信部３６１がコンテンツデータを受信すると、このコンテンツデータをコンテンツデータベース３３０に格納する。

属性制御部３６４は、通信部３６１が、電子黒板２００から、ストローク画像の属性の変更指示を受信すると、予め保持された特定の属性情報を通信部３６１に渡し、電子黒板２００に送信させる。属性制御部３６４に予め保持された特定の属性情報とは、重要事項であることを示す特定の属性を示す情報である。

また、本実施形態の属性制御部３６４は、例えば、電子黒板２００から属性情報の設定要求を受け付けると、属性データベース３４０に格納された属性情報の一覧を電子黒板２００のディスプレイ２３０に表示させる。そして、属性制御部３６４は、電子黒板２００において選択された属性情報を、特定の属性情報として保持しても良い。

重要事項抽出部３６５は、電子黒板２００から受信したコンテンツデータから、重要事項情報を抽出する。より具体的には、重要事項抽出部３６５は、ページ選択部２６４により選択されたＰＤＦデータ２５４に含まれるＰＮＧ形式の画像データから、特定の属性情報が設定されたストローク画像データを検出し、検出されたストローク画像データが示すストローク画像によって囲われた領域内の画像データを、重要事項情報として抽出する。

重要事項格納部３６６は、重要事項抽出部３６５により抽出された重要事項情報を重要事項データベース３５０に格納する。尚、本実施形態の重要事項格納部３６６は、重要事項情報を格納する際に、重要事項情報を、重要事項情報が抽出されたＰＤＦデータが取得された日時や、ＰＤＦデータと対応付けられた会議の名称等と対応付けて格納しても良い。

次に、図６乃至図８を参照して、本実施形態のサーバ装置３００の有する各データベースについて説明する。図６は、第一の実施形態のコンテンツデータベースの一例を示す図である。

本実施形態のコンテンツデータベース３３０は、情報の項目として、会議ＩＤ、日付、カードＩＤ、時刻、コンテンツデータを有する。

項目「会議ＩＤ」の値は、電子黒板２００を用いて開催されている会議を特定するための識別情報である。項目「日付」の値は、対応する会議ＩＤで特定される会議が開催された日付を示す。項目「カードＩＤ」の値は、ＩＣカードに格納されたカード識別情報を示す。項目「時刻」の値は、対応するコンテンツデータが取得された時刻を示す。項目「コンテンツデータ」の値は、コンテンツデータそのものである。

図６の例では、２０１７年２月１０日に開催された会議ＩＤ「００１」の会議において、電子黒板２００は、１０：００に、カードＩＤ「１００」と対応付けられた音声データを取得したことがわかる。同様に、電子黒板２００は、１０：０１に、カードＩＤ「１００」と対応付けられた重畳画像データを取得し、１０：０３に、カードＩＤ「１００」と対応付けられたストローク画像データを取得したことがわかる。

尚、コンテンツデータベース３３０には、音声認識部３６２によって音声データから変換されたテキストデータが格納されても良い。この場合、テキストデータは、ＨＤ３０４等に格納されても良い。また、コンテンツデータベース３３０には、会議ＩＤと対応付けられた会議名等が含まれても良い。

図７は、第一の実施形態の属性データベースの一例を示す図である。本実施形態の属性データベース３４０は、情報の項目として、線種、線色、線幅を有し、それぞれが対応付けられている。尚、図７に示す「線」とは、直線と曲線を含み、ストローク画像である一画の画像を示す。つまり、本実施形態では、「線」と「ストローク画像」とは、同義である。

項目「線種」の値は、線の種類を示す。項目「線色」の値は、線の色を示す。項目「線幅」の値は、線の太さを示す。

図７では、例えば、線種として、実線、点線１、点線２、・・と行った線種が存在することがわかる。また、図７では、例えば、線色として、赤、橙、黄等といった色が存在することがわかる。また、図７では、例えば、線幅として、××ｍｍ、○○ｍｍといった線幅が存在することがわかる。

以下の説明では、属性データベース３４０の有する各項目と、項目の値とを含む情報を属性情報と呼ぶ。

ここで、本実施形態の属性制御部３６４に保持される属性情報の設定について説明する。本実施形態の情報処理システム１００において、電子黒板２００は、入力部２６１が、ストローク画像の属性情報の設定要求を受け付けると、設定要求をサーバ装置３００へ通知する。サーバ装置３００は、通信部３６１が設定要求を受信すると、属性制御部３６４により、属性データベース３４０に格納された属性情報を選択させるための画面を電子黒板２００に表示させる。

属性情報を選択させるための画面とは、例えば、属性データベース３４０の有する項目毎に、項目の値を設定させる画面等である。

電子黒板２００は、ディスプレイ２３０に表示された画面において、項目「線種」、「線色」、「線幅」毎の値が選択されると、属性設定部２６８により、項目毎の選択内容をサーバ装置３００に通知する。

サーバ装置３００は、この通知を受けて、項目毎に選択された値を、属性情報として、属性制御部３６４に保持させる。したがって、本実施形態の属性制御部３６４に保持される属性情報は、ストローク画像を描画する際の線種と、線色と、線幅を示す情報である。例えば、電子黒板２００において、項目「線種」の値に点線１、項目「線色」に橙、項目「線幅」に０．８ｍｍが選択された場合、属性情報は、「点線１、橙、０．８ｍｍ」となる。

図８は、第一の実施形態の重要事項データベースの一例を示す図である。本実施形態の重要事項データベース３５０は、情報の項目として、会議ＩＤ、日付、重要事項、ページＩＤを有し、それぞれの項目が対応付けられている。本実施形態の重要事項情報は、重要事項データベース３５０において、項目「会議ＩＤ」、「日付」、「カードＩＤ」、「重要事項」、「ページＩＤ」の値を含む情報であっても良い。

項目「日付」は、「重要事項」が含まれるが取得された日付を示す。項目「重要事項」の値は、重畳画像データから抽出された、重要事項を示す画像データを示す。項目「ページＩＤ」の値は、重要事項を示す画像データが含まれる重畳画像データ２５１を識別するためのページ識別情報である。

尚、重要事項データベース３５０は、情報の項目として、図８に示す全ての項目を有していなくても良い。重要事項データベース３５０は、情報の項目として、項目「会議ＩＤ」と項目「重要事項」が含まれれば良い。

図８の例では、２０１７年２月１０日に開催された会議ＩＤ「００１」の会議において、カードＩＤ「１００」と対応付けられた画像データ１１．ｊｐｇが重要事項として抽出されたことがわかる。

尚、本実施形態のサーバ装置３００では、ＯＣＲ（Optical Character Recognition）を有し、重要事項情報として抽出された画像データによって示される画像の文字認識を行っても良い。その場合、サーバ装置３００は、重要事項情報に、画像データから文字認識されたテキストデータを含めてもよい。本実施形態では、この処理を行うことで、重要事項をテキストデータとして記憶することができる。

尚、上述した情報処理システム１００では、サーバ装置３００を一台のサーバ装置としたが、これに限定されない。情報処理システム１００の有するサーバ装置３００は複数台であっても良く、その場合、どのサーバ装置にどの機能やどのデータベースを備えさせても良い。さらに、本実施形態で説明する電子黒板２００と、サーバ装置３００とが接続された情報処理システム１００のシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

次に、図９を参照して、本実施形態のＰＤＦデータ２５４について説明する。図９は、ＰＤＦデータの構造について説明する図である。

本実施形態のＰＤＦデータ２５４は、情報の種類として、ページＩＤと、ＰＮＧ形式の画像データと、ストローク情報とを含む。

ＰＮＧ形式の画像データは、重畳画像データに基づき生成される。ストローク情報は、重畳画像データを表示させるためのページデータから生成されるベクタ形式のデータである。尚、ベクタ形式のデータとは、幾何図形を作成するための情報を数値や式として表現したデータである。

また、本実施形態のＰＤＦデータは、重畳画像にストローク画像か含まれない場合には、ページＩＤと、ＰＮＧ（Portable Network Graphics）形式の画像データとを含むデータとなる。

図９に示すＰＤＦデータ２５４において、ページＩＤ「ｐ００１」には、ＰＮＧ形式の画像データ９１１と、ストローク情報ＳＴ９１１とが対応付けられている。したがって、ページＩＤ「ｐ００１」で特定される重畳画像データには、ストローク画像データが含まれることがわかる。したがって、ページＩＤ「ｐ００１」のＰＤＦデータ２５４－１は、ページ選択部２６４に選択される。

また、図９において、ページＩＤ「ｐ００２」には、ＰＮＧ形式の画像データ９１２が対応付けられており、ストローク情報は存在しない。したがって、ページＩＤ「ｐ００２」で特定される重畳画像データには、ストローク画像データが含まれないことがわかる。したがって、ページＩＤ「ｐ００２」のＰＤＦデータ２５４－２は、ページ選択部２６４に選択されない。

次に、図１０乃至図１４を参照して、本実施形態のページ生成部２６３により生成され、記録されるページデータについて説明する。はじめに、本実施形態の電子黒板２００のディスプレイ２３０に表示される画面について説明する。

図１０は、電子黒板のディスプレイに表示される画面について説明する図である。図１０（Ａ）は、重畳される画像を説明する図であり、図１０（Ｂ）は、重畳画像の一例を示す図である。

本実施形態の電子黒板２００において、表示制御部２６０は、入力部２６１により取得される入力画像や、ストローク画像、ＵＩ（User Interface）画像及び背景画像を予め指定されたレイアウトにしたがって重畳して表示させる。

尚、ＵＩ画像とは、予め設定された画像である。また、背景画像は、例えば、無地の画像やグリッド線を含む画像等であり、重畳画像に含まれるメディアデータである。メディアデータの詳細は、後述される。

表示制御部２６０は、図１０に示すように、ＵＩ画像を表示させるためのレイヤ９１、ストローク画像を表示させるためのレイヤ９２、ＰＣから出力されて電子黒板２００に入力される入力画像を表示させるレイヤ９３、背景画像を表示させるためのレイヤ９４を有する。

本実施形態の表示制御部２６０は、電子黒板２００の利用者からディスプレイ２３０を見たとき、レイヤ９１が１層目、レイヤ９２が２層目、レイヤ９３が３層目、レイヤ９４が４層目となるように、各レイヤを重畳させる。

そして、表示制御部２６０は、ＵＩ画像の画像データ（ＵＩ画像データ）、ストローク画像データ、入力画像の画像データ（入力画像データ）、背景画像の画像データ（背景画像データ）を合成することで、４層の重畳画像９０の画像データを生成する。

つまり、本実施形態の重畳画像とは、ディスプレイ２３０の各レイヤに表示された画像を合成した画像である。

次に、図１１を参照して、本実施形態のページデータについて説明する。図１１は、第一の実施形態のページデータを説明する図である。

本実施形態の電子黒板２００のページ生成部２６３は、図１１に示すような構造のページデータを生成して、ページ記憶部２５０に格納しても良い。

本実施形態のページデータは、情報の項目として、ページデータＩＤ、開始時刻、終了時刻、ストローク配列データＩＤ、メディアデータＩＤを有する。

項目「開始時刻」の値は、ページの表示が開始された時刻を示す。項目「終了時刻」の値は、ページデータの更新が終了した時刻を示す。項目「ストローク配列データＩＤ」の値は、ストローク画像の入力により生成されたストローク配列データを識別するための識別情報を示す。本実施形態のストローク配列データは、特定の形状を示す点群の座標情報を含む。つまり、本実施形態のストローク配列データが、一画毎の軌跡を示す点群であるストローク情報である。

項目「メディアデータＩＤ」の値は、メディアデータを識別するための識別情報を示す。メディアデータとは、背景画像をディスプレイ２３０に表示させるためのデータである。

このように、本実施形態では、ページデータを保存する際に、入力されたストローク画像をディスプレイ２３０に表示させるためのストローク配列データを、ページデータと対応付ける。

また、本実施形態では、ストローク画像が入力されなかった場合には、ページデータと対応付けられるストローク配列データが存在しないため、ページデータにおける項目「ストローク配列データＩＤ」の値が空欄となる。

例えば、図１１の例では、ページデータＩＤ「ｐｇ００１」は、ストローク配列データＩＤ「ｓｔ００１」と対応付けられている。したがって、ページデータＩＤ「ｐｇ００１」の元となる重畳画像には、ストローク画像が含まれることがわかる。

また、図１１の例では、ページデータＩＤ「ｐｇ００２」は、ストローク配列データＩＤの値が入力されていない。したがって、ページデータＩＤ「ｐｇ００２」の元となる重畳画像には、ストローク画像が含まれないことがわかる。

次に、図１２を参照して、本実施形態のストローク配列データについて説明する。図１２は、ストローク配列データを説明する図である。

本実施形態のストローク配列データは、複数のストロークデータを含んでいる。各ストロークデータは、利用者が手書き入力によってストローク画像を描画する度に生成される。例えば、利用者が電子ペン２５００でアルファベットの「Ｓ」を描く場合、一筆書きとなるため、１つのストロークデータＩＤで、一文字が示される。また、例えば、利用者が電子ペン２５００でアルファベットの「Ｔ」を描く場合、２画となるので、２つのストロークデータＩＤで、一文字のアルファベットの「Ｔ」が示されることになる。

本実施形態のストローク配列データは、情報の項目として、ストロークデータＩＤ、開始時刻、終了時刻、色、幅、及び座標廃立データＩＤを含む。

項目「ストロークデータＩＤ」は、ストロークデータを識別するための識別情報である。項目「開始時刻」の値は、利用者がストロークを書き始めた時刻を示す。項目「終了時刻」の値は、利用者がストロークを書き終わった時刻を示す。

項目「色」の値は、そのストロークの色を示し、項目「幅」の値は、ストロークの幅を示す。項目「座標配列データＩＤ」の値は、ストロークの通過点に関する情報が含まれる座標配列データ（座標群）を識別するための識別情報を示す。

次に、図１３を参照して、本実施形態の座標配列データについて説明する。図１３は、座標配列データを説明する図である。

本実施形態の座標配列データは、座標配列データＩＤ毎に設けられる。本実施形態の座標配列データは、情報の項目として、Ｘ座標値、Ｙ座標値、差分時刻、筆圧を有する。

項目「Ｘ座標値」と項目「Ｙ座標」の値は、ストロークが通過した点毎の、ディスプレイ２３０上での位置を示す。項目「差分時刻」の値は、利用者がストロークを書き始めた時刻から、項目「Ｘ座標値」と項目「Ｙ座標」の値とが示す位置を通過した時刻までの差分を示す。項目「筆圧」の値は、電子ペン２５００の筆圧を示す。

次に、図１４を参照して、本実施形態のメディアデータについて説明する。図１４は、メディアデータを説明する図である。

本実施形態のメディアデータは、情報の項目として、メディアデータＩＤ、データの種類、記録時刻、Ｘ座標値、Ｙ座標値、幅、高さ、及びデータを含む。

項目「メディアデータＩＤ」の値は、メディアデータを識別するための識別情報を示す。項目「データの種類」の値は、メディアデータの種類を示す。項目「記録時刻」の値は、電子黒板２００において、ページデータが保存された時刻を示す。項目「Ｘ座標値」と項目「Ｙ座標」の値は、ディスプレイ２３０上に表示されるメディアデータの位置を示す。尚、より具体的には、項目「Ｘ座標値」と項目「Ｙ座標」の値は、ディスプレイ２３０の左上端の座標を基準としたときのメディアデータの左上端の位置を示している。

項目「幅」の値と、項目「高さ」の値は、メディアデータのサイズを示す。より具体的には、項目「幅」の値と、項目「高さ」の値は、メディアデータの種類が画像であった場合の画像の幅と高さを示す。項目「データ」の値は、メディアデータの内容を示している。

本実施形態のページデータは、以上のような構造のデータとして、電子黒板２００に格納されている。

次に、図１５を参照して、本実施形態の情報処理システム１００の動作について説明する。図１５は、第一の実施形態の情報処理システムの動作を説明するシーケンス図である。

本実施形態の情報処理システム１００において、電子黒板２００は、入力部２６１がサーバ装置３００への接続要求を受け付けると、通信部２６５によってサーバ装置３００と接続する（ステップＳ１５０１）。尚、サーバ装置３００への接続要求とは、例えば、情報処理システム１００を用いた会議の開始指示等であっても良い。

続いて、電子黒板２００は、入力部２６１がＰＣ４００－２等から取得した入力画像を、表示制御部２６０によりディスプレイ２３０に表示させる（ステップＳ１５０２）。

続いて、電子黒板２００は、ページ生成部２６３により、コンテンツデータを生成してページ記憶部２５０に格納させる（ステップＳ１５０３）。尚、ステップＳ１５０３の処理の詳細は、後述される。

続いて、電子黒板２００は、ページ選択部２６４に、ページ生成部２６３が会議の開始指示を受け付けてから会議の終了指示を受け付けるまで取得したコンテンツデータの中から、ストローク情報が含まれるコンテンツデータを選択させる（ステップＳ１５０４）。

言い換えれば、ページ選択部２６４は、会議の開始指示（第一の指示）を受け付けてから、会議の終了指示（第二の指示）を受け付けるまでの所定期間において取得されたＰＤＦデータから、ストローク情報を含むＰＤＦデータを選択する。

続いて、電子黒板２００は、通信部２６５に、ページ選択部２６４により選択されたコンテンツデータ（ＰＤＦデータ）をサーバ装置３００に送信させる（ステップＳ１５０５）。

サーバ装置３００は、通信部３６１がページデータを受信すると、コンテンツ格納部３６３に、受信したコンテンツデータをコンテンツデータベース３３０に格納させる（ステップＳ１５０６）。

続いて、サーバ装置３００は、重要事項抽出部３６５に、受信したコンテンツデータの解析を行わせる（ステップＳ１５０７）。

より具体的には、サーバ装置３００は、重要事項抽出部３６５に、受信したＰＤＦデータに含まれるＰＮＧ形式の画像データに、特定の属性情報が設定されたストローク画像データが含まれるか否かを検出させる。

続いて、サーバ装置３００は、重要事項抽出部３６５に、検出されたストローク画像により指定される領域内の画像データを、重要事項情報として抽出させ、重要事項格納部３６６に、抽出された重要事項情報を重要事項データベース３５０に格納させる（ステップＳ１５０８）。

続いて、サーバ装置３００は、通信部３６１に、抽出された重要事項情報の一覧を示す情報を読み出して（ステップＳ１５０９）、電子黒板２００に送信させる（ステップＳ１５１０）。

電子黒板２００は、通信部２６５が重要事項情報の一覧を示す情報を受信すると、表示制御部２６０により、受信した重要事項情報の一覧を示す情報をディスプレイ２３０に表示させ（ステップＳ１５１１）、処理を終了する。

尚、図１５では、サーバ装置３００は、重要事項情報が抽出されると、重要事項情報の一覧を示す情報を電子黒板２００へ送信するものとしたが、これに限定されない。サーバ装置３００は、例えば、電子黒板２００から、重要事項情報の一覧の取得要求を受け付けた場合に、重要事項情報の一覧を示す情報を電子黒板２００に送信しても良い。

このように、本実施形態では、コンテンツデータの一部であるＰＤＦデータにストローク情報が含まれない場合には、このＰＤＦデータを、重要事項情報を抽出するための解析の対象から除外する。

つまり、本実施形態では、利用者によって手書きで入力された情報が含まれないコンテンツデータに対しては重要事項情報を検出する処理を実行せず、利用者によって手書きで入力された情報が含まれるコンテンツデータに対してのみ、重要事項情報を検出する処理を実行する。

したがって、本実施形態では、重要事項情報を抽出する処理の負荷を低減することができ、重要事項情報を抽出して電子黒板２００にその一覧を表示させるまでの時間を短縮することができる。

以下に、図１６を参照して、本実施形態の電子黒板２００におけるページデータの記録の処理を説明する。図１６は、第一の実施形態のページデータの記録の処理を説明するフローチャートである。図１６では、図１５のステップＳ１５０３の処理の詳細を示している。

電子黒板２００は、ディスプレイ２３０に入力画像が表示されると、入力部２６１が、ストローク画像の入力を受け付けたか否かを判定する（ステップＳ１６０１）。ステップＳ１６０１において、ストローク画像の入力を受け付けない場合、電子黒板２００は、後述するステップＳ１６０４へ進む。

ステップＳ１６０１において、ストローク画像の入力を受け付けると、電子黒板２００は、表示制御部２６０により、入力されたストローク画像を描画する（ステップＳ１６０２）。続いて、電子黒板２００は、ページ生成部２６３に、描画されたストローク画像を示すストローク画像データを取得してページ記憶部２５０に格納させる（ステップＳ１６０３）。

続いて、電子黒板２００は、入力部２６１が、ディスプレイ２３０に表示された画像の切り替え指示を受け付けたか否かを判定する（ステップＳ１６０４）。ステップＳ１６０４において、入力部２６１が切り替え指示を受け付けていない場合、電子黒板２００は、ステップＳ１６０１へ戻る。

ステップＳ１６０４において、入力部２６１が切り替え指示を受け付けた場合、電子黒板２００は、ページ生成部２６３に、重畳画像データを取得させ、ページ記憶部２５０に格納させる（ステップＳ１６０５）。続いて、電子黒板２００は、ページ生成部２６３に、ページデータを生成させて、ページ記憶部２５０に格納させる（ステップＳ１６０６）。続いて、電子黒板２００は、ページ生成部２６３に、ＰＤＦデータを生成させて、ページ記憶部２５０に格納させる（ステップＳ１６０７）。

続いて、電子黒板２００は、入力部２６１が会議終了の指示を受け付けたか否かを判定する（ステップＳ１６０８）。ステップＳ１６０８において、入力部２６１が会議終了の指示を受け付けていない場合、電子黒板２００は、ステップＳ１６０１へ戻る。

ステップＳ１６０８において、入力部２６１が会議終了の指示を受け付けた場合、電子黒板２００は、図１５のステップＳ１５０４へ進む。

以下に、図１７乃至図１９を参照して、本実施形態の情報処理システム１００の動作について具体的に説明する。図１７は、第一の実施形態の情報処理システムの動作を説明する第一の図である。図１７（Ａ）は、ストローク画像を含む重畳画像の表示例を示す図であり、図１７（Ｂ）は、ストローク画像が含まれない重畳画像の表示例を示す図である。

図１７（Ａ）に示すページデータＰ１では、ストローク画像ＳＴ１７１と、ストローク画像群ＳＴ１７２とが含まれる。また、重畳画像Ｐ１において、ストローク画像ＳＴ１７１は、属性設定部２６８によって設定された特定の属性情報により描画されたストローク画像とした。

この場合、重畳画像Ｐ１と対応するＰＤＦデータ２５４には、重畳画像Ｐ１から生成されたＰＮＧ形式の画像データと、ストローク画像ＳＴ１７１を示すストローク情報と、ストローク画像群ＳＴ１７２に含まれる各ストローク画像を示すストローク情報と、が含まれることになる。

これに対し、図１７（Ｂ）に示す重畳画像Ｐ２には、手書きで入力されたストローク画像が存在しない。したがって、重畳画像Ｐ２と対応するＰＤＦデータ２５４には、重畳画像Ｐ２から生成されたＰＮＧ形式の画像データのみず含まれ、ストローク情報は含まれない。

したがって、サーバ装置３００では、重畳画像Ｐ１と対応するＰＤＦデータが、重要事項情報を抽出するための解析の対象となり、重畳画像Ｐ２と対応するＰＤＦデータは、解析の対象から除外される。

図１８は、重要事項情報の抽出の処理を説明する図である。本実施形態のサーバ装置３００では、ストローク情報が含まれるＰＤＦデータが選択されると、選択されたＰＤＦデータに含まれる画像データから、特定の属性情報で描画されたストローク画像の検出を行う。

図１８に示す画像Ｐ３は、ページ選択部２６４により選択されたＰＤＦデータに含まれる、ＰＮＧ形式の画像データにより示される画像の例を示している。

画像Ｐ３は、特定の属性情報で描画されたストローク画像ＳＴ１８１、ＳＴ１８２を含む。

したがって、サーバ装置３００では、重要事項抽出部３６５が、画像Ｐ３から、ストローク画像ＳＴ１８１、ＳＴ１８２を検出する。そして、重要事項抽出部３６５は、ストローク画像ＳＴ１８１が示す領域Ｒ１と、ストローク画像ＳＴ１８１が示す領域Ｒ２と、を特定する。尚、領域Ｒ１は、ストローク画像ＳＴ１８１に外接する矩形内の領域であり、領域Ｒ１は、ストローク画像ＳＴ１８２に外接する矩形内の領域である。

続いて、重要事項抽出部３６５は、画像Ｐ３を示す画像データから、領域Ｒ１内の画像データと、領域Ｒ２内の画像データと、を重要事項情報として抽出する。

次に、図１９を参照して、重要事項情報の一覧の表示について説明する。図１９は、第一の実施形態における重要事項情報の一覧の表示について説明する図である。

電子黒板２００は、サーバ装置３００において、ＰＤＦデータから重要事項情報の抽出が完了すると、重要事項情報の一覧を示す情報を受信し、ディスプレイ２３０に表示させる。

図１９の例では、重要事項情報の一覧として、画像Ｐ３における領域Ｒ１内の画像データに基づく画像Ｇ１と、画像Ｐ３における領域Ｒ２内の画像データに基づく画像Ｇ２と、が、ディスプレイ２３０に表示される。

以上のように、本実施形態の情報処理システム１００では、電子黒板２００がストローク情報を含むＰＤＦデータを選択してサーバ装置３００へ送信し、サーバ装置３００においてＰＤＦデータから抽出された重要事項情報を電子黒板２００に表示させる。

また、本実施形態によれば、ストローク情報が含まれるＰＤＦデータについてのみ、重要事項情報の抽出を行うための解析を行う。このため、本実施形態によれば、電子黒板２００がＰＤＦデータをサーバ装置３００に送信してから、電子黒板２００が重要事項情報の一覧を示す情報を受信するまでの時間を短縮することができ、操作性を向上させることができる。

尚、本実施形態では、ＰＤＦデータにおけるストローク情報の有無に応じてサーバ装置３００へ送信するが否かを判定しているが、これに限定されない。

本実施形態の電子黒板２００は、例えば、カメラ２４００によって、ディスプレイ２３０の画像を撮像することで、ディスプレイ２３０に対する電子ペン２５００や手の動きを監視し、監視の結果に応じて解析の対象とするＰＤＦデータを選択しても良い。例えば、電子黒板２００は、カメラ２４００に撮像された画像データから、電子ペン２５００や手によってストローク画像の入力を行っていると判定した場合に、そのときディスプレイ２３０に表示されている画面の重畳画像と対応するＰＤＦデータを解析の対象として選択し、サーバ装置３００へ送信しても良い。

また、電子黒板２００は、例えば、ストローク画像を含むＰＤＦデータの代わりに、ストローク画像データが含まれる重畳画像データを選択して、サーバ装置３００へ送信しても良い。この場合、サーバ装置３００は、重畳画像データから、特定の属性情報が設定されたストローク画像を検出すれば良い。

また、本実施形態の情報処理システム１００を構成するサーバ装置は、複数台でも良く、どのサーバに機能を備えさせても良い。尚、この実施形態で説明する電子黒板２００と、サーバ装置３００とが接続された情報処理システム１００の構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

また、本実施形態では、ストローク情報が含まれないＰＤＦデータも、例えば、各種のコンテンツデータと共にサーバ装置３００へ送信されても良い。

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態では、電子黒板において表示される画像が切り替わる度に、コンテンツデータをサーバ装置へ送信するか否かを判定する点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図２０は、第二の実施形態の情報処理システムの動作を説明するシーケンス図である。

本実施形態の情報処理システム１００において、電子黒板２００は、入力部２６１がサーバ装置３００への接続要求を受け付けると、通信部２６５によってサーバ装置３００と接続する（ステップＳ２００１）。続いて、電子黒板２００は、入力部２６１がＰＣ４００－２等から取得した入力画像を、表示制御部２６０によりディスプレイ２３０に表示させる（ステップＳ２００２）。

次に、電子黒板２００は、入力部２６１により、入力画像の切り替え指示を受け付けて（ステップＳ２００３）、ページ生成部２６３によりコンテンツデータを取得して、ページ記憶部２５０に格納する（ステップＳ２００４）。

続いて、電子黒板２００は、ページ選択部２６４により、格納したＰＤＦデータにストローク情報が含まれる場合に、このＰＤＦデータを選択し（ステップＳ２００５）、選択したＰＤＦデータをサーバ装置３００へ送信する（ステップＳ２００６）。

図２０のステップＳ２００７からステップＳ２００９までの処理は、図１５のステップＳ１５０６からステップＳ１５０８までの処理と同様であるから、説明を省略する。

情報処理システム１００は、入力部２６１が会議の終了指示を受け付けるまで、ステップＳ２００１からステップＳ２００９までの処理を繰り返す。

電子黒板２００は、入力部２６１により、会議の終了指示を受け付けると（ステップＳ２０１０）、サーバ装置３００に対して、重要事項情報の一覧の取得要求を行う（ステップＳ２０１１）。

図２０のステップＳ２０１２からステップＳ２０１４までの処理は、図１５のステップＳ１５０９からステップＳ１５１１までの処理と同様であるから、説明を省略する。

以上のように、本実施形態では、電子黒板２００においてＰＤＦデータが生成される度に、ＰＤＦデータにストローク情報が含まれる否かが判定される。そして、本実施形態の電子黒板２００は、ＰＤＦデータにストローク情報が含まれると判定される度に、このＰＤＦデータをサーバ装置３００に送信する。

サーバ装置３００は、ＰＤＦデータを受信する度に、重要事項抽出部３６５による特定の属性情報のストローク画像の検出を行う。

このため、本実施形態によれば、コンテンツデータが取得される度に重要事項情報を抽出することができる。したがって、本実施形態では、電子黒板２００は、例えば、会議の途中であっても、それまでに取得したページデータから取得した重要事項情報の一覧をサーバ装置３００から受信することができる。

（第三の実施形態）
以下に図面を参照して、第三の実施形態について説明する。第三の実施形態は、電子黒板が重要事項情報の抽出を行う点が、第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図２１は、第三の実施形態の情報処理システムの有する各装置の機能構成を説明する図である。

本実施形態の情報処理システム１００Ａは、電子黒板２００Ａとサーバ装置３００Ａとを有する。

電子黒板２００Ａは、ページ記憶部２５０、表示制御部２６０、入力部２６１、集音部２６２、ページ生成部２６３、ページ選択部２６４、通信部２６５、カード読取部２６６、カード情報対応付け部２６７、属性設定部２６８、重要事項抽出部３６５、属性データベース３４０を有する。

電子黒板２００Ａにおいて、重要事項抽出部３６５により抽出された重要事項情報は、通信部２６５によって、サーバ装置３００Ａへ送信される。

また、本実施形態の電子黒板２００Ａの属性設定部２６８は、属性データベース３４０に格納された属性情報の一覧をディスプレイ２３０に表示させ、属性情報の一覧から選択された属性情報を特定の属性情報として保持しても良い。

本実施形態のサーバ装置３００Ａは、コンテンツデータベース３３０、重要事項データベース３５０、通信部３６１、音声認識部３６２、コンテンツ格納部３６３、重要事項格納部３６６を有する。

サーバ装置３００Ａは、電子黒板２００Ａから重要事項情報を受信すると、重要事項格納部３６６により、重要事項データベース３５０へ格納する。

このように、本実施形態では、重要事項情報の抽出まで電子黒板２００Ａで行うため、サーバ装置３００Ｃの処理負荷を軽減することができる。

（第四の実施形態）
以下に図面を参照して、第四の実施形態について説明する。第四の実施形態は、情報処理システムにおいて、電子黒板の代わりに、画像投影装置を用いた点が、第一の実施形態と相違する。よって、以下の第四の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図２２は、第四の実施形態の情報処理システムを説明する図である。図２２に示す情報処理システム１００Ｂは、画像投影装置（プロジェクタ）７００とサーバ装置３００とを有する。

画像投影装置７００は、例えば、画像投影装置７００と接続された端末装置から入力された画像データを、スクリーン８００に投影する。スクリーン８００は、例えば、ホワイトボードや壁面等が代用されても良く、ディスプレイ２３０に相当するものとなる。

また、画像投影装置７００は、電子ペンや利用者の手等の動作を検出することで、スクリーン８００に対する手書き入力を検出し、スクリーン８００にストローク画像を投影させる。

また、画像投影装置７００は、例えば、スクリーン８００に表示された保存ボタン２８５が操作されると、スクリーン８００に投影されている画像の画像データを、コンテンツデータとして、サーバ装置３００へ送信する。このとき、画像投影装置７００は、第一乃至第三の実施形態と同様に、画像投影装置７００から受信したコンテンツデータのうち、ストローク情報が含まれるコンテンツデータを、重要事項情報を抽出するための解析の対象として選択し、サーバ装置３００に送信する。

また、画像投影装置７００は、例えば、保存ボタン２８５が操作された場合に、サーバ装置３００にページデータを送信する以外に、例えば、ＵＳＢメモリ等の可搬型の記録媒体にページデータを出力し、保存させても良い。

以上のように、本実施形態では、画像投影装置７００とサーバ装置３００のシステムにおいても、特定の情報（重要事項情報）を抽出する処理の負荷を軽減できる。

次に、図２３乃至図２５を参照して、上述した各実施形態の情報処理システムの変形例について説明する。

図２３は、情報処理システムの変形例を示す第一の図である。図２３の例では、電子黒板２００の代わりに、端末装置６００、画像投影装置７００Ａ、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。

画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力されるストローク画像を示すストローク画像データを生成し、画像投影装置７００Ａによってストローク画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている画像を示す重畳画像データを含むコンテンツデータを生成する。そして、端末装置６００は、コンテンツデータから、ストローク情報を含むコンテンツデータを選択し、サーバ装置３００に送信する。

図２４は、情報処理システムの変形例を示す第二の図である。図２４の例では、電子黒板２００の代わりに、端末装置６００とディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し、端末装置６００へ送信する。尚、図２４の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力されるストローク画像の画像データを生成し、ディスプレイ８００Ａに表示させる。

また、本実施形態の端末装置６００は、画像投影装置７００Ａに投影させている画像を示す重畳画像データを含むコンテンツデータを生成する。そして、端末装置６００は、コンテンツデータから、ストローク情報を含むコンテンツデータを選択し、サーバ装置３００に送信する。

図２５は、情報処理システムの変形例を示す第三の図である。図２５の例では、電子黒板２００の代わりに、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力されるストローク画像の画像データを生成し、画像投影装置７００Ａによって、スクリーン８００上にストローク画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている画像を示す重畳画像データを含むコンテンツデータを生成する。そして、端末装置６００は、コンテンツデータから、ストローク情報を含むコンテンツデータを選択し、サーバ装置３００に送信する。

以上のように、上述した各実施形態は、様々なシステム構成において適用することができる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ(Application Specific Integrated Circuit)、ＤＳＰ（digital signal processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ(System on a chip)、ＧＰＵ（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００、１００Ａ、１００Ｂ 情報処理システム
２００、２００Ａ、２００Ｂ 電子黒板
２３０ ディスプレイ
２５０ ページ記憶部
２６０ 表示制御部
２６１ 入力部
２６３ ページ生成部
２６４ ページ選択部
２６５ 通信部
２６６ カード読取部
２６７ カード情報対応付け部
２６８ 属性設定部
３００、３００Ａ、３００Ｂ サーバ装置
３３０ コンテンツデータベース
３４０ 属性データベース
３５０ 重要事項データベース
３６１ 通信部
３６２ 音声認識部
３６３ コンテンツ格納部
３６４ 属性制御部
３６５ 重要事項抽出部
３６６ 重要事項格納部

特開２０１４－１８７４２９号公報

Claims (10)

1. 表示装置に表示された表示画像データに基づき、コンテンツデータを生成する生成部と、
   外部の情報処理装置からの接続要求を受け付けると、生成された前記コンテンツデータから、前記表示装置に対して手書きで入力された一画毎の軌跡の画像であるストローク画像を示すストローク情報が含まれるコンテンツデータを、特定の属性情報が設定されたストローク画像データの検出処理の対象に選択する選択部と、を有する端末装置。
2. 前記選択部は、
   前記生成部が、第一の指示を受け付けから第二の指示を受け付けるまでの所定期間に、複数の前記表示画像データに基づき生成した複数のコンテンツデータから、前記検出処理と対象となるコンテンツデータを選択する、請求項１記載の端末装置。
3. 前記選択部は、
   前記生成部がコンテンツデータを生成する度に、生成された前記コンテンツデータに、ストローク情報が含まれるか否かを判定し、
   ストローク情報が含まれる場合に、前記コンテンツデータを、前記検出処理の対象となるコンテンツデータに選択する、請求項１記載の端末装置。
4. 前記生成部は、
   前記表示装置に対して前記ストローク画像が入力された場合に、
   前記表示装置に入力された入力画像に前記ストローク画像を重畳させて、前記表示画像データとし、
   前記表示画像データと、前記ストローク画像を示すストローク情報と、を対応づけてコンテンツデータとする、請求項１乃至３の何れか一項に記載の端末装置。
5. 前記コンテンツデータは、ＰＤＦ形式のデータであり、
   前記ストローク情報は、ベクタ形式の情報である、請求項１乃至４の何れか一項に記載の端末装置。
6. さらに、
   前記選択部により選択されたコンテンツデータから、前記特定の属性情報が設定されたストローク画像を検出し、検出された前記ストローク画像によって示される領域内の画像データを、重要事項情報として抽出する重要事項抽出部を有する請求項１乃至５の何れか一項に記載の端末装置。
7. 前記特定の属性情報とは、
   前記特定の属性情報が設定された前記ストローク画像が、重要事項情報を特定する画像であることを示す情報である、請求項１乃至６の何れか一項に記載の端末装置。
8. 端末装置と、前記端末装置と通信を行う情報処理装置と、を有する情報処理システムであって、
   前記端末装置は、
   表示装置に表示された表示画像データに基づき、コンテンツデータを生成する生成部と、
   前記情報処理装置からの接続要求を受け付けると、生成された前記コンテンツデータから、前記表示装置に対して手書きで入力された一画毎の軌跡の画像であるストローク画像を示すストローク情報が含まれるコンテンツデータを、特定の属性情報が設定されたストローク画像データの検出処理の対象に選択する選択部と、
   前記選択部により選択されたコンテンツデータを前記情報処理装置へ送信する通信部と、を有し、
   前記情報処理装置は、
   前記端末装置から受信したコンテンツデータから、特定の属性情報が設定されたストローク画像を検出し、検出された前記ストローク画像によって示される領域内の画像データを、重要事項情報として抽出する重要事項抽出部を有する、情報処理システム。
9. コンピュータによる情報処理方法であって、前記コンピュータが、
   表示装置に表示された表示画像データに基づき、コンテンツデータを生成する手順と、
   外部の情報処理装置からの接続要求を受け付けると、生成された前記コンテンツデータから、前記表示装置に対して手書きで入力された一画毎の軌跡の画像であるストローク画像を示すストローク情報が含まれるコンテンツデータを、特定の属性情報が設定されたストローク画像データの検出処理の対象に選択する手順と、を行う情報処理方法。
10. 表示装置に表示された表示画像データに基づき、コンテンツデータを生成する処理と、
    外部の情報処理装置からの接続要求を受け付けると、生成された前記コンテンツデータから、前記表示装置に対して手書きで入力された一画毎の軌跡の画像であるストローク画像を示すストローク情報が含まれるコンテンツデータを、特定の属性情報が設定されたストローク画像データの検出処理の対象に選択する処理と、をコンピュータに実行させるプログラム。

Images