JP6102356B2 - 画像共有システム、画像処理装置およびプログラム - Google Patents

Description

本発明は、ユーザが描いた描画画像を表示する画像処理装置に関し、より詳細には、複数の拠点間で描画画像を共有する画像共有システム、画像処理装置およびプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、その上にユーザが文字や数字、図形等の描画画像を書き込み可能な電子黒板が利用されている。

このような電子黒板の一例として、特許文献１は、表示装置を制御するコンピュータ装置が背景画像に挿入画像を重畳して表示装置に表示させる電子情報ボードシステムを開示する。この電子情報ボードシステムでは、ユーザが表示装置に設けられたタッチパネルを用いて生成した描画画像を背景画像に重畳して表示装置に表示する。

しかしながら、特許文献１に記載の電子情報ボードシステムでは、１の拠点で構成されるシステムであるため、他拠点との間で描画画像を共有することができないという問題があった。

本発明は上述した課題を解決するものであり、他拠点の画像処理装置との間で画像を共有すると共に、ネットワーク通信が切断された場合でも、他拠点の画像処理装置との間で描画画像の整合性を保つことができる画像共有システム、画像処理装置およびプログラムを提供することを目的とする。

本発明の画像共有システムは、画像を処理する複数の画像処理装置と、画像処理装置とネットワークを介して接続されたサーバ装置とを含んで構成される。画像処理装置は、表示手段に対する物体の接触位置または接近位置を検出し、当該接触位置または接近位置を使用して描画画像を規定する描画情報を生成し、当該描画情報を使用して描画画像を生成して表示手段に表示すると共に、ネットワークを介して描画情報を他の画像処理装置に提供する。画像処理装置は、サーバ装置から受信した他の画像処理装置が提供する描画情報を使用して描画画像を生成する。

また、画像処理装置は、画像処理装置がネットワークに接続されているか検知し、ネットワークとの通信が切断されて回復した場合に、描画情報のメッセージダイジェストを生成し、当該メッセージダイジェストと、サーバ装置が生成したメッセージダイジェストとが異なる場合に、サーバ装置が提供する描画情報を使用して描画画像を生成する。

本発明の画像共有システム、画像処理装置およびプログラムは、上記構成を採用することにより、他拠点の画像処理装置との間で画像を共有でき、ネットワーク通信が切断された場合でも、他拠点の画像処理装置との間で描画画像の整合性を保つことができる。

本発明の画像共有システムを示す図。 本発明の画像処理装置およびサーバ装置の構成を示す図。 本発明の画像処理装置の描画画像格納領域および描画画像共有部の詳細図。 本発明のサーバ装置が処理するデータテーブルおよびバッファデータを示す図。 本発明の画像処理装置が実行する処理の一実施形態を示すフローチャート。 本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャート。 本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャート。 本発明の画像処理装置が実行する処理を示すフローチャート。 本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャート。 本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャート。 本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャート。 本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャート。 本発明のサーバ装置が実行する処理を示すフローチャート。 本発明の画像処理装置が実行する処理を示すフローチャート。 本発明の画像処理装置が実行する処理の別の実施形態を示すフローチャート。 ユーザの描画動作によって描画画像を選択する方法を示す図。

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。

図１は、本発明の画像共有システムを示す図である。画像共有システム１００は、インターネットやＬＡＮ（Local Area Network）等のネットワーク１２０を介して接続された画像処理装置１１０ａ，１１０ｂと、サーバ装置１４０とを含んで構成されている。

画像処理装置１１０ａ，１１０ｂは、ユーザＰＣ１３０ａ，１３０ｂが提供する様々な画像を表示すると共に、ユーザが生成する描画画像を表示する装置である。画像処理装置１１０ａ，１１０ｂは、それぞれケーブル１２４，１２６を介してユーザＰＣ１３０ａ，１３０ｂが接続されており、ユーザＰＣ１３０ａ，１３０ｂの表示画像を受信して表示する。

ユーザＰＣ１３０ａ，１３０ｂは、画像処理装置１１０ａ，１１０ｂに表示すべき画像を提供する情報処理装置である。ユーザＰＣ１３０ａ，１３０ｂは、画像信号を出力するインタフェースを備えており、ユーザＰＣ１３０ａ，１３０ｂの表示画像を形成する画像信号を所定のレートで画像処理装置１１０ａ，１１０ｂに供給する。

本実施形態では、ユーザＰＣ１３０ａ，１３０ｂは、インタフェースとしてＶＧＡ出力端子（図示せず）を備えており、ＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を画像処理装置１１０ａ，１１０ｂに送信することができる。他の実施形態では、ユーザＰＣ１３０ａ，１３０ｂは、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。

また、ユーザＰＣ１３０ａ，１３０ｂは、画像処理装置１１０が表示した画像を取得することができる。ユーザＰＣ１３０ａ，１３０ｂは、ＵＳＢポート（図示せず）を備えており、ＵＳＢケーブル等のケーブル１２６を介して接続された画像処理装置１１０ａ，１１０ｂに格納されている表示画像を、USB Mass Storage Class等の汎用ドライバを使用して取得することができる。

本実施形態では、ユーザＰＣ１３０ａ，１３０ｂとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処理装置を採用することができる。

サーバ装置１４０は、画像処理装置１１０ａ，１１０ｂの描画画像を整合させる情報処理装置である。サーバ装置１４０は、ネットワーク１２０を介して画像処理装置１１０ａ，１１０ｂから描画画像を規定する描画情報および描画画像に対する操作を規定する操作情報を受信し、これらの情報を画像処理装置１１０ａ，１１０ｂに提供する。

図１に示す実施形態では、画像共有システム１００では、２の拠点間で画像を共有するが、他の実施形態では、３以上の拠点間で画像を共有してもよい。

図２は、本発明の画像処理装置およびサーバ装置の構成を示す図である。以下、図２を参照して、画像処理装置１１０ａおよびサーバ装置１４０のハードウェア構成および機能構成について説明する。なお、画像処理装置１１０ｂは画像処理装置１１０ａと同様の構成を有するため、説明を省略する。

画像処理装置１１０ａは、画像入力インタフェース２３２および画像出力インタフェース２３４を備えており、これらのインタフェースを介してユーザＰＣ１３０ａと接続される。

画像入力インタフェース２３２は、ユーザＰＣ１３０ａの表示画像を形成する画像信号を受信するインタフェースである。本実施形態では、画像入力インタフェース２３２としてＤＶＩ（Digital Visual Interface）端子によって構成されるＤＶＩコネクタを採用することができる。画像入力インタフェース２３２は、ユーザＰＣ１３０ａからＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を受信し、画像処理装置１１０ａが備える画像取得部２０６にＶＧＡ信号を供給する。

他の実施形態では、ＶＧＡ（Video Graphics Array）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用することができる。さらに他の実施形態では、画像入力インタフェース２３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１３０ａから画像信号を受信してもよい。

画像出力インタフェース２３４は、画像処理装置１１０ａの表示画像をユーザＰＣ１３０ａなどの外部装置に出力する物理インタフェースである。本実施形態では、画像出力インタフェース２３４としてＵＳＢソケットを採用することができる。

画像処理装置１１０ａは、プロセッサ２００と、ＲＯＭ２０２と、ＲＡＭ２０４と、画像取得部２０６と、座標検出部２２４と、接触検知部２２６と、表示部２４０と、通信部２４２とを含んで構成される。

プロセッサ２００は、ＣＰＵやＭＰＵ等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳを動作させ、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。ＲＯＭ２０２は、ＢＩＯＳやＥＦＩ等のブートプログラムなどが保存される不揮発性メモリである。

ＲＡＭ２０４は、ＤＲＡＭやＳＲＡＭ等の主記憶装置であり、本発明のプログラムを実行するための実行空間を提供する。プロセッサ２００は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置（図示せず）から、本発明のプログラムを読み出し、ＲＡＭ２０４に展開して実行する。本発明のプログラムには、プログラムモジュールであるイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画処理部２１６、合成部２１８、表示制御部２２０、スナップショット生成部２２２、リポジトリ管理部２２８および描画画像共有部２３８が含まれる。

画像取得部２０６は、ユーザＰＣ１３０ａから画像信号を取得する機能手段である。画像取得部２０６は、ユーザＰＣ１３０ａから画像入力インタフェース２３２を介して画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成されるユーザＰＣ１３０ａの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部２１２に送信する。

また、画像取得部２０６は、当該画像信号を使用してユーザＰＣ１３０ａの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にそれぞれ上書き保存する。

アプリ画像生成部２１２は、表示部２４０に表示すべき種々の表示ウィンドウを生成する機能手段である。表示ウィンドウには、ユーザＰＣ１３０ａの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウ、画像処理装置１１０ａの各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやＷｅｂブラウザ等の表示ウィンドウなどが含まれる。アプリ画像生成部２１２は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。

レイアウト管理部２１４は、アプリ画像生成部２１２が生成する表示ウィンドウにユーザＰＣ１３０ａの表示画像を描画する機能手段である。レイアウト管理部２１４は、画像取得部２０６から画像情報を取得すると、ビデオＲＡＭ２０８に格納されている画像フレームを取得し、画像情報を使用して、画像フレームの大きさをアプリ画像生成部２１２が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。

接触検知部２２６は、描画装置２６０等の物体の接触を検知する機能手段である。本実施形態では、接触検知部２２６として、特許文献２に示すような赤外線遮断方式による座標入力／検出装置を採用する。この座標入力／検出装置では、表示部２４０の下側両端部に設置された２の受発光装置が、表示部２４０に平行して複数の赤外線を放射し、表示部２４０の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。接触検知部２２６は、物体によって遮断された２の受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、物体の接触位置座標および接近位置座標を特定する。

他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を採用してもよい。

座標検出部２２４は、物体が表示部２４０に接触した位置である座標位置を算出すると共に、種々のイベントを発行する機能手段である。本実施形態では、座標検出部２２４は、接触検知部２２６が通知する遮断された赤外線の識別情報を利用して、物体の接触位置の座標位置を算出する。座標検出部２２４は、接触位置座標および接近位置座標を示す座標位置情報と共に、種々のイベントをイベント処理部２１０に発行する。

座標検出部２２４が発行するイベントには、物体の接触または接近したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部２４０に接触または接近した状態で接触点または接近点が移動したことを通知するイベント（ＭＯＶＥ）、物体が表示部２４０から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。これらのイベントには、座標位置情報が含まれる。

描画装置２６０は、画像処理装置１１０ａの接触検知部２２６に接触させて描画する装置である。描画装置２６０は、先端部に物体の接触を検知する接触検知部を備えたペン形状をしており、当該接触検知部が物体に接触すると、接触したことを示す接触信号を座標検出部２２４に送信する。

本実施形態では、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信によって各種信号を送信する。他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。

イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する機能手段である。イベント処理部２１０は、座標検出部２２４からイベントを受信すると、画像処理装置１１０ａの他の機能手段に対して、描画指示および種々の操作指示を行う。

描画指示とは、描画画像を生成する指示であり、描画装置２６０を表示部２４０に接触させることによって生成される。操作指示とは、表示部２４０に表示された画面を構成するボタンやメニューバー等の種々の画面オブジェクトに割り当てられた操作を実行させる指示であり、描画装置２６０を表示部２４０の画面オブジェクトに接触させることによって生成される。イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報が画面オブジェクトの座標領域内であるときに操作指示を行う。

本実施形態の画面オブジェクトには、他拠点の画像処理装置１１０ａ，１１０ｂおよびサーバ装置１４０との通信確立を指示可能な画面オブジェクトと、描画画像の移動、拡大および縮小を指示可能な画面オブジェクトと、描画画像の削除を指示可能な画面オブジェクトとが含まれる。これらの画面オブジェクトが選択されると、イベント処理部２１０は、これらの画面オブジェクトに対応する操作指示を他の機能手段に送信する。

描画処理部２１６は、ユーザが描画装置２６０を用いて描画する描画画像を処理する機能手段である。描画処理部２１６は、イベント処理部２１０から描画指示を受信すると、当該描画画像の識別情報である描画画像識別情報を生成し、当該描画指示に含まれる描画画像の座標位置情報と、当該描画画像の色情報とを含む描画情報を、描画情報格納領域２３６に保存する。描画処理部２１６は、この描画情報を使用して、描画画像の座標位置情報が示す座標位置の色を、当該色情報が示す色に変更した画像レイヤ（以下、「手書きレイヤ」とする。）を生成して描画画像を生成する。ユーザは、表示部２４０に表示された画面オブジェクトを使用して、描画画像の色を指定することができる。

また、描画処理部２１６は、描画画像の選択、移動、拡大、縮小および削除を行う。描画画像の選択、移動、拡大、縮小および削除の処理については、図７〜図１１を参照して詳述する。

合成部２１８は、種々の画像を合成する機能手段である。合成部２１８は、アプリ画像生成部２１２が画像を描画すべき画像レイヤと、レイアウト管理部２１４がユーザＰＣ１３０ａの表示画像を描画すべき画像レイヤ（以下、「画像キャプチャレイヤ」とする。）と、描画処理部２１６が画像を描画すべき手書きレイヤとを合成する。

表示制御部２２０は、表示部２４０を制御する機能手段である。表示制御部２２０は、合成部２１８が生成した合成画像を表示部２４０に表示する。本実施形態では、合成部２１８は、表示制御部２２０を呼び出して、合成画像を表示部２４０に表示する。他の実施形態では、合成部２１８および表示制御部２２０は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部２４０に表示してもよい。

スナップショット生成部２２２は、ユーザＰＣ１３０ａの表示画像と描画処理部２１６が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。スナップショット生成部２２２は、表示部２４０に表示されたスナップショットの取得を指示する画像オブジェクトが選択されると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。スナップショット生成部２２２は、リポジトリ管理部２２８に対し、生成したスナップショット画像を記憶装置２３０に保存させる。

リポジトリ管理部２２８は、スナップショット画像を格納すべき記憶装置２３０を制御する機能手段である。リポジトリ管理部２２８は、上述したように、スナップショット生成部２２２の指示により、スナップショット画像を記憶装置２３０に保存する。記憶装置２３０には、スナップショット画像がページ単位で保存される。また、リポジトリ管理部２２８は、ユーザＰＣ１３０ａの指示により、記憶装置２３０からスナップショット画像を取得し、ユーザＰＣ１３０ａに送信する。

描画画像共有部２３８は、ネットワーク１２０を介して接続されたサーバ装置１４０および他拠点の画像処理装置１１０ｂとの間で描画画像を共有する機能手段である。描画画像共有部２３８は、ネットワーク１２０のインタフェースである通信部２４２を介して、種々のデータ通信を行う。描画画像共有部２３８の機能構成については、図３を参照して詳述する。

サーバ装置１４０は、プロセッサと、ＲＯＭと、ＲＡＭとを備え、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮなどのＯＳを動作させ、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。

サーバ装置１４０は、通信部２４４と、接続部２４６と、蓄積部２４８と、描画画像共有部２５０と、不揮発性の記憶装置２５２，２５４とを含んで構成される。

通信部２４４は、ネットワーク１２０を介したデータ通信を行うインタフェースである。接続部２４６は、ネットワーク１２０を介した画像処理装置１１０ａ，１１０ｂとのセッションを確立する機能手段である。接続部２４６は、画像処理装置１１０ａ，１１０ｂからセッションの確立要求を受信すると、当該セッションの識別情報（以下、「セッションＩＤ」とする。）を生成し、図４に示す記憶装置２５４のセッション管理テーブルに当該セッションＩＤおよび画像処理装置１１０ａ，１１０ｂの識別情報を登録し、当該画像処理装置にセッションＩＤを送信してセッションを確立する。

蓄積部２４８は、ネットワーク１２０を介して画像処理装置１１０ａ，１１０ｂから受信した描画情報および操作情報を主記憶装置（図示せず）にバッファリングすると共に、バッファデータである描画情報および操作情報を記憶装置２５２に保存する機能手段である。

蓄積部２４８は、画像処理装置１１０ａ，１１０ｂから描画情報および操作情報を受信すると、これらの情報を識別する情報（以下、「バッファデータＩＤ」とする。）を生成し、セッションＩＤ、バッファデータＩＤ、当該描画情報および操作情報の種類、当該描画情報および操作情報の保存先のアドレスを、図４に示す記憶装置２５４の描画画像管理テーブルに登録し、当該描画情報および操作情報を、バッファデータＩＤおよび送信元識別情報と共に主記憶装置にバッファリングする。また、蓄積部２４８は、主記憶装置にバッファリングした描画情報および操作情報を記憶装置２５２に保存する。

描画画像共有部２５０は、画像処理装置１１０ａ，１１０ｂの描画画像を整合させる機能手段である。描画画像共有部２５０は、画像処理装置１１０ａとネットワーク１２０との通信が切断された場合には、図１２を参照して詳述する描画画像の整合処理を実行する。また、描画画像共有部２５０は、サーバ装置１４０が画像処理装置１１０ａ，１１０ｂと通信している間にシャットダウンして再起動した場合には、図１３,１４を参照して詳述する描画画像の整合処理を実行する。

図２に示す画像共有システム１００は、サーバ装置１４０を含んで構成されるが、他の実施形態では、サーバ装置１４０を使用せず、画像処理装置１１０ａ，１１０ｂがサーバ装置１４０の機能手段を備えるようにしてもよい。

図３は、本発明の画像処理装置が有する描画画像格納領域および描画画像共有部の詳細図である。以下、図３を参照して、画像処理装置１１０ａの描画情報格納領域２３６に格納される描画情報および描画画像共有部２３８の機能構成について説明する。

描画情報格納領域２３６に格納される描画情報には、描画画像が含まれる表示画像のページと、描画画像識別情報と、描画画像の色情報と、描画画像の位置情報と、選択状態とが含まれる。

画像処理装置１１０ａの表示部２４０に表示される表示画像は、複数のページで構成することができ、描画情報格納領域２３６には、描画情報が表示画像のページ毎に保存される。描画画像識別情報は、描画画像が生成されるときに描画処理部２１６によって生成される。描画画像の色情報は、描画画像の色を示す。描画画像の位置情報は、描画画像の座標位置を示す。選択状態は、描画画像の選択状態を示す情報である。本実施形態では、選択状態「０」は、描画画像が選択されていない状態を示し、選択状態「１」は、描画画像が選択されている状態を示す。

描画画像共有部２３８は、接続部３００と、送信部３０２と、受信部３０４と、接続検知部３０６と、描画画像整合部３０８とを含んで構成される。

接続部３００は、サーバ装置１４０および画像処理装置１１０ｂとのセッションを確立する機能手段である。接続部３００は、イベント処理部２１０からセッションの確立指示を受信すると、セッションの確立要求をサーバ装置１４０に送信する。接続部３００は、例えば、ＴＣＰプロトコル３ウェイ・ハンドシェイクを利用して、サーバ装置１４０および画像処理装置１１０ｂとのセッションを確立することができる。接続部３００は、サーバ装置１４０が送信するセッションＩＤをＲＡＭ２０４に保存する。

送信部３０２は、ネットワーク１２０を介してサーバ装置１４０に種々のデータを送信する機能手段である。受信部３０４は、サーバ装置１４０からネットワーク１２０を介して種々のデータを受信する機能手段である。本実施形態の送信部３０２および受信部３０４は、パケット単位でサーバ装置１４０とデータ通信を行う。

接続検知部３０６は、画像処理装置１１０ａがネットワーク１２０に接続されているか検知する機能手段である。接続検知部３０６は、例えば、ＴＣＰによるパケット送信後のタイムエラーによって、ネットワーク通信の切断を検知することができる。また、接続検知部３０６は、定期的にＡＲＰパケットをサーバ装置１４０に送信し、サーバ装置１４０からの応答が無い場合に、ネットワーク通信が切断されていると判断することもできる。

描画画像整合部３０８は、画像処理装置１１０ａ，１１０ｂおよびサーバ装置１４０との間で描画画像を整合させる機能手段である。描画画像整合部３０８は、画像処理装置１１０ａとネットワーク１２０との通信が切断された場合には、図１２を参照して詳述する描画画像の整合処理を実行する。また、描画画像整合部３０８は、サーバ装置１４０が画像処理装置１１０ａ，１１０ｂと通信中にシャットダウンして再起動した場合には、図１３,１４を参照して詳述する描画画像の整合処理を実行する。

図４は、本発明のサーバ装置が処理するデータテーブルおよびバッファデータを示す図である。以下、図４を参照して、サーバ装置１４０の記憶装置２５４に構築されるセッション管理テーブル４００および描画画像管理テーブル４０４と、バッファデータである描画情報４１０および操作情報４２０,４２４,４２８とについて説明する。

セッション管理テーブル４００は、サーバ装置１４０が画像処理装置１１０ａ，１１０ｂからセッションの確立要求を受信したときに生成されるデータテーブルである。サーバ装置１４０の接続部２４６は、セッションの確立要求を受信すると、当該セッションを示すセッションＩＤ４０１を生成し、当該セッションＩＤと、セッションの確立要求に含まれる画像処理装置の識別情報４０２とを関連付けて、セッション管理テーブル４００に登録する。

描画画像管理テーブル４０４は、画像共有システム１００で共有すべき描画画像を管理するためのデータテーブルである。描画画像管理テーブル４０４は、セッションＩＤ４０５と、バッファデータＩＤ４０６と、バッファデータ種類４０７と、メモリアドレス４０８とが関連付けて登録される。

セッションＩＤ４０５は、セッションの確立時に接続部２４６によって生成されるセッションの識別情報である。バッファデータＩＤ４０６は、画像処理装置１１０ａ，１１０ｂから描画情報および操作情報を受信したときに、蓄積部２４８によって生成されるバッファデータの識別情報である。バッファデータ種類４０７は、バッファデータの種類を示す情報である。メモリアドレス４０８は、バッファデータの格納先のメモリアドレスである。

描画情報４１０は、サーバ装置１４０が主記憶装置にバッファリングし、記憶装置２５２に保存する描画情報である。描画情報４１０には、バッファデータＩＤ４１１と、描画画像識別情報４１２と、色情報・位置情報４１３と、ページ４１４と、選択状態４１５と、送信元識別情報４１６とが含まれる。

バッファデータＩＤ４１１は、描画画像管理テーブル４０４に登録されるバッファデータＩＤに相当する。描画画像識別情報４１２、色情報・位置情報４１３、ページ４１４および選択状態４１５は、画像処理装置１１０ａ，１１０ｂから受信した描画情報である。送信元識別情報４１６は、当該描画情報を送信した画像処理装置の識別情報である。

操作情報４２０,４２４,４２８は、サーバ装置１４０が主記憶装置にバッファリングし、記憶装置２５２に保存する操作情報である。

操作情報４２０は、描画画像の移動操作を示す情報であり、送信元識別情報４２１と、描画画像識別情報４２２と、操作内容４２３とが関連付けて登録される。送信元識別情報４２１は、当該操作情報を送信した画像処理装置の識別情報である。描画画像識別情報４２２は、移動すべき描画画像の識別情報である。操作内容４２３は、描画画像の操作内容を示す情報であり、操作内容である描画画像の移動と、描画画像の移動量とで構成される。本実施形態の操作内容は、移動量（−１０，６０）に応じて描画画像を移動することを示す。

操作情報４２４は、描画画像の拡大操作を示す情報であり、送信元識別情報４２５と、描画画像識別情報４２６と、操作内容４２７とが関連付けて登録される。送信元識別情報４２５は、当該操作情報を送信した画像処理装置の識別情報である。描画画像識別情報４２６は、拡大すべき描画画像の識別情報である。操作内容４２７は、描画画像の操作内容を示す情報であり、操作内容である描画画像の拡大と、描画画像を拡大した後の描画画像の位置情報とが含まれる。本実施形態の操作内容は、（１１２，２３４）および（１６０，３０）が示す座標位置に拡大後の描画画像を生成することを示す。

操作情報４２８は、描画画像の縮小操作を示す情報であり、送信元識別情報４２９と、描画画像識別情報４３０と、操作内容４３１とが関連付けて登録される。送信元識別情報４２９は、当該操作情報を送信した画像処理装置の識別情報である。描画画像識別情報４３０は、縮小すべき描画画像の識別情報である。操作内容４３１は、描画画像の操作内容を示す情報であり、操作内容である描画画像の縮小と、描画画像を縮小した後の描画画像の位置情報とが含まれる。本実施形態の操作内容は、（１１２，２３４）および（１２０，２００）が示す座標位置に縮小後の描画画像を生成することを示す。

図５は、本発明の画像処理装置が実行する処理の一実施形態を示すフローチャートである。以下、図５を参照して、画像処理装置１１０ａが実行する処理について説明する。

図５に示す処理は、ステップＳ５００から開始し、ステップＳ５０１で画像処理装置１１０ａのイベント処理部２１０が、座標検出部２２４から受信した座標位置情報が示す位置が、描画情報格納領域２３６に保存されている描画情報である座標位置情報が示す位置、すなわち、描画画像の座標位置と一致するか否か判断する。これらの位置が一致しない場合には（ｎｏ）、処理をステップＳ５０２に分岐させる。

ステップＳ５０２では、図１１を参照して詳述する描画画像の選択解除処理が実行される。ステップＳ５０３では、図６を参照して詳述する描画画像の生成処理が実行され、ステップＳ５０９で処理が終了する。

一方、ステップＳ５０１の判定で当該位置が一致すると判断した場合には（ｙｅｓ）、処理をステップＳ５０４に分岐させる。ステップＳ５０４では、イベント処理部２１０は、描画情報格納領域２３６を参照し、当該描画情報が示す描画画像が選択されているか否か判断する。本実施形態では、座標位置情報が示す位置と一致する位置情報を含む描画情報の選択状態が「１」であるときには、当該描画情報が示す描画画像が選択されていると判断する。

描画画像が選択されていない場合には（ｎｏ）、処理をステップＳ５０５に分岐させる。ステップＳ５０５では、図７を参照して詳述する描画画像の選択処理が実行され、ステップＳ５０９で処理が終了する。

一方、ステップＳ５０４の判定で描画画像が選択されていると判断した場合には（ｙｅｓ）、処理をステップＳ５０６に分岐させる。ステップＳ５０６では、イベント処理部２１０は、ユーザが選択した画面オブジェクトの種類に応じて、処理をステップＳ５０７またはステップＳ５０８に分岐させる。

具体的には、描画画像の移動を指示する画面オブジェクト、描画画像の拡大を指示する画面オブジェクトまたは描画画像の縮小を指示する画面オブジェクトが選択された場合には、ステップＳ５０７に処理を分岐させる。ステップＳ５０７では、図８および図９を参照して詳述する処理が実行され、ステップＳ５０９で処理が終了する。

一方、描画画像の削除を指示する画面オブジェクトが選択された場合には、ステップＳ５０８に処理を分岐させる。ステップＳ５０８では、図１０を参照して詳述する描画画像の削除処理が実行され、ステップＳ５０９で処理が終了する。

図１５は、本発明の画像処理装置が実行する処理の別の実施形態を示すフローチャートである。以下、図１５を参照して、画像処理装置１１０ａが実行する別の処理について説明する。

図１５に示す処理は、ステップＳ１５００から開始し、ステップＳ１５０１で画像処理装置１１０ａのイベント処理部２１０が、ユーザが画面オブジェクトを用いて選択したモードの種類を判断する。

具体的には、イベント処理部２１０は、座標検出部２２４から受信した座標位置情報が示す位置が、描画画像を生成する「描画モード」を指定するボタンの座標領域内であるか、または描画画像を選択する「ストローク選択モード」を指定するボタンの座標領域内であるか否か判断する。座標検出部２２４から受信した座標位置情報の示す位置が、「描画モード」を指定するボタンの座標領域内である場合は、処理をステップＳ１５０２に分岐する。一方、座標検出部２２４から受信した座標位置情報の示す位置が、「ストローク選択モード」を指定するボタンの座標領域内である場合は、処理をステップＳ１５０４に分岐する。

ステップＳ１５０２では、図１１を参照して詳述する描画画像の選択解除処理が実行される。ステップＳ１５０３では、図６を参照して詳述する描画画像の生成処理が実行され、ステップＳ１５１０で処理が終了する。

ステップＳ１５０４では、イベント処理部２１０は、描画画像が選択されているか否か判断する。具体的には、イベント処理部２１０は、描画情報格納領域２３６に保存されているストロークの選択枠の領域情報を参照し、座標検出部２２４から受信した後続の座標位置情報が示す位置が、ストロークの選択枠の領域内であるか否か判断する。後続の座標位置情報が示す位置がストロークの選択枠の領域内である場合には、描画画像が選択されていると判断する。一方、後続の座標位置情報が示す位置がストロークの選択枠の領域外である場合には、描画画像が選択されていないと判断する。なお、ストロークの選択枠については後述する。

描画画像が選択されていないと判断した場合は（ｎｏ）、処理がステップＳ１５０５に分岐する。ステップＳ１５０５では、描画処理部２１６が、後続の座標位置情報が示す位置に描画画像を生成する。本実施形態では、描画処理部２１６は、ユーザの描画動作に従って、領域が閉じられた曲線を描画するものとする。

ステップＳ１５０６では、描画処理部２１６は、当該曲線が形成する領域（以下、「ユーザ指定領域」とする。）に含まれる描画画像を判断し、当該描画画像を包含するストロークの選択枠を描画する。

具体的には、描画処理部２１６は、描画情報格納領域２３６に保存されている描画画像の座標位置情報と、当該曲線の座標位置情報とを比較し、表示部２４０に表示されている描画画像がユーザ指定領域に含まれるか否か判断する。そして、描画処理部２１６は、図１６に示すように、ユーザ指定領域に含まれると判断した描画画像を包含するストロークの選択枠を描画し、当該ストロークの選択枠の領域情報を描画情報格納領域２３６に保存する。本実施形態では、描画処理部２１６は、ストロークの選択枠を描画した後、ステップＳ１５０５で描画した曲線を削除する。

一方、ステップＳ１５０４の判定で描画画像が選択されていると判断した場合には（ｙｅｓ）、処理をステップＳ１５０７に分岐させる。ステップＳ１５０７では、イベント処理部２１０は、ユーザが選択した画面オブジェクトの種類に応じて、処理をステップＳ１５０８またはステップＳ１５０９に分岐させる。

具体的には、描画画像の移動を指示する画面オブジェクト、描画画像の拡大を指示する画面オブジェクトまたは描画画像の縮小を指示する画面オブジェクトが選択された場合には、ステップＳ１５０８に処理を分岐させる。ステップＳ１５０８では、図８および図９を参照して詳述する処理が実行され、ステップＳ１５１０で処理が終了する。

一方、描画画像の削除を指示する画面オブジェクトが選択された場合には、ステップＳ１５０９に処理を分岐させる。ステップＳ１５０９では、図１０を参照して詳述する描画画像の削除処理が実行され、ステップＳ１５１０で処理が終了する。

図６は、本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャートである。以下、図６を参照して、描画画像を生成する場合に、画像処理装置１１０ａ,１１０ｂおよびサーバ装置１４０が実行する処理について説明する。

図６（ａ）の処理は、図５に示すステップＳ５０３および図１５に示すステップＳ１５０３の処理に相当する。図６（ａ）の処理はステップＳ６００から開始し、ステップＳ６０１でイベント処理部２１０が、ＭＯＶＥイベントを受信したか否か判断する。ＭＯＶＥイベントを受信していない場合には（ｎｏ）、ステップＳ６０１の処理を反復する。一方、ＭＯＶＥイベントを受信した場合には（ｙｅｓ）、処理をステップＳ６０２に分岐させる。

ステップＳ６０２では、イベント処理部２１０は、ＭＯＶＥイベントに含まれる座標位置情報を取得し、当該座標位置情報と共に描画指示を描画処理部２１６に送信する。ステップＳ６０３では、描画処理部２１６が、描画情報を生成して描画情報格納領域２３６に保存する。

ステップＳ６０４では、描画処理部２１６は、当該描画情報を使用して描画画像を生成する。ステップＳ６０５では、イベント処理部２１０は、ＲＥＬＥＡＳＥイベントを受信したか否か判断する。ＲＥＬＥＡＳＥイベントを受信していない場合には（ｎｏ）、ステップＳ６０５の処理を反復する。一方、ＲＥＬＥＡＳＥイベントを受信した場合には（ｙｅｓ）、処理をステップＳ６０６に分岐させる。ステップＳ６０６では、イベント処理部２１０は、描画画像共有部２３８に描画要求の送信を指示し、描画画像共有部２３８が、当該描画情報と共に描画要求をサーバ装置１４０に送信し、ステップＳ６０７で処理が終了する。

図６（ｂ）の処理は、サーバ装置１４０が画像処理装置１１０ａから描画要求を受信することによりステップＳ６０８から開始する。ステップＳ６０９では、サーバ装置１４０の蓄積部２４８が、記憶装置２５４の描画画像管理テーブルを更新すると共に、画像処理装置１１０ａから受信した描画情報をバッファリングする。ステップＳ６１０では、描画画像共有部２５０が、当該描画情報と共に描画要求を画像処理装置１１０ｂに送信する。ステップＳ６１１では、蓄積部２４８は、当該描画情報を記憶装置２５２に保存し、ステップＳ６１２で処理が終了する。

図６（ｃ）の処理は、画像処理装置１１０ｂがサーバ装置１４０から描画要求を受信することによりステップＳ６１３から開始する。ステップＳ６１４では、画像処理装置１１０ｂの描画画像共有部２３８が、描画情報格納領域２３６に描画情報を保存し、描画処理部２１６が当該描画情報を使用して描画画像を生成し、ステップＳ６１５で処理が終了する。

図７は、本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャートである。以下、図７を参照して、描画画像を選択する場合に、画像処理装置１１０ａ,１１０ｂおよびサーバ装置１４０が実行する処理について説明する。

図７（ａ）の処理は、図５に示すステップＳ５０５の処理に相当する。図７（ａ）の処理はステップＳ７００から開始し、ステップＳ７０１でイベント処理部２１０が、ＲＥＬＥＡＳＥイベントを受信したか否か判断する。ＲＥＬＥＡＳＥイベントを受信していない場合には（ｎｏ）、ステップＳ７０１の処理を反復する。一方、ＲＥＬＥＡＳＥイベントを受信した場合には（ｙｅｓ）、処理をステップＳ７０２に分岐する。

ステップＳ７０２では、描画画像共有部２３８が、当該描画画像の描画画像識別情報と共に、描画画像の選択要求をサーバ装置１４０に送信する。ステップＳ７０３では、描画画像共有部２３８は、サーバ装置１４０から当該描画画像の選択要求に応答するメッセージを受信したか否か判断する。メッセージを受信していない場合には（ｎｏ）、ステップＳ７０３の処理を反復する。一方、メッセージを受信した場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。

ステップＳ７０４では、描画画像共有部２３８は、サーバ装置１４０から受信したメッセージの内容から描画画像の選択が正常に終了したか否か判断する。描画画像の選択が正常に終了しなかった場合には（ｎｏ）、ステップＳ７０６で処理が終了する。一方、描画画像の選択が正常に終了した場合には（ｙｅｓ）、処理をステップＳ７０５に分岐させる。ステップＳ７０５では、描画画像共有部２３８は、描画情報格納領域２３６に保存された当該描画情報の選択状態を「１」に変更し、ステップＳ７０６で処理が終了する。

図７（ｂ）の処理は、サーバ装置１４０が画像処理装置１１０ａから描画画像の選択要求を受信することにより、ステップＳ７０７から開始する。ステップＳ７０８では、サーバ装置１４０の描画画像共有部２５０が、主記憶装置にバッファリングされた描画情報を参照し、描画画像の選択要求と共に受信した描画画像識別情報が示す描画画像が選択されているか判断する。

描画画像が選択されている場合には（ｙｅｓ）、ステップＳ７０９に処理を分岐する。ステップＳ７０９では、描画画像共有部２５０は、描画画像の選択が正常に終了しなかった旨のメッセージを、画像処理装置１１０ａに送信し、ステップＳ７１３で処理が終了する。一方、描画画像が選択されていない場合には（ｎｏ）、処理をステップＳ７１０に分岐する。

ステップＳ７１０では、描画画像共有部２５０は、主記憶装置にバッファリングされた描画情報および記憶装置２５２に保存された描画情報の選択状態を「１」に変更する。ステップＳ７１１では、描画画像共有部２５０は、描画画像の選択が正常に終了した旨のメッセージを、画像処理装置１１０ａに送信する。ステップＳ７１２では、描画画像共有部２５０は、当該描画画像の描画画像識別情報と共に、描画画像の選択要求を画像処理装置１１０ｂに送信する。

図７（ｃ）の処理は、画像処理装置１１０ｂがサーバ装置１４０から描画画像の選択要求を受信することにより、ステップＳ７１４から開始する。ステップＳ７１５では、画像処理装置１１０ｂの描画画像共有部２３８が、当該描画画像の選択要求と共に受信した描画画像識別情報が示す描画情報格納領域２３６に保存された描画画像の選択状態を「１」に変更し、ステップＳ７１６で処理が終了する。

図８は、本発明の画像処理装置が実行する処理を示すフローチャートである。以下、図８を参照して、描画画像を移動、拡大または縮小する場合に、画像処理装置１１０ａが実行する処理について説明する。

図８の処理は、図５に示すステップＳ５０７および図１５に示すステップＳ１５０８の処理に相当する。図８の処理はステップＳ８００から開始し、ステップＳ８０１でイベント処理部２１０が、ＭＯＶＥイベントを受信したか否か判断する。ＭＯＶＥイベントを受信していない場合には（ｎｏ）、ステップＳ８０１の処理を反復する。一方、ＭＯＶＥイベントを受信した場合には（ｙｅｓ）、ステップＳ８０２に処理を分岐させる。

ステップＳ８０２では、イベント処理部２１０は、ユーザが指示した操作種類を判断し、操作種類に応じてステップＳ８０３、ステップＳ８０７またはステップＳ８１１に処理を分岐させる。

具体的には、描画画像の移動を指示する画面オブジェクトが選択された場合には、イベント処理部２１０は、描画処理部２１６に描画画像の移動を指示し、ステップＳ８０３に処理を分岐させる。描画画像の拡大を指示する画面オブジェクトが選択された場合には、イベント処理部２１０は、描画処理部２１６に描画画像の拡大を指示し、ステップＳ８０７に処理を分岐させる。描画画像の縮小を指示する画面オブジェクトが選択された場合には、イベント処理部２１０は、描画処理部２１６に描画画像の縮小を指示し、ステップＳ８１１に処理を分岐させる。

ステップＳ８０３では、描画処理部２１６は、ＴＯＵＣＨイベントに含まれる座標位置情報およびＭＯＶＥイベントに含まれる座標位置情報を使用して、描画画像の移動量を算出し、描画情報格納領域２３６に保存された描画画像の位置情報を、移動後の描画画像の位置情報に変更する。ステップＳ８０４では、描画処理部２１６は、変更された描画画像の位置情報を使用して、移動後の描画画像を生成する。

ステップＳ８０５では、イベント処理部２１０は、ＲＥＬＥＡＳＥイベントを受信したか否か判断する。ＲＥＬＥＡＳＥイベントを受信していない場合には（ｎｏ）、ステップＳ８０５の処理を反復する。一方、ＲＥＬＥＡＳＥイベントを受信した場合には（ｙｅｓ）、処理をステップＳ８０６に分岐させる。ステップＳ８０６では、描画画像共有部２３８が、操作情報である当該描画画像の識別情報および移動量と共に、描画画像の移動要求をサーバ装置１４０に送信し、ステップＳ８１５で処理が終了する。

ステップＳ８０７では、描画処理部２１６は、ＴＯＵＣＨイベントに含まれる座標位置情報およびＭＯＶＥイベントに含まれる座標位置情報を使用して、描画画像の拡大率を算出し、当該拡大率および座標位置情報を使用して、拡大後の描画画像の位置情報を算出する。そして、描画処理部２１６は、描画情報格納領域２３６に保存された描画画像の位置情報を、拡大後の描画画像の位置情報に変更する。ステップＳ８０８では、描画処理部２１６は、変更された描画画像の位置情報を使用して、拡大後の描画画像を生成する。

ステップＳ８０９では、イベント処理部２１０は、ＲＥＬＥＡＳＥイベントを受信したか否か判断する。ＲＥＬＥＡＳＥイベントを受信していない場合には（ｎｏ）、ステップＳ８０９の処理を反復する。一方、ＲＥＬＥＡＳＥイベントを受信した場合には（ｙｅｓ）、処理をステップＳ８１０に分岐させる。ステップＳ８１０では、描画画像共有部２３８が、操作情報である当該描画画像の識別情報および拡大後の描画画像の位置情報と共に、描画画像の拡大要求をサーバ装置１４０に送信し、ステップＳ８１５で処理が終了する。

ステップＳ８１１では、描画処理部２１６は、ＴＯＵＣＨイベントに含まれる座標位置情報およびＭＯＶＥイベントに含まれる座標位置情報を使用して、描画画像の縮小率を算出し、当該縮小率および座標位置情報を使用して、縮小後の描画画像の位置情報を算出する。そして、描画処理部２１６は、描画情報格納領域２３６に保存された描画画像の位置情報を、縮小後の描画画像の位置情報に変更する。ステップＳ８１２では、描画処理部２１６は、変更された描画画像の位置情報を使用して、縮小後の描画画像を生成する。

ステップＳ８１３では、イベント処理部２１０は、ＲＥＬＥＡＳＥイベントを受信したか否か判断する。ＲＥＬＥＡＳＥイベントを受信していない場合には（ｎｏ）、ステップＳ８１３の処理を反復する。一方、ＲＥＬＥＡＳＥイベントを受信した場合には（ｙｅｓ）、処理をステップＳ８１４に分岐させる。ステップＳ８１４では、描画画像共有部２３８が、操作情報である当該描画画像の識別情報および縮小後の描画画像の位置情報と共に、描画画像の縮小要求をサーバ装置１４０に送信し、ステップＳ８１５で処理が終了する。

図９は、本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャートである。以下、図９を参照して、サーバ装置１４０が画像処理装置１１０ａから、操作要求である描画画像の移動要求、拡大要求または縮小要求を受信した場合に、サーバ装置１４０および画像処理装置１１０ｂが実行する処理について説明する。

図９（ａ）の処理は、サーバ装置１４０が画像処理装置１１０ａから操作要求を受信した場合に実行する処理である。図９（ａ）の処理はステップＳ９００から開始し、ステップＳ９０１でサーバ装置１４０の描画画像共有部２５０が、操作要求と共に受信した操作情報を主記憶装置にバッファリングする。

ステップＳ９０２では、描画画像共有部２５０は、当該操作情報と共に操作要求を画像処理装置１１０ｂに送信する。ステップＳ９０３では、描画画像共有部２５０は、記憶装置２５２および主記憶装置に保存された操作要求の対象である描画画像の描画情報の位置情報を変更し、ステップＳ９０４で処理が終了する。

より詳細には、描画画像の移動要求の場合には、描画画像共有部２５０は、主記憶装置にバッファリングされた操作要求の対象である描画画像の描画情報の位置情報と、操作情報である描画画像の移動量を使用して、移動後の描画画像の位置情報を算出し、移動後の描画画像の位置情報を記憶装置２５２および主記憶装置に保存する。描画画像の拡大要求および縮小要求の場合には、描画画像共有部２５０は、記憶装置２５２および主記憶装置に保存された操作要求の対象である描画画像の描画情報の位置情報を、操作情報である描画画像の描画情報の位置情報と置き換える。

図９（ｂ）の処理は、画像処理装置１１０ｂがサーバ装置１４０から、操作要求である描画画像の移動要求、拡大要求または縮小要求を受信した場合に実行する処理である。図９（ｂ）の処理はステップＳ９０５から開始し、ステップＳ９０６で画像処理装置１１０ｂの描画画像共有部２３８が操作要求の種類を判断し、操作要求の種類に応じて処理を分岐させる。

具体的には、操作要求が描画画像の移動要求である場合には、処理をステップＳ９０７に分岐させる。操作要求が描画画像の拡大要求である場合には、処理をステップＳ９０８に分岐させる。操作要求が描画画像の縮小要求である場合には、処理をステップＳ９０９に分岐させる。

ステップＳ９０７では、描画画像共有部２３８は、描画情報格納領域２３６に保存された移動要求の対象である描画画像の描画情報の位置情報と、移動要求と共に受信した描画画像の移動量を使用して、移動後の描画画像の位置情報を算出し、描画情報格納領域２３６に保存する。そして、描画処理部２１６が、当該描画画像の位置情報を使用して移動後の描画画像を生成し、ステップＳ９１０で処理が終了する。

ステップＳ９０８では、描画画像共有部２３８は、拡大要求と共に受信した描画画像の位置情報を描画情報格納領域２３６に保存する。そして、描画処理部２１６が、当該描画画像の位置情報を使用して拡大後の描画画像を生成し、ステップＳ９１０で処理が終了する。

ステップＳ９０９では、描画画像共有部２３８は、縮小要求と共に受信した描画画像の位置情報を描画情報格納領域２３６に保存する。そして、描画処理部２１６が、当該描画画像の位置情報を使用して縮小後の描画画像を生成し、ステップＳ９１０で処理が終了する。

図１０は、本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャートである。以下、図１０を参照して、描画画像を削除する場合に、画像処理装置１１０ａ,１１０ｂおよびサーバ装置１４０が実行する処理について説明する。

図１０（ａ）の処理は、図５に示すステップＳ５０８および図１５に示すステップＳ１５０９の処理に相当する。図１０（ａ）の処理はステップＳ１０００から開始し、ステップＳ１００１でイベント処理部２１０が、ＲＥＬＥＡＳＥイベントを受信したか否か判断する。ＲＥＬＥＡＳＥイベントを受信していない場合には（ｎｏ）、ステップＳ１００１の処理を反復する。一方、ＲＥＬＥＡＳＥイベントを受信した場合には（ｙｅｓ）、ステップＳ１００２に処理を分岐させる。

ステップＳ１００２では、描画画像共有部２３８が、当該描画画像の識別情報と共に描画画像の削除要求をサーバ装置１４０に送信する。ステップＳ１００３では、描画処理部２１６が、描画情報格納領域２３６に保存された当該描画画像の描画情報を削除し、描画画像を削除した手書きレイヤを生成し、ステップＳ１００４で処理が終了する。

図１０（ｂ）の処理は、サーバ装置１４０が画像処理装置１１０ａから描画画像の削除要求を受信した場合に実行する処理である。図１０（ｂ）の処理はステップＳ１００５から開始し、ステップＳ１００６でサーバ装置１４０の描画画像共有部２５０が、削除要求を主記憶装置にバッファリングする。ステップＳ１００７では、描画画像共有部２５０は、当該描画画像の識別情報と共に描画画像の削除要求を画像処理装置１１０ｂに送信する。ステップＳ１００８では、描画画像共有部２５０は、当該描画画像の識別情報が示す描画画像の描画情報を記憶装置２５２および主記憶装置から削除すると共に、描画画像管理テーブルを更新し、ステップＳ１００９で処理が終了する。

図１０（ｃ）の処理は、画像処理装置１１０ｂがサーバ装置１４０から描画画像の削除要求を受信した場合に実行する処理である。図１０（ｃ）の処理はステップＳ１０１０から開始し、ステップＳ１０１１で画像処理装置１１０ｂの描画画像共有部２３８が、当該描画画像の識別情報が示す描画画像の描画情報を描画情報格納領域２３６から削除し、描画処理部２１６が、当該描画画像を削除した手書きレイヤを生成し、ステップＳ１０１２で処理が終了する。

図１１は、本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャートである。以下、図１１を参照して、描画画像の選択を解除する場合に、画像処理装置１１０ａ,１１０ｂおよびサーバ装置１４０が実行する処理について説明する。

図１１（ａ）の処理は、図５に示すステップＳ５０２および図１５に示すステップＳ１５０２の処理に相当する。図１１（ａ）の処理はステップＳ１１００から開始し、ステップＳ１１０１で描画画像共有部２３８が、描画画像の選択解除要求をサーバ装置１４０に送信する。ステップＳ１１０２では、描画画像共有部２３８は、描画情報格納領域２３６に保存された総ての描画情報の選択状態を「０」に変更して描画画像の選択を解除し、ステップＳ１１０３で処理が終了する。

図１１（ｂ）の処理は、サーバ装置１４０が画像処理装置１１０ａから描画画像の選択解除要求を受信した場合に実行する処理である。図１１（ｂ）の処理はステップＳ１１０４から開始し、ステップＳ１１０５でサーバ装置１４０の描画画像共有部２５０が、描画画像の選択解除要求を主記憶装置にバッファリングする。ステップＳ１１０６では、描画画像共有部２５０は、描画画像の選択解除要求を画像処理装置１１０ｂに送信する。ステップＳ１１０７では、描画画像共有部２５０は、記憶装置２５２および主記憶装置に保存された総ての描画情報の選択状態を「０」に変更し、ステップＳ１１０８で処理が終了する。

図１１（ｃ）の処理は、画像処理装置１１０ｂがサーバ装置１４０から描画画像の選択解除要求を受信した場合に実行する処理である。図１１（ｃ）の処理はステップＳ１１０９から開始し、ステップＳ１１１０で画像処理装置１１０ｂの描画画像共有部２３８が、描画情報格納領域２３６に保存された総ての描画情報の選択状態を「０」に変更して描画画像の選択を解除し、ステップＳ１１１１で処理が終了する。

図１２は、本発明の画像処理装置およびサーバ装置が実行する処理を示すフローチャートである。以下、図１２を参照して、画像処理装置１１０ａとネットワーク１２０との通信が切断された場合に、画像処理装置１１０ａおよびサーバ装置１４０の描画画像を整合させる処理について説明する。

図１２（ａ）の処理は、ステップＳ１２００から開始し、ステップＳ１２０１で画像処理装置１１０ａが有する描画画像共有部２３８の接続検知部３０６が、ネットワーク１２０との通信が切断されたか否か判断する。ネットワーク通信が切断されていない場合には（ｎｏ）、ステップＳ１２０１の処理を反復させる。一方、ネットワーク通信が切断された場合には（ｙｅｓ）、処理をステップＳ１２０２に分岐させる。

ステップＳ１２０２では、接続検知部３０６は、ネットワーク１２０との通信が回復した否か判断する。ネットワーク通信が回復していない場合には（ｎｏ）、ステップＳ１２０２の処理を反復させる。一方、ネットワーク通信が回復した場合には（ｙｅｓ）、処理をステップＳ１２０３に分岐させる。

ステップＳ１２０３では、描画画像整合部３０８が、描画情報格納領域２３６に保存された描画情報を使用して、ハッシュ値を示すメッセージダイジェスト（以下、「ＭＤ」とする。）をページ毎に生成する。メッセージダイジェストは、例えば、公知技術のＭＤ５（Message Digest Algorithm5）を用いて生成することができる。ステップＳ１２０４では、描画画像整合部３０８は、ＲＡＭ２０４に保存されたセッションＩＤを取得し、送信部３０２を介して、当該セッションＩＤ、ＭＤおよび当該ＭＤに関するページを指定するページ指定情報をサーバ装置１４０に送信する。

ステップＳ１２０５では、受信部３０４が、サーバ装置１４０から描画情報を受信したか否か判断する。描画情報を受信していない場合（ｎｏ）、すなわち、画像処理装置１１０ａおよびサーバ装置１４０の描画画像の整合が取れている場合には、ステップＳ１２０７で処理が終了する。一方、描画情報を受信した場合（ｙｅｓ）、すなわち、画像処理装置１１０ａおよびサーバ装置１４０の描画画像の整合が取れていない場合には、処理をステップＳ１２０６に分岐させる。ステップＳ１２０６では、描画画像整合部３０８は、描画処理部２１６に描画を指示し、描画処理部２１６が、サーバ装置１４０から受信した描画情報を用いて描画画像を生成し、ステップＳ１２０７で処理が終了する。

図１２（ｂ）の処理は、サーバ装置１４０が画像処理装置１１０ａからセッションＩＤ、ＭＤおよびページ指定情報を受信することにより、ステップＳ１２０８から開始する。ステップＳ１２０９では、サーバ装置１４０の描画画像共有部２５０が、記憶装置２５４に保存された描画画像管理テーブルを参照し、画像処理装置１１０ａから受信したセッションＩＤおよびページ指定情報を使用して、主記憶装置に保存されたバッファデータの中から当該ページ指定情報が示すページの描画情報を特定し、当該描画情報を用いて当該ページのＭＤを生成する。

ステップＳ１２１０では、描画画像共有部２５０は、ステップＳ１２０９で生成したＭＤと、画像処理装置１１０ａから受信したＭＤとを比較することによって一致するか否か判断する。これらのＭＤが一致する場合には（ｙｅｓ）、ステップＳ１２１２で処理が終了する。一方、これらのＭＤが一致しない場合には（ｎｏ）、処理をステップＳ１２１１に分岐させる。ステップＳ１２１１では、ステップＳ１２０９で生成した描画情報を画像処理装置１１０ａに送信し、ステップＳ１２１２で処理が終了する。

図１３は、本発明のサーバ装置が実行する処理を示すフローチャートである。以下、図１３を参照して、サーバ装置１４０が、画像処理装置１１０ａ，１１０ｂと通信中にシャットダウンして再起動した場合に、画像処理装置１１０ａ，１１０ｂおよびサーバ装置１４０の描画画像を整合させる処理について説明する。

図１３の処理は、ステップＳ１３００から開始し、ステップＳ１３０１でサーバ装置１４０の描画画像共有部２５０が、記憶装置２５２に保存された描画情報を主記憶装置にロードする。ステップＳ１３０２では、描画画像共有部２５０は、記憶装置２５４に保存されたセッション管理テーブルを参照し、シャットダウンする前に通信していた画像処理装置を特定し、当該画像処理装置に対して総てのページのＭＤを要求する。

ステップＳ１３０３では、描画画像共有部２５０は、当該画像処理装置からＭＤを受信したか否か判断する。ＭＤを受信していない場合には（ｎｏ）、ステップＳ１３０３の処理を反復する。一方、ＭＤを受信した場合には（ｙｅｓ）、処理をステップＳ１３０４に分岐させる。ステップＳ１３０４では、描画画像共有部２５０は、主記憶装置にロードした描画情報を使用して、総てのページについてＭＤを生成し、当該ＭＤと画像処理装置から受信したＭＤとを比較することによって一致するか否か判断する。総てのページについて、これらのＭＤが一致する場合には（ｙｅｓ）、処理をステップＳ１３０８に分岐させる。一方、これらのＭＤのうち少なくとも一つが相違する場合には（ｎｏ）、処理をステップＳ１３０５に分岐させる。

ステップＳ１３０５では、描画画像共有部２５０は、ＭＤが相違するページの描画情報を当該画像処理装置に要求する。ステップＳ１３０６では、描画画像共有部２５０は、当該画像処理装置から描画情報を受信したか否か判断する。描画情報を受信していない場合には（ｎｏ）、ステップＳ１３０６の処理を反復させる。一方、描画情報を受信した場合には（ｙｅｓ）、処理をステップＳ１３０７に分岐させる。ステップＳ１３０７では、描画画像共有部２５０は、当該描画情報に対応する主記憶装置および記憶装置２５２に保存された描画情報を、当該画像処理装置から受信した描画情報と置き換える。

ステップＳ１３０８では、描画画像共有部２５０は、総ての画像処理装置について、ステップＳ１３０３〜ステップＳ１３０７の処理を実行したか否か判断する。総ての画像処理装置について当該処理を実行していない場合には（ｎｏ）、処理をステップＳ１３０３に戻し、総ての画像処理装置について当該処理を実行する。一方、総ての画像処理装置について当該処理を実行した場合には（ｙｅｓ）、処理をステップＳ１３０９に分岐させる。

ステップＳ１３０９では、描画画像共有部２５０は、主記憶装置に保存された描画情報を使用して、総てのページについてＭＤを生成する。ステップＳ１３１０では、描画画像共有部２５０は、当該ＭＤと、ステップＳ１３０３で受信した１の画像処理装置のＭＤとを比較することによって一致するか否か判断する。総てのページについて、これらのＭＤが一致する場合には（ｙｅｓ）、処理をステップＳ１３１２に分岐させる。

一方、これらのＭＤのうち少なくとも一つが相違する場合には（ｎｏ）、処理をステップＳ１３１１に分岐させる。ステップＳ１３１１では、描画画像共有部２５０は、当該画像処理装置に対し、ＭＤが異なるページの描画情報を送信する。

ステップＳ１３１２では、描画画像共有部２５０は、総ての画像処理装置について、ステップＳ１３１０およびステップＳ１３１１の処理を実行したか否か判断する。総ての画像処理装置について当該処理を実行していない場合には（ｎｏ）、処理をステップＳ１３１０に戻し、総ての画像処理装置について当該処理を実行する。一方、総ての画像処理装置について当該処理を実行した場合には（ｙｅｓ）、ステップＳ１３１３で処理が終了する。

図１４は、本発明の画像処理装置が実行する処理を示すフローチャートである。以下、図１４を参照して、サーバ装置１４０が画像処理装置１１０ａ，１１０ｂと通信中にシャットダウンして再起動した場合に、画像処理装置１１０ａ，１１０ｂが実行する処理について説明する。

図１４（ａ）の処理は、ステップＳ１４００で画像処理装置１１０ａ，１１０ｂが、図１３に示すステップＳ１３０２でサーバ装置１４０が送信した総てのページについてのＭＤの要求を受信することにより開始する。ステップＳ１４０１では、画像処理装置１１０ａ，１１０ｂが有する描画画像共有部２３８の描画画像整合部３０８が、描画情報格納領域２３６に保存された描画情報を使用して、総てのページについてＭＤを生成する。ステップＳ１４０２では、描画画像整合部３０８は、送信部３０２を介して、当該ＭＤをサーバ装置１４０に送信し、ステップＳ１４０３で処理が終了する。

図１４（ｂ）の処理は、ステップＳ１４０４で画像処理装置１１０ａ，１１０ｂが、図１３に示すステップＳ１３０５でサーバ装置１４０が送信した特定のページの描画情報の要求を受信することにより開始する。ステップＳ１４０５では、描画画像整合部３０８は、描画情報格納領域２３６に保存された当該ページの描画情報を取得し、送信部３０２を介してサーバ装置１４０に送信し、ステップＳ１４０６で処理が終了する。

図１４（ｃ）の処理は、ステップＳ１４０７で画像処理装置１１０ａ，１１０ｂが、図１３に示すステップＳ１３１１でサーバ装置１４０が送信した描画情報を受信することにより開始する。ステップＳ１４０８では、描画画像整合部３０８は、当該画像情報に対応する描画情報格納領域２３６に保存された描画情報を、サーバ装置１４０から受信した描画情報に置き換え、ステップＳ１４０９で処理が終了する。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

上述した機能手段を実現する本発明のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

１００…画像共有システム、１１０ａ，１１０ｂ…画像処理装置、１２０…ネットワーク、１２４，１２６…ケーブル、１３０ａ，１３０ｂ…ユーザＰＣ、１４０…サーバ装置、２３２…画像入力インタフェース、２３４…画像出力インタフェース

特開２００８−９７３７１号公報 特許第４６２７７８１号公報

Claims (7)

1. 画像を処理する複数の画像処理装置と、前記画像処理装置とネットワークを介して接続されたサーバ装置とを含む画像共有システムであって、
   前記画像処理装置は、
   画像を表示する表示手段と、
   前記表示手段に対する物体の接触位置または接近位置を検出する検出手段と、
   前記接触位置または接近位置を使用して描画画像を規定する描画情報を生成し、前記描画情報を使用して前記表示手段に表示される描画画像を生成する描画処理手段であって、前記サーバ装置から受信した他の画像処理装置が提供する描画情報を使用して描画画像を生成する描画処理手段と、
   前記画像処理装置が前記ネットワークに接続されているか検知する検知手段と、
   前記サーバ装置に前記描画情報を提供する第１の画像共有手段と、
   前記複数の画像処理装置の表示手段に表示される描画画像を整合させる整合手段とを含み、
   前記サーバ装置は、
   前記画像処理装置の画像共有手段によって提供された前記描画情報を保存する記憶手段と、
   前記描画情報を他の画像処理装置に提供する第２の画像共有手段とを含み、
   前記整合手段は、
   前記ネットワークとの通信が切断されて回復した場合に、前記描画情報から第１のメッセージダイジェストを生成し、当該第１のメッセージダイジェストを前記サーバ装置に送信し、
   前記第２の画像共有手段は、
   前記記憶手段に保存された描画情報から第２のメッセージダイジェストを生成し、当該第２のメッセージダイジェストと、前記画像処理装置から受信した前記第１のメッセージダイジェストとが異なる場合に、前記記憶手段に保存された描画情報を前記画像処理装置に提供する、
   画像共有システム。
2. 前記サーバ装置は、
   前記記憶手段に複数の前記描画情報および該描画情報に基づいて生成された識別情報を対応付けて保存し、
   前記記憶手段に保存された識別情報を参照して、前記画像処理装置から受信した前記画像処理装置によって生成された識別情報が示す描画画像が選択されているかを判断し、当該判断結果に基づいて前記画像処理装置へ前記記憶手段に保存された描画情報を送信するか否か判断する判断手段と
   を含む、請求項１に記載の画像共有システム。
3. 前記サーバ装置の第２の画像共有手段は、
   前記画像処理装置と通信している間に再起動した場合、前記画像処理装置に第１のメッセージダイジェストを要求し、前記記憶手段に保存された描画情報を使用して第２のメッセージダイジェストを生成し、これらのメッセージダイジェストが異なる場合に、描画情報を前記画像処理装置に要求し、前記画像処理装置が提供する描画情報を前記記憶手段に保存して更新する、請求項１または２に記載の画像共有システム。
4. 前記サーバ装置の第２の画像共有手段は、
   更新された前記記憶手段の描画情報を使用して第３のメッセージダイジェストを生成し、前記第３のメッセージダイジェストと、前記画像処理装置が提供する第１のメッセージダイジェストとが一致するか否か判断し、これらのメッセージダイジェストが相違する場合に、相違するメッセージダイジェストを提供した画像処理装置に、前記相違するメッセージダイジェストに関連する描画情報を送信する、請求項１〜３のいずれか１項に記載の画像共有システム。
5. 画像を処理する画像処理装置であって、
   画像を表示する表示手段と、
   前記表示手段に対する物体の接触位置または接近位置を検出する検出手段と、
   前記接触位置または接近位置を使用して描画画像を規定する描画情報を生成し、前記描画情報を使用して前記表示手段に表示される描画画像を生成する描画処理手段であって、他の画像処理装置が提供する描画情報を使用して描画画像を生成する描画処理手段と、
   ネットワークを介して前記描画情報を他の画像処理装置に提供する画像共有手段とを含み、
   前記画像共有手段は、
   前記画像処理装置が前記ネットワークに接続されているか検知する検知手段と、
   前記他の画像処理装置との間で描画画像を整合させる整合手段とを含み、
   前記整合手段は、
   前記ネットワークとの通信が切断されて回復した場合に、前記描画情報からメッセージダイジェストを生成し、当該メッセージダイジェストをサーバ装置に送信し、
   前記描画処理手段は、
   前記サーバ装置が提供する描画情報を受信した場合に、当該描画情報を使用して描画画像を生成する、画像処理装置。
6. 前記画像処理装置は、ユーザの描画動作によって描画画像を選択する手段を備える、請求項５に記載の画像処理装置。
7. 画像を処理する画像処理装置が実行する方法を、前記画像処理装置が実行するためのプログラムであって、前記プログラムは、前記画像処理装置が、
   前記画像処理装置の表示手段に対する物体の接触位置または接近位置を検出するステップと、
   前記接触位置または接近位置を使用して描画画像を規定する描画情報を生成するステップと、
   前記描画情報を使用して描画画像を生成するステップと、
   前記描画画像を生成するステップにおいて、他の画像処理装置が提供する描画情報を使用して描画画像を生成するステップと、
   前記描画画像を前記表示手段に表示するステップと、
   ネットワークを介して前記描画情報を他の画像処理装置に提供するステップと、
   前記画像処理装置が前記ネットワークに接続されているか検知するステップと、
   前記ネットワークとの通信が切断されて回復した場合に、前記描画情報のメッセージダイジェストを生成し、サーバ装置に送信するステップと、
   前記サーバ装置が提供する描画情報を受信した場合に、当該描画情報を使用して描画画像を生成するステップ
   を実行するための装置実行可能なプログラム。