JP5846270B2 - 画像処理システム、情報処理装置 - Google Patents

Description

本発明は、表示手段に表示された画像を共有する複数の情報処理装置がネットワークを介して接続された画像処理システムに関する。

企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、この背景画像の上にユーザが文字や数字、図形等のストローク画像を描画可能な電子黒板が利用されている。このような電子黒板では、タッチパネルなどに対しユーザによって生成されたストローク画像をタッチパネルに表示することができる。ストローク画像は１ページ毎に背景などと共にページデータとして保存される。

また、ネットワークの普及に伴い各拠点の電子黒板をネットワークで接続して、ストローク画像などを各電子黒板が共有する技術も知られるようになった（例えば、特許文献１参照。）。特許文献１には、拠点識別情報を入力されたデータと共に送信し、操作者などの拠点情報を添付してデータを表示する相互情報共有システムが開示されている。

しかしながら、特許文献１の相互情報共有システムのように、入力されたデータと拠点情報を同時に送信することで、データと共にデータを入力した拠点情報を表示できるが、拠点が分かった時にはすでにデータが描画されているという問題がある。複数の拠点がストローク画像を共有する場合、複数の拠点のユーザが任意のタイミングでストロークを書き込むことができるが、同じ場所に書き込むことが少なくない。このため、拠点情報がデータと共に表示されたのでは、各拠点のユーザは他の拠点のユーザの操作を予測できず、例えば重複する場所に複数のユーザがストロークを書き込むことが生じ、ストロークが重なってしまい判読が困難になる場合があった。

また、ストロークの描画に限られず、他の拠点のユーザの操作を予測できないと、ある拠点のユーザの操作と矛盾する操作を別の拠点のユーザが行う場合があり、良好な操作感が得られない場合が生じうる。

本発明は、上記課題に鑑み、各拠点のユーザが他の拠点のユーザの操作を事前に把握可能な画像処理システムを提供することを目的とする。

本発明は、画像を表示する表示手段を含む複数の情報処理装置がネットワークを介して接続された画像処理システムであって、第１の情報処理装置は、操作を受け付ける操作受け付け手段と、前記操作受け付け手段により受け付けられた操作を通知する操作内容通知情報を作成する操作内容通知情報作成手段と、前記操作の操作内容が反映された画像を第１の情報処理装置の前記表示手段に表示させる表示手段制御手段と、前記操作内容通知情報及び前記操作内容を第２の情報処理装置に送信する送信手段と、前記表示手段に対し指示手段により指示された座標を検出する座標検出手段と、前記座標検出手段が検出した座標に基づき前記操作受け付け手段が操作を受け付けると共に、前記座標検出手段が前記指示手段を検出した場合、時間の計測を開始する時間計測手段と、前記座標検出手段が検出した座標を時系列に蓄積する座標蓄積手段と、前記指示手段が前記表示手段へ接触したことを示す接触情報を前記指示手段から受信する接触情報受信手段と、を有し、前記接触情報受信手段が前記接触情報を受信する前に、前記時間計測手段が所定値以上の時間を計測した場合、前記表示手段制御手段は、前記座標蓄積手段が蓄積している座標を予め定められた態様で連結して前記表示手段に表示させ、前記第２の情報処理装置は、前記第１の情報処理装置から送信された前記操作内容通知情報を前記第２の情報処理装置の前記表示手段に表示させ、前記第１の情報処理装置から送信された前記操作内容に基づいて、当該操作内容が反映された画像を前記第２の情報処理装置の前記表示手段に表示する、ことを特徴とする。

各拠点のユーザが他の拠点のユーザの操作を事前に把握可能な画像処理システムを提供することができる。

画像処理システムの全体構成図の一例である。 電子黒板のハードウェア構成図の一例である。 電子黒板の機能ブロック図の一例である。 ファイル処理部の機能ブロック図の一例である。 通信制御部の機能ブロック図の一例である。 ページデータを模式的に説明する図の一例である。 ストローク配列データを模式的に説明する図の一例である。 座標配列データを模式的に説明する図の一例である。 メディアデータを模式的に説明する図の一例である。 遠隔ライセンス管理テーブルを模式的に説明する図の一例である。 アドレス帳管理テーブルを模式的に説明する図の一例である。 バックアップデータを模式的に説明する図の一例である。 接続先管理テーブルを模式的に説明する図の一例である。 参加拠点管理テーブルを模式的に説明する図の一例である。 操作データを模式的に説明する図の一例である。 各画像レイヤの重畳処理について説明する図の一例である。 電子黒板が遠隔会議に参加するシーケンス図の一例を示す。 電子黒板が画像を表示するシーケンス図の一例を示す。 参加装置のディスプレイに表示される拠点のリストの表示例を示す図である。 遠隔コンテキストの送信手順を示すフローチャート図の一例である。 遠隔コンテキストを受信した拠点がディスプレイに表示する遠隔コンテキストの一例である。 接触センサの概略構成図の一例である。 指判別部が指による描画であることを判別しマーカーを描画する手順を示すフローチャート図の一例である。 電子黒板の機能ブロック図の一例である（実施例３）。 アフィン変換行列を説明する図の一例である。 ２つの拠点でジェスチャを共有する手順を示すフローチャート図の一例である。

以下、図面を用いて、本発明の一実施形態を説明する。

＜システムの概要＞
図１は、本実施形態の画像処理システムの全体構成図である。なお、図１では、説明を簡略化するために、２台の電子黒板２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の電子黒板や電子ペン等を利用してもよい。電子黒板２ａ，２ｂは特許請求の範囲の情報処理装置の一例である。

図１に示されているように、画像処理システム１は、複数の電子黒板２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、電子黒板２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の電子黒板２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている
また、電子黒板２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、電子黒板２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、電子黒板２ａには、Display Port、DVI(Digital Visual Interface)、HDMI（登録商標）(High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、電子黒板２ａでは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置のイベントと同様に、ノートＰＣ６ａに送信する。同じく、電子黒板２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。

一方、電子黒板２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、画像処理装置の一例として、電子黒板を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、スマートフォン、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜電子黒板のハードウェア構成＞
続いて、図２を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図２は、電子黒板のハードウェア構成図である。

図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、電子黒板２用のプログラム等の各種データを記憶するＳＳＤ２０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。

また、電子黒板２は、ノートＰＣ６がディスプレイに表示している静止画または動画を取り込むキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)１１２、及び、ＧＰＵからの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１１３を備えている。

更に、電子黒板２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置（不図示）が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻ってくる光を受光する方法である。接触センサ１１５は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ(Identification)をセンサコントローラ１１４に出力し、センサコントローラ１１４が、物体の接触位置である座標位置を特定する。なお、以下に示す全てのＩＤは、識別情報の一例である。

また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。

また、電子黒板２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

更に、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、及びセンサコントローラ１１４、及び、電子ペンコントローラ１１６を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。

なお、電子黒板２用のプログラムは、ＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

＜電子黒板の機能構成＞
続いて、図３乃至図１６を用いて、電子黒板の機能構成について説明する。なお、先ずは、図３を用いて、電子黒板２の全体的な機能構成について説明する。図３は、電子黒板の機能ブロック図である。

電子黒板２は、図２に示されているハードウェア構成及びプログラムによって、図３にされている各機能構成を有する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、すでに開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。電子黒板２は、主要な機能として、クライアント機２０及びサーバ機９０を有している。即ち、電子黒板２の１台の筐体内に、クライアント機２０及びサーバ機９０が含まれている。クライアント機２０及びサーバ機９０は、電子黒板２の１台の筐体内で実現される機能である。そして、電子黒板２が主催装置となる場合には、この電子黒板２では、クライアント機２０とサーバ機９０が実現される。また、電子黒板２が参加装置となる場合には、この電子黒板２では、クライアント機２０は実現されるが、サーバ機９０は実現されない。即ち、図１において、電子黒板２ａが主催装置で、電子黒板２ｂが参加装置となる場合、電子黒板２ａのクライアント機２０は、同じ電子黒板２ａ内に実現されたサーバ機９０を介して、他の電子黒板２ｂのクライアント機２０と通信を行う。一方、電子黒板２ｂのクライアント機２０は、他の電子黒板２ａ内に実現されたサーバ機９０を介して、他の電子黒板２ａのクライアント機と通信を行う。

〔クライアント機２０の機能構成〕
続いて、主に図３乃至図５を用いて、クライアント機２０の機能構成について説明する。クライアント機２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、指判別部２９-１、指入力開始待機タイマー２９-２、画像処理部３０、及び通信制御部６０を有する。

このうち、映像取得部２１は、ケーブル１０に接続されたノートＰＣ６等の映像出力機器の出力映像を取得する。映像取得部２１は、映像出力機器（ノートＰＣ６等）から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、電子黒板２の起動時に起動され、接触センサ１１５が座標検知部２２に適切な値を出力できるように、接触センサ１１５の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。

ここで、「ストローク描画」は、ディスプレイ３上に図１６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図１６に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。

「ジェスチャ操作」は、ディスプレイ３上に図１６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。

操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素に従って、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたイベントに対し、座標の履歴などからジェスチャの内容を判別しジェスチャイベントを発生させる。

指判別部２９-１は、指によるスクリーンへの接触であることを判別する。座標検知部２２は赤外線遮断方式と三角測量により座標を検知するので、電子ペン以外の指示具による接触を検知できる。このため、指判別部２９-１により電子ペンの接触か、電子ペン以外の指示具による接触かを判別する。なお、電子ペン以外の指示具として指を例として説明するが、指でなくても赤外線の遮光は可能である。

指判別部２９-１は指の判別のため、イベント振分部２５から接触検知影像イベント、ペンダウンイベントを取得する。接触検知影像イベントは接触センサ１１５の検知エリア（スクリーンから数ｃｍ以下のスクリーンに平行なエリア）で遮光を検出したというイベントである。ペンダウンイベントは、接触検知部２４が電子ペン４のペン先、又は、電子ペン４のペン尻のタッチを検知したというイベントである。また、指判別部２９-１は、ジェスチャ処理部からジェスチャ中イベントを取得する。

指判別部２９-１は接触検知影像イベント、ペンダウンイベント、及び、ジェスチャ中イベントの有無、並びに、影像イベントの影像の大きさに応じて、指入力開始待機タイマー２９-２による時間の計測（カウント）を開始する。また、指判別部２９-１は指入力開始待機タイマー２９-２がカウントを開始すると、座標値を時系列に蓄積（キューイング）する。

指入力開始待機タイマー２９-２が所定時間以上の時間をカウントすると、指判別部２９-１は指で描画されていると判別して、マーカー処理部３８にキューイングしていた座標を伝達する。マーカー処理部３８は一連の座標をマーカー描画し、その後は取得した座標をマーカーの最後尾の座標としてマーカーの描画を継続する。

したがって、指判別部２９-１が指であると判別するとマーカー処理部３８がマーカーで描画し、電子ペンであると判別するとストローク処理部３２がペンでストロークを描画する。指判別部２９-１が指であると判別することをマーカーイベントが検知されたと称する場合がある。

なお、本実施例では後述する遠隔コンテキストにマーカーイベントが含まれるため、指判別部２９-１、指入力開始待機タイマー２９-２、マーカー処理部３８について説明したが、詳細は実施例２にて説明する。

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として映像出力器（ディスプレイ３）に対して表示する。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。

画像処理部３０は、各画像レイヤの重畳処理等を行う。適宜図１６を用いて具体歴な重畳例を説明する。画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、マーカー処理部３８、コンテキスト処理部３９、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。この画像は、図１６に示されている映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図１６に示されているストローク画像（Ｂ）に相当する。また、このストローク等に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部８４０に記憶される。

ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図１６に示されているＵＩ画像（Ａ）に相当する。

背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図１６に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及び、ＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

コンテキスト処理部３９は、マーカーイベント、ジェスチャイベント、ページ作成・消去イベント、ファイル読み込みイベントを、通信制御部６０の遠隔コンテキスト送信部６８を介してサーバ機９０に送信する。また、コンテキスト処理部３９は、通信制御部６０の遠隔コンテキスト受信部６７から、マーカーイベント、ジェスチャイベント、ページ作成・消去イベント、ファイル読み込みイベントを取得する。また、通信制御部６０の参加拠点管理テーブル６１０から、他拠点参加イベント、他拠点退出イベントを取得する。コンテキスト処理部３９は、取得したイベントと拠点に応じて拠点画像を生成し、ディスプレイ３に表示する。なお、ページ作成・消去イベントはユーザがＵＩ画像に対しページ作成又は消去の操作を行うことで発生する。ファイル読み込みイベントはファイル入力部４２ａがファイルを読み込むことで発生する。他拠点参加イベントは、参加拠点管理テーブル６１０に新しく拠点が登録されることで発生する。他拠点退出イベントは参加拠点管理テーブル６１０から拠点が削除されることで発生する。

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３（背景生成部３４）、マーカー処理部３８、及び背景生成部３４から出力された各画像のレイアウトを行う。

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、図６に示されているストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、図６に示されているメディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトに従って重畳する。これにより、図１６に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示重畳部３６は、図１６に示されている画像（Ｃ）と画像（Ｄ）を切り替えて画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、電子黒板２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、描画（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

ページデータ記憶部３００は、図６に示されているようなページデータを記憶する。図６は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）及びメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図６乃至９に分けて、ページデータの内容を説明する。

ページデータは、図６に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、後述の図１６に示されているストローク画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、後述の１６に示されている背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。

このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によって、アルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、図７に示されているように詳細な情報を示している。図７は、ストローク配列データを示す概念図である。図７に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。

更に、この座標配列データは、図８に示されているように詳細な情報を示している。図８は、座標配列データを示す概念図である。図８に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開示時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。

即ち、図８に示されている１点の集まりが、図７に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によって、アルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

また、図６に示されているページデータのうちのメディアデータは、図９に示されているように詳細な情報を示している。図９は、メディアデータを示す概念図である。図９に示されているように、メディアデータは、図６に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。

図３に戻り、遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、図１０に示されているように、電子黒板２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。

（ファイル処理部４０の機能構成）
続いて、図４を用いて、図３に示されているファイル処理部４０の機能構成を説明する。なお、図４は、ファイル処理部の機能ブロック図である。以下では、最初に遠隔共有処理を開始する電子黒板２を「主催装置」、既に開始されている遠隔共有処理に後から参加する電子黒板２を「参加装置」と称して説明する。

ファイル処理部４０は、リカバリ処理部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、及び設定ファイル出力部４９ｂを有している。更に、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び接続先管理テーブル４４０を有している。

このうち、リカバリ処理部４１は、電子黒板２が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがＰＤＦファイルとしてファイル処理部４０を介してＵＳＢ５に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部４１は、ページデータ記憶部３００からページデータを読み出すことで復旧させる。

ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。

ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。

ファイル出力部４２ｂは、ファイル変換部４３によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。

ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル４１０には、図１１に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部４４が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。

アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０に管理する。

バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図１２に示されているように、ＰＤＦ形式で記憶される。

バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。

設定管理部４８は、電子黒板２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ(Domain Name System)の設定等である。

設定ファイル出力部４９ｂは、電子黒板２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。

設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板の各種設定に反映させる。

アドレス帳入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、接続先管理テーブル４４０に管理する。なお、図１３（ａ）に示されているように、接続先管理テーブル４４０は、電子黒板２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のＩＰアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加されることが可能な主催装置としての電子黒板２が設置されている拠点の拠点名、主催装置としての電子黒板２のＩＰアドレス、及び、接続状態が関連付けて管理されている。この接続状態は、特許請求の範囲の「通信状態情報」の一例である。また、接続先管理テーブル４４０は特許請求の範囲の「状態記憶手段」の一例である。

図１３（ｂ）は接続状態の意味を説明する図の一例である。接続状態には、例えば、オフライン、オンライン、開催中、開催中、開催中(互換)、開催中(バージョン違い)の５種類がある。接続状態は、主催装置との通信の可否、会議の開催状態、参加可否の組み合わせで判断される。通信可否が「不能」であれば、開催状態も「不明」、参加可否も「不明」となるためオフラインと判断される。オンラインは、通信可否が「可能」だが、開催状態が「開催していない」ため参加可否が「不明」な状態である。通信可否が「可能」であり、開催状態も「開催している」、参加可否も「参加可能」であれば、開催中と判断される。なお、「開催している」とは、主催装置のユーザが所定の操作を行い、参加装置がページデータなどを共有可能な状態である。

「開催中（互換）」は主催装置と参加装置のソフトウェアのバージョンが違うが、互換モードで参加が可能であるという状態である。互換モードではバージョンが古い方のソフトウェアの機能しか使用できない。

「開催中（バージョン違い）」は主催装置と参加装置のソフトウェアのバージョンが違うため、参加ができない状態である。この接続状態は、例えばバージョンが大きく異なるために参加できない状態である。

但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のＩＰアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のＩＰアドレスを知得する。

参加拠点管理テーブル４５０は、電子黒板が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル４５０では、図１４に示されているように、参加中の電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスと拠点色が関連付けて管理されている。参加装置が複数の場合は、複数のＩＰアドレスが登録される。

拠点色は、例えば会議への参加順で色が決まる。たとえば、拠点色は開催拠点（１番目）をマゼンタ、以降、２番目をシアン、３番目をオレンジ、４番目をグリーンとする。また、仮に、２番目の拠点が退出した場合、２番目以降の拠点の順序は繰り上がり、３番目の拠点がシアン、4番目の拠点がオレンジとなる。

また、参加拠点管理テーブルは、参加装置の参加時と退出時、遠隔接続処理部８１が遠隔接続結果送信部７２を介してクライアント機に送信する。クライアント機の遠隔開始処理部６１又は遠隔参加処理部６２は参加拠点管理テーブルを受信する。クライアント機の接続先管理テーブルで管理している拠点のうち、受信した参加拠点管理テーブルの拠点のＩＰアドレスが一致するもので、接続先管理テーブルに名称が設定されていない場合、参加拠点管理テーブルの該当拠点の名称が、接続先管理テーブルに登録される。

（通信制御部６０の機能構成）
次に、図５を用いて、通信制御部６０の機能構成について説明する。図５は、通信制御部６０の機能ブロック図である。通信制御部６０は、通信ネットワーク９を介して、他の電子黒板２と行う通信や、サーバ機９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、遠隔コンテキスト送信部６８、遠隔コンテキスト受信部６７、及び参加拠点管理テーブル６１０を有している。

このうち、遠隔開始処理部６１は、同じ電子黒板２のサーバ機９０に対して、新たに遠隔共有処理を開始する要求を行い、サーバ機９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、及び有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。

参加拠点管理テーブル６１０は、電子黒板が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル６１０では、図１４に示されているように、参加中の電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスが関連付けて管理されている。

遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての電子黒板２のサーバ機９０における遠隔接続要求受信部７１に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の電子黒板２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板２のＩＰアドレスが入力されてもよい。

遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）を、サーバ機９０に送信する。

遠隔画像受信部６４は、サーバ機９０から、他の電子黒板２に接続された映像出力機器からの画像データを受信し、表示重畳部３６に出力することで、遠隔共有処理を可能にする。

遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ機９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ機９０から、他の電子黒板２で入力された操作データを受信し、画像処理部３０に出力することで、遠隔共有処理を行う。

遠隔コンテキスト送信部６８はコンテキスト処理部３９からマーカーイベント、ジェスチャイベント、ページ作成・消去イベント、ファイル読み込みイベントを取得し、遠隔コンテキストとしてサーバ機９０に送信する。

遠隔コンテキスト受信部６７はサーバ機９０から他の電子黒板で生じた上記イベント情報を取得し、画像処理部３０のコンテキスト処理部３９が拠点画像を表示する。

〔サーバ機の機能構成〕
続いて、図５を用いて、サーバ機９０の機能構成について説明する。サーバ機９０は、各電子黒板２に設けられており、いずれの電子黒板２であっても、サーバ機としての役割を果たすことができる。そのため、サーバ機９０は、通信制御部７０、及びデータ管理部８０を有している。

（通信制御部７０の機能構成）
次に、図５を用いて、通信制御部７０の機能構成について説明する。

通信制御部７０は、同じ電子黒板２内のクライアント機２０における通信制御部６０、及び、通信ネットワーク９を介して他の電子黒板２内のクライアント機２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

更に詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、遠隔操作送信部７６、遠隔コンテキスト受信部７８、及び、遠隔コンテキスト送信部７７、を有している。

このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部６２からの遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部６２へ遠隔共有処理に対する参加要求の結果を送信したりする。

遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対して、この画像データを送信する。

遠隔操作受信部７５は、遠隔操作送信部６５からの操作データ（ストローク画像（Ｂ）等のデータ）を受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対して、この操作データを送信する。

遠隔コンテキスト受信部７８はクライアント機から遠隔コンテキストを受信し、遠隔操作処理部８３に出力する。遠隔操作処理部８３は自拠点の識別情報（例えばＩＰアドレス）を追加し、遠隔コンテキスト送信部７７に出力する。遠隔コンテキスト送信部７７が各クライアント機に遠隔コンテキストと自拠点の識別情報を送信する。

（データ管理部の機能構成）
次に、図５を用いて、データ管理部８０の機能構成について説明する。データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、及びページ処理部８５を有している。更に、サーバ機９０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ管理部８３０、操作データ記憶部８４０及び、ページデータ記憶部８５０、を有している。

このうち、遠隔接続処理部８１は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部８１は、クライアント機としての他の電子黒板２からの参加要求が予め定められた参加可能数を超えていないかを確認する。

更に、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、主催装置としての電子黒板２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、この電子黒板２にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。

また、遠隔接続処理部８１は、参加装置としての電子黒板２の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ機９０の参加拠点管理テーブル８２０に記憶する。そして、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔接続結果送信部７２は、同じ主催装置のクライアント機２０における遠隔開始処理部６１に遠隔拠点情報を送信する。遠隔開始処理部６１は、参加拠点管理テーブルに６１０に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント機２０及びサーバ機９０の両方で、遠隔拠点情報を管理することになる。

遠隔画像処理部８２は、遠隔共有処理中の各電子黒板２のクライアント機（主催装置である自己の電子黒板のクライアント機を含む）に接続された映像出力機器（ノートＰＣ６等）からの画像データ（出力画像（Ｃ））を受信して８３０に記憶すると共に、主催装置である自己の電子黒板２のサーバ機９０に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての電子黒板２のクライアント機２０（主催装置である自己の電子黒板のクライアント機を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判定した順番で画像データを送信する。

遠隔操作処理部８３は、遠隔共有処理中の各電子黒板２のクライアント機（主催装置である自己の電子黒板のクライアント機を含む）で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を受信し、主催装置である自己の電子黒板２のサーバ機９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての電子黒板２のクライアント機２０（主催装置である自己の電子黒板のクライアント機を含む）に操作データを送信する。

操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、この合成結果としての操作データを、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である電子黒板のクライアント機、及び参加装置である電子黒板のクライアント機のそれぞれに送信されることで、各電子黒板２で同じ操作データに係る画像が表示される。そのために、操作データは、図１５に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板２のＩＰアドレス及びクライアント機（サーバ機）のPort No.、操作データの送信先である電子黒板２のＩＰアドレス及びクライアント機（サーバ機）のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のクライアント機（Port No.:50001）でストロークが描画されると、同じ主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ機（Port No.:50000）に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータＩＤ「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ機（Port No.:50000）から、参加装置である他の電子黒板（ＩＰアドレス：192.0.0.1）のクライアント機（Port No.:50001）に、操作データが送られたことが示されている。
なお、操作合成処理部８４は、この操作合成処理部８４に操作データが入力された順に合成を行うため、通信ネットワーク９が混雑していなければ、各電子黒板２のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板２のディスプレイ３にストローク画像（Ｂ）が表示される。

ページ処理部８５は、クライアント機２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ機９０でも、図６乃至図８に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容であるため、その説明を省略する。

＜実施形態の処理又は動作＞
続いて、図１７及び図１８を用いて、本実施形態の処理又は動作について説明する。なお、図１７及び図１８は、各電子黒板の処理を示したシーケンス図である。
図１７及び図１８に示す実施形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ機及びクライアント機）としての役割を果たしており、電子黒板２ｂ，２ｃが遠隔共有処理に参加する参加装置（クライアント機）としての役割を果たす場合について説明する。また、ここでは、電子黒板２ａ，２ｂ，２ｃには、それぞれディスプレイ３ａ，３ｂ，３ｃが接続され、更に、それぞれノートＰＣ６ａ，６ｂ，６ｃが接続されている。また、電子黒板２ａ，２ｂ，２ｃでは、それぞれ電子ペン４ａ，４ｂ，４ｃが使用される。

まずは、電子黒板２ｂ，２ｃが遠隔共有処理に参加するための処理について説明する。 ユーザが電子黒板２ａの電源スイッチをオンにすると、電子黒板２ａのクライアント機２０が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ機９０を起動させる操作をすると、クライアント機２０の遠隔開始処理部６１から同じ電子黒板２ａのサーバ機９０における遠隔接続要求受信部７１に、サーバ機９０の処理を開始させる指示を出力する。これにより、電子黒板２ａでは、クライアント機２０だけでなくサーバ機９０も各種処理を開始可能となる（ステップＳ２１）。

次に、電子黒板２ａのクライアント機２０におけるＵＩ画像生成部３３が電子黒板２ａとの接続を確立するための接続情報を生成し、映像重畳部２８が、ＵＩ画像生成部３３から表示重畳部３６を介して得た接続情報をディスプレイ３ａに表示させる（ステップＳ２２）。この接続情報には、主催装置のＩＰアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部８１０に記憶されているパスコードは、図５に示されている遠隔接続処理部８１によって読み出され、遠隔接続結果送信部７２、遠隔開始処理部６１の順に送信される。更に、パスコードは、遠隔開始処理部６１を含む通信制御部６０から、図３に示されている画像処理部３０に送信され、最終的にＵＩ画像生成部３３に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ，２ｃのユーザに伝えられる。

なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。参加装置のＵＩ画像生成部３３が表示する参加のための画面例を図１９に示す。

次に、電子黒板２ｂ，２ｃでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板２ａ，２ｂのクライアント機２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して、電子黒板２ａのサーバ機９０における遠隔接続要求受信部７１に対してパスコードを送信して参加要求を行う（ステップＳ２３，Ｓ２４）。これにより、通信制御部７０の遠隔接続要求受信部７１は、各電子黒板２ｂ，２ｃから、参加要求（パスコードを含む）を受信し、このパスコードを遠隔接続処理部８１に出力する。

次に、遠隔接続処理部８１は、電子黒板２ｂ，２ｃの各クライアント機２０から受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する（ステップＳ２５）。そして、遠隔接続結果送信部７２が、各電子黒板２ｂ，２ｃのクライアント機２０に認証結果を通知する（ＳステップＳ２６，Ｓ２７）。ステップＳ２５の認証により、正当な電子黒板であると判断されていた場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ，２ｃとの遠隔共有処理の通信が確立され、各電子黒板２ｂ，２ｃのクライアント機２０における遠隔参加処理部６２が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする（ステップＳ２８，Ｓ２９）。

（出力画像の表示）
続いて、図１７を用いて、遠隔共有処理における画像データの処理について説明する。
まず、電子黒板２ｂは、ディスプレイ３ｂに出力画像（Ｃ）を表示する（ステップＳ３０）。具体的には、電子黒板２ｂの画像取得部３１が、ノートＰＣ６ｂから映像取得部２１を介して、ノートＰＣ６ｂで表示されている出力画像（Ｃ）のデータを受信し、表示重畳部３６及び映像重畳部２８を介してディスプレイ３ｂに送信することで、ディスプレイ３ｂは出力画像（Ｃ）を表示する。

次に、電子黒板２ｂの画像取得部３１を含む画像処理部３０が、遠隔画像送信部６３に出力画像（Ｃ）のデータを送信することで、遠隔画像送信部６３を含む通信制御部６０が通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０に出力画像（Ｃ）のデータを送信する（ステップＳ３１）。これにより、電子黒板２ａの遠隔画像受信部７３は、出力画像（Ｃ）のデータを受信し、遠隔画像処理部８２に出力することで、遠隔画像処理部８２が画像データ管理部８３０に出力画像（Ｃ）のデータを記憶する。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに出力画像（Ｃ）を表示する（ステップＳ３２）。具体的には、電子黒板２ａの遠隔画像処理部８２は、遠隔画像受信部７３から受信した出力画像（Ｃ）のデータを、遠隔画像送信部７４に出力する。遠隔画像送信部７４は、同じ主催装置である電子黒板２ａのクライアント機２０における遠隔画像受信部６４に、出力画像（Ｃ）のデータを出力する。遠隔画像受信部６４は、表示重畳部３６に出力画像（Ｃ）のデータを出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ａに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ａは、出力画像（Ｃ）を表示する。

次に、主催装置としての電子黒板２ａのサーバ機９０における遠隔画像送信部７４を含む通信制御部７０は、通信ネットワーク９を介して、出力画像（Ｃ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に出力画像（Ｃ）のデータを送信する（ステップＳ３３）。これにより、参加装置である電子黒板２ｃの遠隔画像受信部６４は、出力画像（Ｃ）のデータを受信する。

次に、電子黒板２ｃは、ディスプレイ３ｃに出力画像（Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔画像受信部６４が、上記ステップＳ３３によって受信された出力画像（Ｃ）のデータを、電子黒板２ｃの表示重畳部３６に出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ｃに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、出力画像（Ｃ）を表示する。

なお、出力画像（Ｃ）のデータだけでなく、ＵＩ画像（Ａ）、及びストローク画像（Ｂ）の各データが、表示重畳部３６に入力されている場合には、表示重畳部３６により、重畳画像（Ａ，Ｂ，Ｃ）が生成され、映像重畳部２８はディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。また、テレビ会議端末７から映像重畳部２８に、テレビ会議用の映像（Ｅ）のデータが送られて来ている場合には、映像重畳部２８は、重畳画像（Ａ，Ｂ，Ｃ）にピクチャ・イン・ピクチャによりテレビ会議用の映像（Ｅ）のデータを重畳して、ディスプレイ３ｃに出力する。

（重畳画像の表示）
続いて、図１８を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。

まず、電子黒板２ｂは、ユーザが電子ペン４ｂを用いて電子黒板２ｂにストローク画像（Ｂ）を描画する（ステップＳ４１）。

次に、電子黒板２ｂの表示重畳部３６は、図１６に示されているように、ＵＩ画像（Ａ）、出力画像（Ｃ）、及び背景画像（Ｄ）に対して、ストローク画像（Ｂ）を重畳し、映像重畳部２８が、電子黒板２ｂのディスプレイ３ｂ上に、重畳された重畳画像（Ａ，Ｂ，Ｃ，Ｄ）を表示させる（ステップＳ４２）。具体的には、電子黒板２ｂのストローク処理部３２が座標検知部２２及び接触検知部２４からイベント振分部２５を介して、操作データとしてのストローク画像（Ｂ）のデータを受信し、表示重畳部３６に送信する。これにより、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳することができ、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に重畳画像（Ａ，Ｂ，Ｃ）を表示させることができる。

次に、電子黒板２ｂのストローク処理部３２を含む画像処理部３０が、遠隔操作送信部６５にストローク画像（Ｂ）のデータを送信することで、電子黒板２ｂの遠隔操作送信部６５は、通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０にストローク画像（Ｂ）のデータを送信する（ステップＳ４３）。これにより、電子黒板２ａの遠隔操作受信部７５は、ストローク画像（Ｂ）のデータを受信し、遠隔操作処理部８３に出力することで、遠隔操作処理部８３が操作合成処理部８４にストローク画像（Ｂ）のデータを出力する。このようにして、電子黒板２ｂで描画されたストローク画像（Ｂ）のデータは、描画される度に、主催装置である電子黒板２ａの遠隔操作処理部８３に順次送信される。このストローク画像（Ｂ）のデータは、図７に示されているストロークデータＩＤ毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合は二筆書きとなるため、２つのストロークデータＩＤのそれぞれで示されるストローク画像（Ｂ）のデータが順次送信される。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに、電子黒板２ｂから送られて来たストローク画像（Ｂ）のデータが含まれた重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ４４）。具体的には、電子黒板２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られて来た複数のストローク画像（Ｂ）のデータを合成して、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。これにより、隔操作処理部８３は、操作合成処理部８４から受信した、合成後のストローク画像（Ｂ）のデータを、遠隔操作送信部７６に出力する。遠隔操作送信部７６は、同じ主催装置である電子黒板２ａのクライアント機２０における遠隔操作受信部６６に、合成後のストローク画像（Ｂ）のデータを出力する。遠隔操作受信部６６は、画像処理部３０における表示重畳部３６に、合成後のストローク画像（Ｂ）のデータを出力する。よって、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、合成後のストローク画像（Ｂ）を重畳する。最後に、映像重畳部２８が、表示重畳部３６によって重畳された重畳画像（Ａ，Ｂ，Ｃ）をディスプレイ３ａ上に表示させる。

次に、主催装置としての電子黒板２ａのサーバ機９０における遠隔操作送信部７６を含む通信制御部７０は、通信ネットワーク９を介して、ストローク画像（Ｂ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に、合成後のストローク画像（Ｂ）のデータを送信する（ステップＳ４５）。これにより、参加装置である電子黒板２ｃの遠隔操作受信部６６は、合成後のストローク画像（Ｂ）のデータを受信する。

次に、電子黒板２ｃは、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔操作受信部６６が、上記ステップＳ４５によって受信された合成後のストローク画像（Ｂ）のデータを、電子黒板２ｃの画像処理部３０に出力する。画像処理部３０の表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）の各データと、合成後のストローク画像（Ｂ）のデータを重畳し、映像重畳部２８に重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。映像重畳部２８は、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、重畳画像（Ａ，Ｂ，Ｃ）を表示する。

なお、上記処理では、ディスプレイ３上に出力画像（Ｃ）が表示されているが、この出力画像（Ｃ）に代えて、背景画像（Ｄ）を表示してもよい。また、出力画像（Ｃ）と背景画像（Ｄ）との排他的な関係をやめて、出力画像（Ｃ）と背景画像（Ｄ）との両方を同時にディスプレイ３上に表示させてもよい。

（参加の終了）
続いて、図１８を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図１８に示す実施形態では、電子黒板２ｃが参加を終了する処理が示されている。

まず、電子黒板２ｃでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部６２は、主催装置としての電子黒板２ａのサーバ機９０における遠隔接続要求受信部７１に対して、参加の終了要求を行う（ステップＳ４７）。これにより、通信制御部７０の遠隔接続要求受信部７１は、電子黒板２ｃから、参加の終了要求を受信し、遠隔接続処理部８１に、電子黒板２ｃのＩＰアドレスとともに参加の終了要求を出力する。そして、電子黒板２ａの遠隔接続処理部８１は、遠隔接続要求受信部７１から送られて来たＩＰアドレスに基づいて、参加拠点管理テーブル８２０から、参加の終了要求を行った電子黒板２ｃのＩＰアドレス及び電子黒板２ｃが設置されている拠点の名称を削除し、遠隔接続結果送信部７２に、電子黒板２ｃのＩＰアドレス及び削除した旨の通知を出力する。

次に、遠隔接続結果送信部７２を含んだ通信制御部７０が、通信ネットワーク９を介して、電子黒板２ｃのクライアント機２０における通信制御部６０に、参加の終了を指示する（ステップＳ４８）。これにより、電子黒板２ｃにおける通信制御部６０の遠隔参加処理部６２が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する（ステップＳ４９）。

（参加のための画面例）
図１９は、参加装置（電子黒板２ｂ、２ｃ）のディスプレイ３に表示される拠点のリストの表示例を示す図である。各参加装置は接続先管理テーブルを有しているものとする。以下、カッコ付きの番号で示す表示内容について説明する。参加装置のＵＩ画像生成部３３は、ユーザの操作に応じて図１９の画面を表示する。

（１）画面の説明として以下の文章が表示される
「遠隔ホワイトボードに参加します
ホワイトボード拠点名を選択後、参加ボタンを押してください。」
（２）コンタクトリストから選択、又は、直接入力
ユーザはコンタクトリストから選択するか、ＩＰアドレスを直接入力するかを選択できる。

（３）コンタクトリストから選択
「ホワイトボード拠点名」、「ＩＰアドレス又はホスト名」「グループ名」で１つのレコードが構成されている。また、「ホワイトボード拠点名」、「ＩＰアドレス又はホスト名」「グループ名」というラベルが表示される。また、１つのレコードには、アイコンとホワイトボード拠点名の先頭文字が表示される。これらについては次述する。

グループ名としては、「group01」、「group02」があるが、このグループはホワイトボード拠点名の表示名の1文字目、ＩＰアドレスなどで決まり、関係する拠点をグループ化する名称である。

ユーザは、コンタクトリストのレコードを押下することで参加するホワイトボード拠点名（主催装置）を選択する。ホワイトボード拠点名を選択することで（６）のＩＰアドレスが表示される。選択したレコードを再度選択すると選択は解除される。

なお、レコードの先頭にアイコンがない場合、又は、後述するオンラインアイコン若しくは開催中アイコンがグレー（低輝度で）で表示されている場合、そのレコードはグレーで表示され、選択できない。アイコンの凡例は以下で説明する。
（４）スクロールバー
（５）グループ名を指定
ユーザは任意のグループ名を入力又は選択し、コンタクトリストに表示するレコードを絞り込むことができる。
（６）ＩＰアドレス
コンタクトリストで選択されたホワイトボード拠点名のＩＰアドレスが表示される。
（７）参加する
ユーザが会議に参加することを入力するためのボタンである。
（８）キャンセル
ユーザが会議に参加することなく画面を閉じるためのボタンである。
（９）開催中アイコン
このラベルの拠点に対し参加可能であることを示すアイコンである。図１３（ｂ）の接続状態が「開催中」の場合に表示されるアイコンである。
（１０）オンラインアイコン
このラベルの拠点がネットワーク接続しており、かつ、遠隔ライセンスがある状態を示すアイコンである。図１３（ｂ）の接続状態が「オンライン」の場合に表示されるアイコンである。
（１１）開催中アイコン(参加不可)
拠点が会議を開催しているが、ソフトウェアのバージョンが異なり参加できない状態を表示するアイコンである。図ではアイコンがグレーで表示されている。図１３（ｂ）の接続状態が「開催中（バージョン違い）」の場合に表示されるアイコンである。
（１２）互換モード開催中アイコン
互換モードで開催中であることを示すアイコンである。図１３（ｂ）の接続状態が「開催中（互換）」の場合に表示されるアイコンである。
（１３）選択できない拠点のレコードの一例である
選択できない拠点のレコードは背景がグレーで表示される。図１３（ｂ）の接続状態が「オフライン」の場合、このようにアイコンが表示されない。
（１４）選択された拠点のレコード
選択された拠点のレコードは所定の色（又は高輝度）で表示される。
（１５）アイコンの凡例
オンラインアイコンに対し「オンライン」というラベル、開催中アイコンに対し「開催中」というラベル、互換モードで開催中アイコンに対し「互換モードで開催中」というラベルが表示されている
（１６）ホワイトボード拠点名の先頭文字ラベル
ホワイトボード拠点名の先頭文字を区別するためのラベルである。

〔遠隔コンテキストの送信〕
遠隔コンテキストとは、特定のイベントが検出された場合に、ディスプレイ３の画像にイベントの結果を反映させる前に、他拠点の電子黒板２に通知されるイベントの種類である。上記のように、遠隔コンテキストにより、マーカーイベント、ジェスチャイベント、ページ作成・消去イベント、ファイル読み込みイベント、他拠点参加イベント、他拠点退出イベントなどが他の拠点に通知される。遠隔コンテキストは、特許請求の範囲の操作内容通知情報の一例である。

図２０は、遠隔コンテキストの送信手順を示すフローチャート図の一例である。図２０では、遠隔コンテキストとなるイベントを取得する操作拠点、クライアント機２０と通信するサーバ機９０、及び、遠隔コンテキストを受信する受信拠点が処理を行う。

まず、操作拠点の電子黒板２はイベントを取得する（Ｓ１１０）。遠隔コンテキストとなるイベントは予め決まっているので、これらのイベントは、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、指判別部２９-１、などが検知する。

コンテキスト処理部３９は、イベントに対応して予め定められている遠隔コンテキスト名を決定し、操作拠点の識別情報（ＩＰアドレスなどで良い)と共にサーバに送信する（Ｓ１１１）。遠隔コンテキスト名は例えば、遠隔コンテキスト（イベント名）などでよい。

この後、操作拠点は入力された座標やイベントに対応する操作内容を取得する（Ｓ１１２）。マーカーイベントであれば指の座標が取得され、ジェスチャイベントであればジェスチャの種類が取得される。ページ作成・消去イベントやファイル読み込みイベントではページ番号やファイル名が操作内容に含まれる。

遠隔操作送信部６５は、遠隔共有処理に必要な操作データをサーバ機９０に送信する（Ｓ１１３）。

サーバ機９０の遠隔コンテキスト受信部７８は、ステップＳ１１１で送信された遠隔コンテキストと操作拠点の識別情報を受信する（Ｓ１１４）。

遠隔コンテキスト送信部７７は、遠隔コンテキストと操作拠点の識別情報を、操作元拠点以外の、参加拠点管理テーブルに登録されている全ての拠点に送信する（Ｓ１１５）。

受信拠点の遠隔コンテキスト受信部７８は、遠隔コンテキストと操作拠点の識別情報を受信する（Ｓ１１６）。

遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する（Ｓ１１７）。詳しくは後述するが、自拠点の参加拠点管理テーブルを参照し、操作元識別子に対応づけられた操作元名称と拠点色を取得し、操作アイコンと共にディスプレイ３に表示する。また、遠隔コンテキストはユーザに予告を行えば役割を終えるので、ストロークの目視や描画を阻害しないようにするため、自動で消去されることが好ましい。コンテキスト処理部３９は、たとえば3秒表示後（特許請求の範囲の第１の所定時間の一例である）、1秒間（特許請求の範囲の第２の所定時間の一例である）かけてフェードアウト（徐々に輝度や色が薄くなり最終的に見えなくなる）するようなエフェクトで遠隔コンテキストを消去する。

一方、サーバ機の遠隔操作受信部６６は、ステップＳ１１３で送信された操作データを受信する（Ｓ１１８）。

遠隔操作送信部６５は、操作元拠点以外の、参加拠点管理テーブルに登録されている全ての拠点に操作データを送信する（Ｓ１１９）。

受信拠点の遠隔操作受信部６６は操作データを受信する（Ｓ１２０）。

受信拠点の画像処理部３０は操作データをディスプレイ３に反映させる（Ｓ１２１）。例えば、ストロークやマーカーを表示し、ジェスチャに応じて拡大・縮小を行い、ページの作成などを行う。

以上のように、ステップＳ１１７で遠隔コンテキストを受信する拠点は、操作データを受信する前に、遠隔コンテキストにより操作元がどの拠点で、どのような操作を行ったかを知ることができるので、同じ場所に描画したり矛盾する操作を行ったりすることを回避できる。

図２１は、遠隔コンテキストを受信した拠点がディスプレイ３に表示する遠隔コンテキストの一例を示す。図２１には合計８個の遠隔コンテキストが表示されているが、これは説明のための図であり、同時に８個の遠隔コンテキストが表示されることは希である。

図２１では１つの遠隔コンテキストに対し、アイコンと吹き出しがセットで表示されている。アイコンは遠隔コンテキスト（イベントの内容）に応じて予め定められている。また、吹き出しには拠点名が表示されている。

（１）共有アイコンの押下
共有アイコンとは、ユーザが遠隔会議を主催すること又は会議に参加するために押下するアイコンであり、図２１ではディスプレイ３の右上に表示されている。ユーザが共有アイコン３０１を押下した場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。具体的には、共有アイコンと同じアイコンと拠点名が記述された吹き出しを共有アイコン３０１の近くに表示する。なお、近くに表示するとは、共有アイコン３０１に対し、共有アイコンと同じアイコンと吹き出しが重畳しない最も近くに表示することを言う。

（２）ＵＳＢメモリアイコンの押下
ＵＳＢメモリアイコン３０２とは、ユーザがＵＳＢメモリからファイルを読み出すために押下するアイコンであり、図２１ではディスプレイ３の右側に表示されている。ユーザがＵＳＢメモリアイコン３０２を押下した場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。具体的には、ＵＳＢメモリアイコンと同じアイコンと拠点名が記述された吹き出しを、ＵＳＢメモリアイコン３０２の近くに表示する。

（３）ジェスチャイベントの検知
ジェスチャイベントが検知された場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。ジェスチャイベントは任意の場所で発生するので、コンテキスト処理部３９はジェスチャイベントが検知された座標の近くにジェスチャが検知されたことを示すアイコンと拠点名を表示する。ジェスチャには種々のものがあるが、実施例３にて説明するように例えば拡大がある。ジェスチャが検知されたことを示すアイコンはジェスチャに応じた形状であることが好ましく、図では拡大のジェスチャが検知されたことを示すアイコンが表示されている。

（４）ペンダウンイベントの検知
ペンダウンイベントが検知された場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。ペンダウンイベントは任意の場所で発生するので、コンテキスト処理部３９はペンダウンイベントが検知された座標の近くにペンダウン（書き込みが始まる）が検知されたことを示すアイコンと拠点名を表示する。ペンダウンイベントが検知された座標の近くとは、ストロークの開始点の近くである。図では「４」というストロークの近くにアイコンと拠点名が表示されている。

（５）マーカーイベントの検知
マーカーイベントが検知された場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。マーカーイベントは任意の場所で発生するので、コンテキスト処理部３９はマーカーイベントが検知された座標の近くにマーカーイベントが検知されたことを示すアイコンと拠点名を表示する。図では円弧上のマーカーの始点の近くにアイコンと拠点名が表示されている。

東京１で操作されたマーカーは、例えば、ユーザが電子黒板２で画像の共有を行っている遠隔地（福岡１や大阪２）に、この部分を注目してほしいとうアラートを示すためにユーザの指でマークされるものである。遠隔地（福岡１や大阪２）にいるユーザは、電子黒板２のディスプレイ３のどの部分に注目してよいかわからず、東京１が意図しないディスプレイ３の一部の領域に注目している場合がある。この際、東京１で遠隔地（福岡１や大阪２）に注目してほしい部分をマーカーで示すことにより、円滑なコミュニケーションの促進とつながる。ここでは、マーカーの具体的な活用例を説明したが、マーカー以外でももちろん活用可能である。

（６）ページ切り替えイベントの検知
ディスプレイ３の下部にページのサムネイル３０４が表示されている。ユーザはサムネイル３０４を押下することでディスプレイ３に表示されるページを切り替えることができる。この操作がページ切り替えイベントである。ページ切り替えイベントが検知された場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。コンテキスト処理部３９はサムネイル３０４の近くに、ページ切り替えイベントが検知されたことを示すアイコン（サムネイルと同じ形状のアイコン）と拠点名を表示する。

（７）新規ページ作成アイコンの押下
新規ページ作成アイコン３０３とは、ユーザがページを新たに作成するために押下するアイコンであり、図２１ではディスプレイ３の右側に表示されている。ユーザが新規ページ作成アイコン３０３を押下した場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。具体的には、新規ページ作成アイコン３０３と同じアイコンと拠点名が記述された吹き出しを、押下された新規ページ作成アイコン３０３の近くに表示する。

（８）キャプチャアイコンの押下
キャプチャアイコン３０５とは、ページに表示されている画像を取り込むために押下するアイコンであり、図２１ではディスプレイ３の下部に表示されている。ユーザがキャプチャアイコン３０５を押下した場合、遠隔コンテキストを受信する拠点のコンテキスト処理部３９は遠隔コンテキストを表示する。具体的には、キャプチャアイコン３０５と同じアイコンと拠点名が記述された吹き出しをキャプチャアイコン３０５の近くに表示する。

なお、（１）〜（８）は一例に過ぎず、電子黒板２で行われる操作であれば遠隔コンテキストとして表示することができる。

ストロークやマーカーの描画のように、これからユーザ操作が画像に反映される場所の近くに操作を予告するアイコン等が表示されるので、ユーザは少なくとも同じ場所に描画することを躊躇し、描画場所が重複することなどを抑制できる。また、会議の相手がどのような操作を開始したかを事前に把握できるので、矛盾した操作を行うことを抑制できる。

実施例１にて説明したように接触センサ１１５は電子ペンか指かに関わらずスクリーンに接触する遮蔽物の座標を検知できる。実施例１にて指による描画をマーカーイベントに割り当てたように、電子ペンか指かによって操作内容を変えられたら画像処理システム１の操作性が向上する。

遮蔽物が電子ペンであることを特定するには、電子ペンのペンダウンイベントを検知すればよい。しかし、遮蔽物が指であることを特定するためにペンダウンイベントのような仕組みを利用できないので、何らかの指判別処理が必要である。また、指判別処理に時間がかかると、指であると判別されるまでの座標が描画されず、ユーザが違和感を持つおそれがある。

そこで、本実施例では、ペンダウンイベントを用いずに指判別処理を行い、ユーザが違和感を覚えにくい画像処理システム１について説明する。なお、本実施例において、実施例１において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する。

図２２（ａ）は、接触センサ１１５の概略構成図を示す。接触センサ１１５が赤外線遮断方式の場合、周辺発光部１１５ａ〜１１５ｄの光を電子ペン４又は指が遮断することを２つの受光装置１１５ｆ、１１５ｇで撮影する。各受光装置１１５ｆ、１１５ｇは水平方向に一次元に並んだ受光素子を有しており、２つの受光装置１１５ｆ、１１５ｇのそれぞれでどの受光素子が光の遮断を検知したかにより、三角測量の原理で電子ペン４又は指の座標を検出する。図では４つの受光装置１１５ｅ〜１１５ｈがあるが、受光装置は最低２つあればよい。また、周辺発光部１１５ａ〜１１５ｄは再帰性反射板でもよく、この場合は受光装置１１５ｅ〜１１５ｈが発光機能を有している。

図２２（ｂ）は接触センサ１１５の側面図を示す。周辺発光部１１５ａ〜１１５ｄはディスプレイ３よりも手前から検知エリアを形成しているため、電子ペン４がディスプレイ３に接触する前に受光装置１１５ｅ〜１１５ｈは電子ペンを撮影する（接触検知影像イベント）。その後、電子ペン４がディスプレイ３に接触するとペンダウンイベントが検知される。したがって、接触センサ１１５が遮光を検出してからペンダウンイベントが検知されるまでに時間的な遅延が生じる。なお、検知エリアは、特許請求の範囲の表示面の一例である。

一方、ユーザが指でディスプレイ３に触れる場合、時間が経過してもペンダウンイベントが検知されることはない。本実施例ではこの時間を利用して、マーカーイベントを検知する。また、時間が経過する前に座標をキューイングしておくことで、指による書き始めから座標をマーカーとして描画する。

図２３は、指判別部２９-１が指による描画であることを判別しマーカーを描画する手順を示すフローチャート図の一例である。

イベント振分部２５は座標検知部２２が座標を検知したという接触検知影像イベントを取得し指判別部２９-１に通知する（Ｓ２１０）。

指判別部２９-１は座標検知部２２に撮影画像の太さを問い合わせ、太さがゼロと見なせる程度か否かを判定する（Ｓ２１１）。撮影画像の太さとは、遮光された領域の広さであり、受光装置１１５ｅ〜１１５ｈの受光素子のうち光を検知しなくなった受光素子の数などにより判断される。なお、受光装置は２つあるので、２つの受光装置の受光素子の数の平均などで判断すればよい。太さがゼロと見なせるか否かを判定することで、ノイズにより遮光を検出した場合を排除し、指が遮光したことを検知できる。

太さがゼロと見なせない場合（Ｓ２１１のＮｏ）、指判別部２９-１はペンダウン中か否かを判定する（Ｓ２１２）。すなわち、ペンダウンイベントが検出されているか否かが検出され、ペンダウン中であれば指でなく電子ペン４がディスプレイ３に触れていると判定できる。なお、ペンダウンイベントは特許請求の範囲の接触情報の一例である。

ペンダウン中でない場合（Ｓ２１２のＮｏ）、指判別部２９-１はジェスチャ中か否かを判定する（Ｓ２１３）。ジェスチャとは、拡大や縮小、ページめくりなどに対応する操作であり、ジェスチャ中とはジェスチャが検出されている過程であることをいう。ジェスチャ処理部がジェスチャを検出している間は、ジェスチャ中であると判定される。

一方、太さがゼロと見なせる場合（Ｓ２１１のＹｅｓ）、ペンダウン中の場合（Ｓ２１２のＹｅｓ）、又は、ジェスチャ中の場合（Ｓ２１３のＹｅｓ）、指判別部２９-１はマーカー描画中か否かを判定する（Ｓ２１４）。ステップＳ２１１〜Ｓ２１３の判定結果により指以外の物が遮光している可能性が高いと判定できるが、直前まで、ユーザがマーカー描画中である場合、それまでに描画された座標をマーカーの座標として、マーカー処理部３８がサーバ機９０に送信する（Ｓ２１５）。これにより、全てのマーカーの座標を共有できる。

ステップＳ２１３に戻り、ジェスチャ中でない場合（Ｓ２１３のＮｏ）、指判別部２９-１は指入力開始待機タイマー２９-２がスタートしているか否かを判定する（Ｓ２１６）。

指入力開始待機タイマー２９-２がスタートしていない場合（Ｓ２１６のＮｏ）、指判別部２９-１は指入力開始待機タイマー２９-２をスタートする（Ｓ２１７）。

指入力開始待機タイマー２９-２がスタートしている場合（Ｓ２１６のＹｅｓ）、指判別部２９-１は取得座標をキューの末尾に追加する（Ｓ２１８）。

次に、指判別部２９-１は指入力開始待機タイマー２９-２がタイムアウトしたか否かを判定する（Ｓ２１９）。タイムアウトの時間は、座標検知部２２の検知エリアに指が侵入してからディスプレイ３に触れるまでなので例えば数百ミリ秒とする。タイムアウトしていない場合はステップＳ２１０からの処理を繰り返す。

タイムアウトした場合（Ｓ２１９のＹｅｓ）、指判別部２９-１はキューの先頭と、最末尾の点の距離を算出し、指の移動距離が閾値（例えば、５０〔ｐｘ〕）より大きいか否かを判定する（Ｓ２１９−２）。経過時間に加えて移動距離を判別することで、書き迷いなどの速度変化の小さい動作による不要なマーカー表示を抑制できる。

指の移動距離が閾値より大きい場合（Ｓ２１９−２のＹｅｓ）、指判別部２９-１は指による描画であると判定し、マーカーイベントが発生する（Ｓ２２０）。

次に、マーカー処理部３８は、キューに座標データがあるか否かを判定する（Ｓ２２１）。

キューに座標データがある場合（Ｓ２２１のＹｅｓ）、マーカー処理部３８はキューの座標を先頭から線で連結してマーカーを描画する（Ｓ２２２）。線色は、参加拠点管理テーブルに登録された拠点色とする。これにより各拠点でどの拠点がマーカー描画したかを区別できる。また、マーカー線は電子ペンのストロークと区別できるように、ストロークよりも太い例えば20pxの太さとする。ただし、背景画像が視認できるように透過度を40%程度にしてもよい。また、描画したあとは、ユーザの操作を阻害しないように自動で消去されてよい。この場合、たとえば3秒表示後、1秒間かけてフェードアウトするようなエフェクトで消去することが好ましい。

キューに座標データがない場合（Ｓ２２１のＮｏ）、マーカー処理部３８は最後尾座標と取得座標を線で連結してマーカーを描画する（Ｓ２２３）。

次に、マーカー処理部３８は取得座標を最後尾座標として保存する（Ｓ２２４）。

したがって、本実施例によれば、各拠点が指による描画をマーカーとして送信することで、電子ペン４でなく指を使用するという簡単な操作で、異なる態様で描画内容を表示できる。例えば、マーカーをストロークよりも太く描画すれば、強調したい議題などを簡単に示すことができるようになる。また、電子ペン４ではなく指で描画すればよいので、ユーザにとって自然な操作で実現できる。

実施例１，２ではジェスチャについて触れたが、従来、拡大・縮小のジェスチャは、ジェスチャ操作を行った拠点でのみ有効であり、他の拠点と共有されていなかった。

しかしながら、拠点Ａがページデータを拡大したためディスプレイ３に表示しきれない領域が生じた場合に、拠点Ｂでは拡大していないためストロークやマーカーを書き込んだ領域が拠点Ａで表示されない場合があった。また、ストロークやマーカーだけでなく、画面が拡大されている場合、表示位置によっては実施例１の遠隔コンテキストも表示されない場合がある。

そこで、本実施例では、ジェスチャによる拡大・縮小の操作を各拠点と共有する画像処理システム１について説明する。

図２４は、本実施例の電子黒板の機能ブロック図の一例である。図３に示した機能ブロック図のうち指判別部２９-１、指入力開始待機タイマー２９-２、マーカー処理部３８、及び、コンテキスト処理部３９を有さない構成となっている。

ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたイベントに対し、ジェスチャの内容に対応したアフィン変換行列を作成する。アフェイン変換行列により、点のスケーリング（拡大・縮小）、回転、反転、及び、平行移動を表すことができる。本実施例は主に、拡大・縮小、並行移動を行うアフィン変換行列が作成される。なお、アフィン変換行列は特許請求の範囲の操作情報の一例である。

図２５（ａ）はアフィン変換行列の一例を示す。アフィン変換行列は３×３の行列で表すことができ、左上の２×２の行列で拡大・縮小を、左下の１×２行列で平行移動を表すことができる。図２５（ａ）の例では座標（ｘ、ｙ）をｘ方向に３倍して（ｙ方向はそのまま）、ｘ方向に３，ｙ方向に４、平行移動している。したがって、操作元の拠点がアフィン変換行列を他の拠点に送信することで、他の拠点も同じように拡大・縮小、平行移動することが可能である。

図２５（ｂ）はアフィン変換行列が点（２、１）に適用された場合の移動例を示している。点（２，１）が点（９，５）に表示されるが、これはアフィン変換行列の計算結果と一致する。

ジェスチャ処理部２７が作成したアフィン変換行列は画像処理部３０に出力され、ジェスチャが反映された画像がディスプレイ３に表示される。また、アフィン変換行列はページデータ記憶部３００に記憶される。操作拠点の遠隔操作送信部６５はアフィン変換行列を通信制御部７０の遠隔操作受信部７５に送信し、遠隔操作処理部８３を介して遠隔操作送信部７６が、他の拠点のクライアント機２０の遠隔操作受信部７５にアフィン変換行列を送信する。他の拠点の画像処理部３０は、ジェスチャが反映された画像がディスプレイ３に表示する。

図２６は、２つの拠点でジェスチャを共有する手順を示すフローチャート図の一例である。以下では、操作元をＡ拠点、ジェスチャを受信する拠点をＢ拠点として説明する。

まず、Ａ拠点のジェスチャ処理部２７はジェスチャを検出してアフィン変換行列を作成する（Ｓ３１０）。

次に、画像処理部３０のページ処理部３７はディスプレイ３に表示されている座標にアフィン変換を施すことで、ジェスチャが反映された画像をディスプレイ３に表示する（Ｓ３２０）。なお、アフェイン変換行列を送信するためアフィン変換行列はページと対応づけてページデータ記憶部３００に記憶される。

Ａ拠点はアフィン変換行列をＢ拠点に送信する（Ｓ３３０）。具体的には、Ａ拠点のクライアント機２０の遠隔操作送信部６５がアフィン変換行列をサーバ機９０に出力する。サーバ機の遠隔操作受信部７５はアフィン変換行列を受信して遠隔操作処理部８３に出力する。遠隔操作処理部８３は、参加拠点管理テーブルに登録されているＢ拠点のＩＰアドレスを読み出し、Ａ拠点の拠点識別情報とアフィン変換行列を遠隔操作送信部７６に出力する。これにより、遠隔操作送信部７６は、Ｂ拠点の遠隔操作受信部６６にＡ拠点の拠点識別情報とアフィン変換行列を送信する。

Ｂ拠点の遠隔操作受信部６６はアフィン変換行列を受信する（Ｓ３４０）。アフィン変換行列はＢ拠点の画像処理部３０に出力され、画像処理部３０はアフィン変換行列をページデータ記憶部３００に記憶する。

Ｂ拠点のページ処理部３７はページにすぐにアフィン変換行列を行うのでなく、Ａ拠点でイベントが検出されているか否かを判定する（Ｓ３５０）。これは、Ａ拠点でストロークやマーカーなどを描画している場合、Ｂ拠点でアフィン変換行列による拡大・縮小、平行移動すると、Ａ拠点で入力された座標の表示位置を変更する必要が生じるためである。

このため、ページ処理部３７は遠隔操作受信部６６が以下のイベントを受信したか否かを判定する。これらは主にページの表示内容が変更されるイベントである。
・ペンダウンイベント
・マーカーイベント
・ジェスチャ中
・リモートＰＣ操作イベント
なお、リモートＰＣ操作とは、ＰＣ６の映像をディスプレイ３に表示した状態で、座標検知部が検出した座標に基づきＰＣ６を操作することをいう。すなわち、ユーザはディスプレイ３に対する操作でＰＣ６を操作（アプリケーション起ち上げ、ウィンドウ開閉、ファイル選択など）することができる。また、ペンダウンイベントには、ストロークの消去、ストロークの変倍、ストロークの移動が含まれる。

これらのイベントが検知されている場合（Ｓ３５０のＹｅｓ）、ページ処理部３７は１秒間待機する（Ｓ３６０）。１秒間とは一例であり、Ａ拠点のイベントが途切れることを検出できる時間であればよい。

イベントが検知されない場合（Ｓ３５０のＮｏ）、ページ処理部３７はページデータ記憶部３００に記憶しておいたアフィン変換行列をページに適用してジェスチャが反映された画像をディスプレイ３に表示する（Ｓ３７０）。

以上のように、本実施例の画像処理システムはジェスチャについても他の拠点と共有でき、各拠点のユーザがページの同じ場所を視認できるようになる。また、ジェスチャを行った拠点のイベント待ちすることで、適切なタイミングで拡大・縮小などを行うことができる。

１ 画像処理システム
２ 電子黒板（画像処理装置の一例）
３ ディスプレイ（表示手段の一例）
４ 電子ペン
５ ＵＳＢメモリ
６ ノートＰＣ（情報処理端末の一例）
７ テレビ会議端末
８ ＰＣ
９ 通信ネットワーク
２０ クライアント機
３０ 画像処理部
６０、７０ 通信制御部
８０ データ管理部
９０ サーバ機

特許第５０８１０８８号公報

Claims (7)

1. 画像を表示する表示手段を含む複数の情報処理装置がネットワークを介して接続された画像処理システムであって、
   第１の情報処理装置は、
   操作を受け付ける操作受け付け手段と、
   前記操作受け付け手段により受け付けられた操作を通知する操作内容通知情報を作成する操作内容通知情報作成手段と、
   前記操作の操作内容が反映された画像を第１の情報処理装置の前記表示手段に表示させる表示手段制御手段と、
   前記操作内容通知情報及び前記操作内容を第２の情報処理装置に送信する送信手段と、
   前記表示手段に対し指示手段により指示された座標を検出する座標検出手段と、
   前記座標検出手段が検出した座標に基づき前記操作受け付け手段が操作を受け付けると共に、前記座標検出手段が前記指示手段を検出した場合、時間の計測を開始する時間計測手段と、
   前記座標検出手段が検出した座標を時系列に蓄積する座標蓄積手段と、
   前記指示手段が前記表示手段へ接触したことを示す接触情報を前記指示手段から受信する接触情報受信手段と、を有し、
   前記接触情報受信手段が前記接触情報を受信する前に、前記時間計測手段が所定値以上の時間を計測した場合、前記表示手段制御手段は、前記座標蓄積手段が蓄積している座標を予め定められた態様で連結して前記表示手段に表示させ、
   前記第２の情報処理装置は、
   前記第１の情報処理装置から送信された前記操作内容通知情報を前記第２の情報処理装置の前記表示手段に表示させ、
   前記第１の情報処理装置から送信された前記操作内容に基づいて、当該操作内容が反映された画像を前記第２の情報処理装置の前記表示手段に表示する、ことを特徴とする画像処理システム。
2. 画像を表示する表示手段を含む複数の情報処理装置がネットワークを介して接続された画像処理システムであって、
   第１の情報処理装置は、
   操作を受け付ける操作受け付け手段と、
   前記表示手段に対し指示手段により指示された座標を検出する座標検出手段と、
   前記操作受け付け手段により受け付けられた操作を通知する操作内容通知情報を作成する操作内容通知情報作成手段と、
   前記操作の操作内容が反映された画像を前記第１の情報処理装置の前記表示手段に表示させる表示手段制御手段と、
   前記操作内容通知情報及び前記操作内容を第２の情報処理装置に送信する送信手段と、を有し、
   前記第２の情報処理装置は、
   前記第１の情報処理装置から送信された前記操作内容通知情報を前記第２の情報処理装置の前記表示手段に表示させ、
   前記第１の情報処理装置から送信された前記操作内容に基づいて、当該操作内容が反映された画像を前記第２の情報処理装置の前記表示手段に表示し、
   前記操作内容通知情報は、前記第１の情報処理装置の識別情報及び前記操作受け付け手段が操作を受け付けた際に前記座標検出手段が検出した座標を含み、
   前記第２の情報処理装置の前記表示手段の、前記操作内容通知情報に含まれる座標の周辺に、前記識別情報と前記操作内容通知情報を表示させる、
   ことを特徴とする画像処理システム。
3. 前記第２の情報処理装置は、前記第２の情報処理装置の前記表示手段の、前記操作内容通知情報に応じて予め定められた場所に、前記識別情報と前記操作内容通知情報を表示させる、ことを特徴とする請求項２に記載の画像処理システム。
4. 前記第２の情報処理装置の表示手段に表示した前記識別情報と前記操作内容通知情報を、第１の所定時間表示した後、第２の所定時間をかけて徐々に消去する、ことを特徴とする請求項２又は３に記載の画像処理システム。
5. 前記情報処理装置は、
   通信先の前記情報処理装置の識別情報に対応づけて、通信先の前記情報処理装置の通信状態を示す通信状態情報が登録された状態記憶手段と、
   前記状態記憶手段を参照して、各情報処理装置の前記識別情報、及び、前記通信状態をリスト状に表示する情報処理装置リスト表示手段と、
   を有することを特徴とする請求項１〜４いずれか１項記載の画像処理システム。
6. 情報処理装置に対する操作を受け付ける操作受け付け手段と、
   前記操作を通知する操作内容通知情報を作成する操作内容通知情報作成手段と、
   前記操作内容通知情報を他の情報処理装置に送信した後に、前記操作の操作内容を前記他の情報処理装置に送信する送信手段と、を有し
   前記操作内容通知情報と前記操作内容が反映された画像を前記他の情報処理装置の表示手段に表示させる情報処理装置であって、
   前記操作内容が反映された画像を当該情報処理装置の表示手段に表示する表示手段制御手段と、
   前記表示手段に対し指示手段により指示された座標を検出する座標検出手段と、
   前記座標検出手段が検出した座標に基づき前記操作受け付け手段が操作を受け付けると共に、前記座標検出手段が前記指示手段を検出した場合、時間の計測を開始する時間計測手段と、
   前記座標検出手段が検出した座標を時系列に蓄積する座標蓄積手段と、
   前記指示手段が前記表示手段へ接触したことを示す接触情報を前記指示手段から受信する接触情報受信手段と、を有し、
   前記接触情報受信手段が前記接触情報を受信する前に、前記時間計測手段が所定値以上の時間を計測した場合、前記表示手段制御手段は、前記座標蓄積手段が蓄積している座標を予め定められた態様で連結して前記表示手段に表示させることを特徴とする情報処理装置。
7. 情報処理装置に対する操作を受け付ける操作受け付け手段と、
   画像を表示する表示手段と、
   前記表示手段に対し指示手段により指示された座標を検出する座標検出手段と、
   前記操作を通知する操作内容通知情報を作成する操作内容通知情報作成手段と、
   前記操作内容通知情報を他の情報処理装置に送信した後に、前記操作の操作内容を前記他の情報処理装置に送信する送信手段と、を有し
   前記操作内容通知情報と前記操作内容が反映された画像を前記他の情報処理装置の表示手段に表示させる情報処理装置であって、
   前記操作内容が反映された画像を当該情報処理装置の表示手段に表示する表示手段制御手段、を有し、
   前記操作内容通知情報は、当該情報処理装置の識別情報及び前記操作受け付け手段が操作を受け付けた際に前記座標検出手段が検出した座標を含み、
   前記他の情報処理装置の前記表示手段の、前記操作内容通知情報に含まれる座標の周辺に、前記識別情報と前記操作内容通知情報を表示させることを特徴とする情報処理装置。

Images