<画像処理システム1の概要>
先ず、本発明に係る画像処理装置および画像処理システムの一実施例としての実施例1の画像処理装置(電子黒板2)およびそれを用いた画像処理システム1の構成を、図1を用いて説明する。その図1は、本実施形態の実施例1の画像処理システムの全体構成図である。なお、図1(実施例1の画像処理システム1)では、説明を簡略化するために、2台の電子黒板(画像処理装置)2a、2bと、これに付随する電子ペン4a、4b等と、を示している。しかしながら、画像処理システム1は、3台以上の電子黒板(画像処理装置)や電子ペン等を利用するものであってもよく、実施例1の構成に限定されるものではない。また、図1(実施例1の画像処理システム1)では、説明を簡略化するために、3台のPC8(第2の表示装置)を示している。しかしながら、画像処理システム1は、1台もしくは2台の第2の表示装置、あるいは4台以上の第2の表示装置を利用するものであってもよく、実施例1の構成に限定されるものではない。
画像処理システム1は、図1に示すように、画像処理装置としての2台の電子黒板2a、2bと、第2の表示装置としての3台のPC(Personal Computer)8a、8b、8cと、を備える。その画像処理システム1は、電子黒板2a、2bと、PC8a、8b、8cと、が通信ネットワーク9を介して通信可能に接続されて構成されている。その各電子黒板2a、2bは、電子ペン4a、4b、USBメモリ5a、5b、ノートPC(Personal Computer)6a、6b、およびテレビ(ビデオ)会議端末7a、7bからの信号の受信が可能とされている。また、各電子黒板2a、2bには、それぞれ第1の表示装置としてのディスプレイ3a、3bが設けられている。
画像処理システム1の一の拠点となる電子黒板2aは、電子ペン4aによって生じたイベントにより描画された画像(画像データ)を、ディスプレイ3aに表示させることができる。そのイベントとは、ディスプレイ3aに電子ペン4aのペン先、または電子ペン4aのペン尻によるタッチ(接触)が行われることを言う。なお、電子黒板2aでは、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベントに基づいて、ディスプレイ3a上に表示されている画像(画像データ)を変更させることもできる。その手Ha等によるイベントとは、画像の拡大および縮小、画像におけるページめくり等のジェスチャ(ジェスチャ操作)である。
その電子黒板2aには、USBメモリ5aが接続可能とされている。電子黒板2aは、接続されたUSBメモリ5aからPDF等の電子ファイルを読み出したり、接続されたUSBメモリ5aに電子ファイルを記憶したりすることができる。
また、電子黒板2aには、ケーブル10a1を介してノートPC6aが接続されている。そのケーブル10a1は、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High−Definition Multimedia Interface)等の規格による通信が可能とされている。加えて、ケーブル10a1は、VGA(Video Graphics Array)の規格による通信が可能とされている。
そして、電子黒板2aでは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置によるイベントと同様に、ノートPC6aに送信する。同じく、電子黒板2aには、上記した規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、およびテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信するものとしてもよい。
一方、電子黒板2bが設置されている他の拠点では、電子黒板2aと同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。さらに、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像(画像データ)を変更させることもできる。
これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像(画像データ)は、他の拠点で電子黒板2bのディスプレイ3b上にも表示される。また、逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像(画像データ)は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像(画像データ)を共有する遠隔共有処理を行うことができ、遠隔地での会議等に用いると非常に便利である。
各PC8a、8b、8cは、上述したように、通信ネットワーク9を介して2台の電子黒板2a、2bと通信可能に接続されて画像処理システム1を構成している。この各PC8a、8b、8cでは、ディスプレイ3a、3b上に表示された画像のデータ(後述する送信用画像データ)が通信ネットワーク9を介してブラウザに送信されることで、そのデータに基づく画像を表示させることが可能とされている。これにより、各PC8a、8b、8cは、ディスプレイ3に表示されている画像(画像データ)を閲覧することが可能となる。この各PC8a、8b、8cは、画像処理システム1においては、画像処理装置としての電子黒板2a、2bの制御下で、ディスプレイ3に表示されている画像(画像データ)の閲覧のみが可能とされており、画像処理システム1における第2の表示装置として機能する。
なお、以下では、複数の電子黒板(実施例1では2台)のうち任意の電子黒板を示す場合には「電子黒板2」と示す。また、複数のPC(第2の表示装置)(実施例1では3台)のうち任意のPCを示す場合には「PC8」と示す。複数のディスプレイ(実施例1では2つ)のうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペン(実施例1では2つ)のうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリ(実施例1では2つ)のうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPC(実施例1では2台)のうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末(実施例1では2台)のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手(図1では2つ)のうち任意の手を示す場合には「手H」と示す。複数のケーブル(実施例1ではそれぞれ2本)のうち任意のケーブルを示す場合には「ケーブル10」と示す。
また、実施例1(本実施形態)では、画像処理装置の一例として電子黒板2を用いた例を説明しているが、実施例1(本実施形態)の構成に限定されるものではない。その画像処理装置の他の例としては、電子看板(デジタルサイネージ)や、スポーツや天気予報等で利用されるテレストレータや、遠隔画像(映像)診断装置等があげられる。また、実施例1(本実施形態)では、情報処理端末の一例としてノートPC6を用いた例を説明しているが、実施例1(本実施形態)の構成に限定されるものではない。その情報処理端末の他の例としては、デスクトップ型PCや、タブレット型PCや、PDAや、デジタルビデオカメラや、デジタルカメラや、ゲーム機等の画像フレーム(画像データ)を供給可能な端末があげられる。
さらに、実施例1(本実施形態)では、第2の表示装置の一例としてPC8を用いた例を説明しているが、実施例1(本実施形態)の構成に限定されるものではない。その第2の表示装置の他の例としては、デスクトップ型PCや、タブレット型PCや、PDAや、デジタルビデオカメラや、デジタルカメラや、ゲーム機等の画像データを表示可能な端末があげられる。ついで、通信ネットワーク9には、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、実施例1(本実施形態)では、記録媒体の一例として、USBメモリ5を用いた例を説明しているが、SDカード等の各種記録メディアを用いるものであってもよく、この実施例1(本実施形態)に限定されるものではない。
<電子黒板2のハードウェア構成>
続いて、図2を用いて、画像処理装置の一例としての本実施形態の実施例1の電子黒板2におけるハードウェア構成について説明する。なお、図2は、電子黒板2のハードウェア構成図である。
電子黒板2は、図2に示すように、CPU101と、ROM102と、RAM103と、SSD(Solid State Drive)104と、ネットワークコントローラ105と、外部記憶コントローラ106と、を備える。そのCPU101は、電子黒板2全体の動作を制御する。ROM102は、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板2全体の動作のためのプログラム等の各種データを記憶する。ネットワークコントローラ105は、通信ネットワーク9との通信を制御する。外部記憶コントローラ106は、接続されたUSBメモリ5との通信を制御する。
また、電子黒板2は、キャプチャデバイス111と、GPU(Graphics Processing Unit)112と、ディスプレイコントローラ113と、を備える。そのキャプチャデバイス111は、ノートPC6のディスプレイに対して映像情報を静止画または動画として表示させる。GPU112は、グラフィクスを専門に扱う計算処理部である。ディスプレイコントローラ113は、GPU112からの出力画像(画像データ)をディスプレイ3やテレビ会議端末7へ出力するために画面(画像)表示の制御および管理を行う。
さらに、電子黒板2は、センサコントローラ114と、接触センサ115と、を備える。そのセンサコントローラ114は、接触センサ115の処理を制御する。接触センサ115は、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する。この接触センサ115は、実施例1では、赤外線遮断方式により座標の入力および座標の検出を行う。詳細には、接触センサ115では、ディスプレイ3の上側両端部に設置された2つ受発光装置(図示せず)が、ディスプレイ3と平行に複数の赤外線を放射する。そして、接触センサ115では、その複数の赤外線が、ディスプレイ3の周囲に設けられた反射部材によって反射されて、放射した光の光路と同一の光路上を戻ってくる光を受光素子で受光する。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線の識別情報としてのID(Identification)をセンサコントローラ114に出力(通知)する。すると、センサコントローラ114は、そのID(識別情報)に基づいて物体の接触位置である座標位置を特定する。なお、以下に示す全てのIDは、識別情報の一例である。
なお、接触センサ115では、実施例1では赤外線遮断方式を用いていたが、この実施例1の方式(構成)に限定されるものではない。その他の方式(構成)としては、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルをディスプレイ3(第1の表示装置)に用いることが挙げられる。また、その他の方式(構成)としては、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルをディスプレイ3(第1の表示装置)に用いることが挙げられる。さらに、その他の方式(構成)としては、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルをディスプレイ3(第1の表示装置)に用いることが挙げられる。
また、電子黒板2は、電子ペンコントローラ116を備える。この電子ペンコントローラ116は、電子ペン4と通信することで、当該電子ペン4のディスプレイ3へのペン先のタッチ(接触)やペン尻のタッチ(接触)の有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先およびペン尻だけでなく、電子ペン4におけるユーザが握る部分や、電子ペン4におけるその他の部分へのタッチ(接触)の有無を判断するようにしてもよい。
その電子黒板2は、アドレスバスやデータバス等のバスライン120を備える。そのバスライン120は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、および外部記憶コントローラ106を、電気的に接続する。さらに、バスライン120は、それらに加えて、キャプチャデバイス111、GPU112、センサコントローラ114および電子ペンコントローラ116を、電気的に接続する。
なお、実施例1では、電子黒板2全体の動作のためのプログラムを、SSD104に記憶させていたが、そのプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
<電子黒板2の機能構成>
続いて、図3から図16を用いて、電子黒板2の機能構成について説明する。先ずは、図3を用いて、電子黒板2の全体的な機能構成について説明する。図3は、電子黒板2の機能ブロック図である。
電子黒板2は、上述した図2に示すハードウェア構成およびプログラムによって、図3に示す各機能構成を有する。この電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得るとともに、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。電子黒板2は、大きく分けて、クライアント部20およびサーバ部90の両方により構成されている。すなわち、電子黒板2では、1台の筐体内に、クライアント部20とサーバ部90とが設けられている。そのクライアント部20およびサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2では、当該電子黒板2が主催装置となる場合には、クライアント部20とサーバ部90とが実現される。また、電子黒板2では、当該電子黒板2が参加装置となる場合には、クライアント部20は実現されるが、サーバ部90は実現されない。すなわち、図1において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。先ず、主に図3から図5を用いて、クライアント部20の機能構成について説明する。
〔クライアント部20の機能構成〕
クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、通信制御部60、および閲覧送信制御部500を有する。
その映像取得部21は、ケーブル10を介して電子黒板2に接続されたノートPC6等の映像出力機器から出力される映像(画像データ)を取得する。映像取得部21は、映像出力機器(ノートPC6等)から画像信号(画像データ)を受信(取得)すると、この画像信号を解析する。そして、映像取得部21は、画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、その画像フレームの更新頻度等の画像情報を導出し、それらを画像処理部30の後述する画像取得部31に出力する。
座標検知部22は、ディスプレイ3上でユーザにより生じたイベントの座標位置、すなわちディスプレイ3上においてタッチ(接触)された動作等の座標位置を検出する。また、座標検知部22は、ディスプレイ3上においてタッチ(接触)された面積も検出する。
自動調整部23は、座標検知部22の調整を自動で行うものであり、その調整を電子黒板2の起動時に実行する。すなわち、自動調整部23は、電子黒板2の起動時に起動され、接触センサ115が座標検知部22へと適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
接触検知部24は、ユーザによって生じたイベントを検出する。すなわち、接触検知部24は、ディスプレイ3上に電子ペン4のペン先、または電子ペン4のペン尻が押下(タッチ(接触))した動作等を検出する。
イベント振分部25は、ユーザによって生じたイベントを、ストローク描画操作、UI(ユーザーインターフェース)操作、およびジェスチャ操作の各イベントに振り分ける。そのイベント振分部25は、その振り分けを、座標検知部22によって検知されたイベントの座標位置と、接触検知部24によって検出された検出結果と、に基づいて行う。
そのストローク描画操作とは、ユーザが、電子ペン4や手Hによりディスプレイ3上に描画する操作である。すなわち、ストローク描画操作は、ディスプレイ3上に図16に示す後述のストローク画像(B)が表示されている場合に、ユーザによるディスプレイ3上での電子ペン4の次の動作となる。ストローク描画操作は、ディスプレイ3上で電子ペン4が押下(接触)され、この押下した状態で電子ペン4が移動され、最終的にディスプレイ3上から電子ペン4が離れるまでのイベントである。このストローク描画操作により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、このストローク描画操作には、画像(画像データ)を描画するだけではなく、既に描画された画像(画像データ)を削除したり、描画された画像(画像データ)を編集するイベントも含まれる。
UI操作は、ユーザがUI画像(図16の後述するUI画像(A)参照)上で行う操作である。このUI操作としては、例えば、電子ペン4により描画される線の色や幅等を設定するための操作が挙げられる。ジェスチャ操作は、ユーザがジェスチャにより行う操作である。このジェスチャ操作としては、例えば、ユーザがディスプレイ3に手Hを接触させた状態でその手Hを移動させることで、画像の拡大(もしくは縮小)、表示領域の変更、またはページ切り替え等を行うための操作が挙げられる。
操作処理部26は、イベント振分部25によってUI操作と判断(振り分け)されたものから、イベントを生じさせたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断(振り分け)されたものに対応した操作を実行する。
映像重畳部28は、画像処理部30の後述する表示重畳部36で重畳(合成)された画像(画像データ)を映像として映像出力機器(ディスプレイ3等)に対して表示させる。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャ(画面(画像)の一部に、小さな画面(画像)を別表示すること)する。さらに、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
画像処理部30は、各画像レイヤの重畳(合成)処理等(図16参照)を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、およびファイル処理部40を有する。加えて、画像処理部30は、ページデータ記憶部300、および遠隔ライセンス管理テーブル310を有する。
その画像取得部31は、映像取得部21で取得した映像から、その各フレームを画像(画像データ)として取得する。この画像(画像データ)は、重畳処理される各画像レイヤにおいて、映像出力機器(ノートPC6等)からの出力画像(C)(図16参照)に相当する。
ストローク処理部32は、イベント振分部25によって振り分け(判断)られたストローク描画操作に係るイベント基づいて、画像(画像データ)を描画したり、描画された画像(画像データ)を削除したり、描画された画像(画像データ)を編集したりする。そのストローク描画操作は、上述したように、電子ペン4のペン先のディスプレイ3へのタッチ(接触)、電子ペン4のペン尻のディスプレイ3へのタッチ(接触)、ユーザの手Hによるディスプレイ3へのタッチ(接触)等である。このストローク描画操作によって描画された画像は、重畳処理される各画像レイヤにおけるストローク画像(B)(図16参照)に相当する。また、このストローク処理部32により行われたストローク等に基づいた画像の描画、削除、編集の各結果は、後述する操作データとして、後述する操作データ記憶部840(図5参照)に記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザーインターフェース)画像を生成する。このUI画像は、重畳処理される各画像レイヤにおけるUI画像(A)(図16参照)に相当する。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。そして、背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。そのメディアデータによる画像は、重畳処理される各画像レイヤにおける背景画像(D)(図16参照)に相当する。背景画像のパターン(種類)としては、無地、グリッド表示等がある。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32およびUI画像生成部33(または背景生成部34)から出力された各画像(各画像レイヤ)のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)およびストローク画像(B)を、UI画像(A)および背景画像(D)中のどの位置に表示させるかまたは非表示にさせるか等を指示することができる。
表示重畳部36は、レイアウト管理部35からのレイアウト情報に基づき、画像取得部31、ストローク処理部32およびUI画像生成部33(または背景生成部34)から出力された各画像(画像データ)のレイアウトを行う。すなわち、表示重畳部36は、図16に示すように、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)および背景生成部34からの背景画像(D)を重畳する。表示重畳部36は、その重畳を、レイアウト管理部35によって指定されたレイアウトに従って行う。このように重畳された画像(画像データ)では、各画像(画像データ)が重なった状態においてユーザが見える側から順に、UI画像(A)、ストローク画像(B)、出力画像(C)、および背景画像(D)の各レイアの構成となっている。
また、表示重畳部36は、出力画像(C)と背景画像(D)を切り替えて(順番を入れ替えて)、UI画像(A)およびストローク画像(B)に対して排他的に重畳することも可能である。加えて、表示重畳部36は、次の処理を行うことができる。例えば、当初、UI画像(A)、ストローク画像(B)および出力画像(C)が表示されている状態であるとする。すると、表示重畳部36は、この状態において、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、出力画像(C)を重畳対象から外して背景画像(D)を表示させることができる。この場合に、表示重畳部36は、表示(表示させる画像)の拡大、表示(表示させる画像)の縮小、表示領域の移動(画像を表示させる位置の移動)の処理も行う。
ページ処理部37は、ストロークによる画像(B)のデータと出力画像(C)のデータとを、1つのページデータにまとめてページデータ記憶部300に記憶させる。ストローク画像(B)のデータは、ストローク配列データIDで示されるストローク配列データ(各ストロークデータ)(図6参照)として、ページデータの一部を成す。出力画像(C)のデータは、メディアデータIDで示されているメディアデータ(図6参照)として、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
また、ページ処理部37は、一旦記憶させたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストローク(ストローク画像(B))の再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
すなわち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶される。その出力画像(C)のデータは、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
ページデータ記憶部300は、ページデータを記憶する(図6等参照)。そのページデータの概念図を図6に示す。ページデータは、ディスプレイ3に表示される1ページ分のデータ(後述するストローク配列データ(各ストロークデータ)およびメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、以下では、図6から図9に分けて、ページデータの内容を説明する。
ページデータは、図6に示すように、ページデータID、開始時刻、終了時刻、ストローク配列データID、およびメディアデータIDが関連付けて記憶されている。そのページデータIDは、任意の1ページを識別するための識別情報である。開始時刻は、このページの表示を開始した時刻を示す情報である。終了時刻は、ストローク(ストローク描画操作)やジェスチャ(ジェスチャ操作)等によるページの内容の書き換えが行われなくなった時刻を示す情報である。ストローク配列データIDは、電子ペン4やユーザの手Hによるストローク(ストローク描画操作)によって生じたストローク配列データを識別するための識別情報である。メディアデータIDは、メディアデータを識別するための識別情報である。そのストローク配列データは、ストローク画像(B)(図16参照)をディスプレイ3上に表示させるためのデータである。また、メディアデータは、背景画像(D)(図16参照)をディスプレイ3上に表示させるためのデータである。
このページデータでは、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるため、ストローク配列データIDで示されるストローク配列データにおいて1つのストロークデータで一文字のアルファベット[S]が示される。すなわち、1つのストロークデータIDで識別される1つのストロークデータで一文字のアルファベット[S]が示される。ところが、ページデータでは、電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストローク配列データIDで示されるストローク配列データにおいて2つのストロークデータで一文字のアルファベット「T」が示されることになる。すなわち、2つのストロークデータIDで識別される2つのストロークデータで一文字のアルファベット[T]が示される。
そのストローク配列データは、ストローク配列データの概念図である図7に示すように、詳細な情報を有する。1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、ストロークデータID、開始時刻、終了時刻、ストロークの色、ストロークの幅、および座標配列データIDを有し、それらが関連付けて記憶されている。そのストロークデータIDは、各ストロークデータを識別するための識別情報である。開始時刻は、この1つのストロークの書き始めの時刻を示す情報である。終了時刻は、この1つのストロークの書き終わりの時刻を示す情報である。ストロークの色は、この1つのストロークの色を示す情報である。ストロークの幅は、この1つのストロークの幅を示す情報である。座標配列データIDは、ストロークの通過点の配列(それを示す座標配列データ)を識別するための識別情報である。
その座標配列データは、座標配列データの概念図である図8に示すように、詳細な情報を有する。座標配列データでは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したとき(時刻)のストロークの開始時刻からの差分の時刻(ms)、および、この1点における電子ペン4の筆圧の各情報が関連付けて記憶されている。すなわち、1つの座標配列データは、このように関連付けられた1点の情報が集まって構成されており、図7に示す1つのストロークデータにおけるストローク(ストローク描画操作)の態様を示している。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに複数の通過点を通過するため、1つの座標配列データは、これら複数の通過点の情報(複数の1点の情報)を有する。
メディアデータは、ページデータの記憶時にディスプレイ3に表示されている画像のデータであり、図9に示すように、詳細な情報を有する。この1つのメディアデータは、メディアデータの概念図であるメディアデータID、データ種類、記録時刻、X座標値、Y座標値、幅、高さ、および画像データを有し、それらが関連付けて記憶されている。メディアデータIDは、各メディアデータを識別するための識別情報である。データ種類は、このメディアデータにおける種類を示す情報である。記録時刻は、このメディアデータがページ処理部37からページデータ記憶部300に記憶された時刻を示す情報である。X座標値およびY座標値は、ページデータによって表示される画像におけるメディアデータ(その基準位置)のディスプレイ3上での位置を示す情報である。幅および高さは、ページデータによって表示される画像におけるメディアデータの幅および高さ、すなわちメディアデータのディスプレイ3上に表示された際の大きさを示す情報である。画像データは、メディアデータの内容(メディアデータにおける画像)を示す情報である。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値、Y座標値)=(0、0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。このメディアデータは、例えば、ディスプレイ3上に、背景画像(D)とストローク画像(B)とが表示されている場合には、背景画像(D)のデータとストローク画像(B)のデータとの両方を意味する。また、メディアデータは、例えば、ディスプレイ3上に、背景画像(D)が表示されず、ストローク画像(B)のみが表示されている場合には、ストローク画像(B)のデータを意味する。
遠隔ライセンス管理テーブル310(図3参照)は、遠隔共有処理を実行するために必要なライセンス情報を管理する。この遠隔ライセンス管理テーブル310では、図10に示すように、プロダクトID、ライセンスID、および有効期限を有し、それらが関連付けて記憶されている。そのプロダクトIDは、電子黒板2を識別するための識別情報である。ライセンスIDは、認証に用いられるライセンスを識別するための識別情報である。有効期限は、ライセンスの有効期限を示す情報である。
(ファイル処理部40の機能構成)
続いて、図4を用いて、図3に示す画像処理部30のファイル処理部40の機能構成について説明する。その図4は、ファイル処理部40の機能ブロック図である。なお、以下では、最初に遠隔共有処理を開始する電子黒板2を「主催装置」とし、かつ既に開始されている遠隔共有処理に後から参加する電子黒板2を「参加装置」とする。
ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44およびアドレス帳入力部45を有する。また、ファイル処理部40は、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、設定ファイル出力部49bおよびアドレス帳入力部50を有している。さらに、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430および接続先管理テーブル440を有している。
このうち、リカバリ処理部41は、電子黒板2が異常終了した後に、その異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。このリカバリ処理部41は、復旧した未保存のページデータをページデータ記憶部300に記憶させる。
ファイル入力部42aは、USBメモリ5から、PDFファイル(PDF形式のファイル)を読み込み、その各ページをページデータとして取り込む。このファイル入力部42aは、取り込んだページデータをページデータ記憶部300に記憶させる。
ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、適宜読み出してPDF形式のファイルに変換する。
ファイル出力部42bは、ファイル変換部43によって変換(生成)されたPDFファイルをUSBメモリ5へと出力して記憶させる。
ファイル送信部44は、ファイル変換部43によって変換(生成)されたPDFファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部36(図3参照)によってディスプレイ3上にアドレス帳管理テーブル410の内容が表示され、そのディスプレイ3上でユーザにより選択された宛先をファイル送信部44が受け付けることによって決定される。そのディスプレイ3上でのユーザによる選択は、タッチパネル等の入力装置の操作により行われる。そのアドレス帳管理テーブル410には、図11に示すように、宛先の名前および宛先の電子メールのメールアドレス(その情報)が関連付けて管理(記憶)されている。また、ファイル送信部44は、ユーザがタッチパネル等の入力装置の操作により宛先として入力したメールアドレスを受け付けることにより、ファイルの送信先を決定することもできる。
アドレス帳入力部45は、図4に示すように、USBメモリ5から電子メールアドレスの一覧ファイル(アドレス帳)を読み込み、その読み込んだ一覧ファイルをアドレス帳管理テーブル410に記憶させて管理する。そのUSBメモリ5からの電子メールアドレスの一覧ファイル(アドレス帳)は、CSV(Comma−Separated Variables)形式とされている。
バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420にバックアップデータとして記憶させる。これにより、バックアップ処理部46は、それらのファイルをバックアップする。このため、バックアップ処理部46によるこの動作がバックアップの処理となる。なお、ユーザがバックアップ設定しない場合は、バックアップ処理部46は、このようなバックアップの処理は行わない。そのバックアップデータは、図12に示すように、バックアップデータ記憶部420にPDF形式で記憶される。
バックアップ出力部47は、図4に示すように、バックアップされたファイルすなわちバックアップデータ記憶部420に記憶されたバックアップデータを読み出して、USBメモリ5に記憶する。この記憶、すなわちバックアップデータ記憶部420のバックアップデータをUSBメモリ5に記憶させることには、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためのパスワードの入力が必要な設定としている。そのUSBメモリ5に記憶されるバックアップデータは、PDF形式とされている。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、またはDNS(Domain Name System)の設定等である。設定管理部48は、電子黒板2の各種設定情報(その設定ファイル)を設定ファイル記憶部430に適宜記憶させることでき、それらを設定ファイル記憶部430から適宜読み出すことができる。
設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイル(電子黒板2の各種設定情報)を読み込み、読み込んだ各種設定情報を電子黒板2の各種設定に反映させる。また、設定ファイル入力部49aは、読み込んだ電子黒板2の各種設定情報(その設定ファイル)を、設定管理部48へと出力する。
設定ファイル出力部49bは、設定管理部48から読み込んだ電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に出力して記憶させる。なお、この設定ファイル(電子黒板2の各種設定情報)は、ユーザが中身を見ることができないように、アクセス制限等によりセキュリティーを確保している。
アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイル(接続先リスト)を読み込み、接続先管理テーブル440に記憶させて管理する。そのUSBメモリ5からの遠隔共有処理の接続先IPアドレスの一覧ファイル(接続先リスト)は、CSV形式とされている。その接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合に、次のように機能するテーブルである。接続先管理テーブル440は、この参加装置(電子黒板2)のユーザが、主催装置としての役割を果たす電子黒板2のIPアドレスを入力する手間を削減するために、図13に示すように、それらを予め管理しておく。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、および主催装置としての電子黒板2のIPアドレスが関連付けて管理(記憶)されている。
なお、接続先管理テーブル440は、無くてもよい。但し、この場合には、参加装置(電子黒板2)のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。このため、参加装置のユーザは、電話や電子メール等によって、主催装置(電子黒板2)のユーザから、主催装置としての電子黒板2のIPアドレスを知得する必要がある。
(通信制御部60の機能構成)
次に、図5を用いて、画像処理部30の通信制御部60の機能構成について説明する。通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、同じ電子黒板2のサーバ部90における後述する通信制御部70と行う通信を、制御する。ここで、他の電子黒板2とは、説明対象としての機能部(前文では通信制御部60)が設けられていない電子黒板2を言い、同じ電子黒板2とは、説明対象としての機能部が設けられた電子黒板2を言う。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、および参加拠点管理テーブル610を有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、新たに遠隔共有処理を開始する要求を行い、当該サーバ部90から要求の結果を受信する。この遠隔開始処理部61は、画像処理部30の遠隔ライセンス管理テーブル310を参照し、そこにライセンス情報(プロダクトID、ライセンスID、および有効期限)が管理されている場合には、上記した遠隔共有処理を開始する要求を行うことができる。また、遠隔開始処理部61は、遠隔ライセンス管理テーブル310にライセンス情報が管理されていない場合には、上記した遠隔共有処理を開始する要求を行うことができない。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における後述する通信制御部70の遠隔接続要求受信部71に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62は、既に開始されている遠隔共有処理に参加する場合には、同じ電子黒板2のファイル処理部40の接続先管理テーブル440を参照して、参加先の電子黒板2(主催装置)のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブル440が参照することに替えて、ユーザによるタッチパネル等の入力装置の操作により、参加先の電子黒板2(主催装置)のIPアドレスが入力されることにより当該IPアドレスを取得するものであってもよい。
遠隔画像送信部63は、クライアント部20の映像取得部21から、その画像処理部30の画像取得部31を介して送られて来た出力画像(C)(図16参照)を、サーバ部90(その後述する通信制御部70)に送信する。
遠隔画像受信部64は、サーバ部90(その後述する通信制御部70)から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、その画像データを表示重畳部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)等に関するデータが挙げられる。加えて、この各種操作データとしては、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。
遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された上述した各種操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。
参加拠点管理テーブル610は、同じ電子黒板2が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板2を管理するテーブルである。この参加拠点管理テーブル610では、図14に示すように、参加中の電子黒板2が設置されている拠点の名称および当該電子黒板2のIPアドレスが関連付けて管理(記憶)されている。
(閲覧送信制御部500の機能構成)
次に、図3を用いて、閲覧送信制御部500の機能構成について説明する。閲覧送信制御部500は、画像処理システム1において、画像処理装置としての2台の電子黒板2a、2bと通信ネットワーク9を介して通信可能に接続された第2の表示装置としての3台のPC8a、8b、8cにおいても同じ画像(画像データ)を共有することを可能とする。その閲覧送信制御部500は、HTTP画面共有部501と、画面変化検知部502と、を有する。
そのHTTP画面共有部501は、各PC8a、8b、8c(そのブラウザ)からの画面請求のリクエスト(送信用画像データの送信要求)を受信することが可能とされている。また、HTTP画面共有部501は、画面変化検知部502から、電子黒板2のディスプレイ3に表示されている画像(画像データ)に基づく送信用画像データを取得することができる。さらに、HTTP画面共有部501は、画面変化検知部502から取得した送信用画像データを、通信ネットワーク9を介して各PC8a、8b、8c(そのブラウザ)へと送信することができる。そして、HTTP画面共有部501は、その送信用画像データの各PC8a、8b、8c(そのブラウザ)への送信の実行の有無を、画面変化検知部502における画面(画像データ)が変化したか否かの判断結果に基づいて決定する。このため、HTTP画面共有部501は、PC8a、8b、8c(第2の表示装置)からの、電子黒板2のディスプレイ3(第1の表示装置)に表示されている画像の画像データの送信要求を、受信する受信部として機能する。また、HTTP画面共有部501は、ディスプレイ3(第1の表示装置)に表示されている画像に基づく送信用画像データを、画像データの送信要求を送信してきたPC8a、8b、8c(第2の表示装置)に送信する送信部として機能する。
画面変化検知部502は、画像処理部30の表示重畳部36で重畳されて電子黒板2のディスプレイ3に表示されている画像(その画像データ)を取得し、その画像(画像データ)に基づいて送信用画像データを生成することができる。その送信用画像データは、HTTP画面共有部501からPC8(第2の表示装置)へと送信するための、電子黒板2のディスプレイ3に表示されている画像に基づくデータである。この送信用画像データは、実施例1では、JPEG方式のものとされている。このため、画面変化検知部502は、HTTP画面共有部501(送信部)がPC8(第2の表示装置)に送信するための送信用画像データを生成する送信データ生成部として機能する。
また、画面変化検知部502は、HTTP画面共有部501からの要求に基づいて、生成した送信用画像データを当該HTTP画面共有部501へと送信することができる。さらに、画面変化検知部502は、電子黒板2のディスプレイ3に表示されている画像(画像データ)に変化があったか否かを判断することが可能とされている。そして、画面変化検知部502は、電子黒板2のディスプレイ3に表示されている画像(画像データ)を変化させる操作が為されたか否かを判断することにより、当該画像(画像データ)に変化があったか否かを判断するものとされている。このため、画面変化検知部502は、当該操作が為された場合には、ディスプレイ3の画像(画像データ)に変化があったものと判断し、当該操作が為されていない場合には、ディスプレイ3の画像(画像データ)に変化がないものと判断する。
この画面変化検知部502は、実施例1では、画像(画像データ)を変化させる操作として、ページ切り替えを行うページ切替操作が為されたか否かを判断することが可能とされている。そして、画面変化検知部502は、当該操作が為された場合、ディスプレイ3に表示されている画像(画像データ)に変化があったものと判断する。具体的には、以下の動作が行われる。ページ切り替えを行う操作(ページ切替操作)が為されると、クライアント部20のイベント振分部25により、ページ切り替えのジェスチャ操作が行われたことが判断される。すると、ジェスチャ処理部27が為されたページ切替操作を実行し、それに基づいて画像処理部30のページ処理部37がページを切り替えるべくページ処理を行う。このとき、ページ処理部37は、ページ処理を行うことに伴って、画面変化検知部502内のページ切替操作に対応する操作実行フラグとしてのページ切り替えのフラグを立てる。
このため、電子黒板2のディスプレイ3に表示されている画像(画像データ)が、ページの切り替えにより変化した場合には、画面変化検知部502内のページ切り替えのフラグが立っていることとなる。これにより、画面変化検知部502は、ページ切り替えのフラグが立っている場合には、ページ切替操作が為されたので、電子黒板2のディスプレイ3の画像(画像データ)が変化したものと判断する。また、画面変化検知部502は、当該フラグが立っていない場合には、ページ切替操作が為されていないので、電子黒板2のディスプレイ3の画像(画像データ)が変化していないものと判断する。このため、画面変化検知部502は、第1の表示装置としてのディスプレイ3に表示される画像(画像データ)が変化したか否かを判断する判断部として機能する。また、画面変化検知部502は、ページ処理部37と協働して、ページ切替操作に対応する操作実行フラグとしてのページ切り替えのフラグを立てる操作検知部として機能する。
〔サーバ部の機能構成〕
続いて、図5を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことを可能とする。そのため、サーバ部90は、通信制御部70、およびデータ管理部80を有している。その通信制御部70は、同じ電子黒板2内のクライアント部20の通信制御部60との通信、および通信ネットワーク9を介する他の電子黒板2内のクライアント部20の通信制御部60との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
(通信制御部70の機能構成)
先ず、図5を用いて、サーバ部90の通信制御部70の機能構成について説明する。通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、および遠隔操作送信部76を有している。
このうち、遠隔接続要求受信部71は、同じ電子黒板2内のクライアント部20の通信制御部60の遠隔開始処理部61からの遠隔共有処理の開始要求を受信する。また、遠隔接続要求受信部71は、他の電子黒板2内のクライアント部20の通信制御部60の遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信する。
遠隔接続結果送信部72は、同じ電子黒板2内のクライアント部20の通信制御部60の遠隔開始処理部61に、遠隔共有処理の開始要求に対する結果を送信する。また、遠隔接続結果送信部72は、他の電子黒板2内のクライアント部20の通信制御部60の遠隔参加処理部62に、遠隔共有処理の参加要求に対する結果を送信する。
遠隔画像受信部73は、クライアント部20の通信制御部60の遠隔画像送信部63からの画像データ(出力画像(C)(図16参照)のデータ)を受信する。そして、遠隔画像受信部73は、サーバ部90のデータ管理部80の後述する遠隔画像処理部82に、この受信した画像データを送信する。
遠隔画像送信部74は、サーバ部90のデータ管理部80の後述する遠隔画像処理部82から画像データを受信する。そして、遠隔画像送信部74は、クライアント部20の通信制御部60の遠隔画像受信部64に対して、この受信した画像データを送信する。
遠隔操作受信部75は、クライアント部20の通信制御部60の遠隔操作送信部65からの操作データ(ストローク画像(B)(図16参照)等のデータ)を受信する。そして、遠隔操作受信部75は、サーバ部90のデータ管理部80の後述する遠隔操作処理部83に、この受信した操作データを送信する。
遠隔操作送信部76は、サーバ部90のデータ管理部80の後述する遠隔操作処理部83から操作データを受信する。そして、遠隔操作送信部76は、クライアント部20の通信制御部60の遠隔操作受信部66に対して、この受信した操作データを送信する。
(データ管理部の機能構成)
次に、図5を用いて、サーバ部90のデータ管理部80の機能構成について説明する。データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84およびページ処理部85を有している。さらに、サーバ部90のデータ管理部80は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840およびページデータ記憶部850を有している。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、および遠隔共有処理の終了の制御を行う。また、遠隔接続処理部81は、通信制御部70の遠隔接続要求受信部71が、通信制御部60の遠隔開始処理部61から遠隔共有処理の開始要求とともに受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。さらに、遠隔接続処理部81は、通信制御部70の遠隔接続要求受信部71が、通信制御部60の遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。加えて、遠隔接続処理部81は、クライアント部(参加装置)となるための他の電子黒板2からの参加要求の数(参加要求している電子黒板2の台数)が、予め定められた参加可能数を超えていないかを確認する。
その遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断する(パスコードによる認証)。そして、遠隔接続処理部81は、双方のパスコードが同じである場合には、参加要求した他の電子黒板2の遠隔共有処理への参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、主催装置としての電子黒板2のサーバ部90の遠隔接続処理部81によって発行される。そのパスコードは、主催装置としての電子黒板2のユーザから、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザへと、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置(電子黒板2)のユーザが、当該電子黒板2にパスコードを入力して参加要求することで、当該電子黒板2の遠隔共有処理への参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先する場合、遠隔接続処理部81は、ライセンス状況の確認だけを行うこととし、パスコードの確認を省略するものとしてもよい。
そして、遠隔接続処理部81は、同じ電子黒板2が主催装置の場合、参加装置としての電子黒板2の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、主催装置としての同じ電子黒板2のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。その遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置としての電子黒板2では、サーバ部90のデータ管理部80の参加拠点管理テーブル820と、クライアント部20の通信制御部60の参加拠点管理テーブル610と、に同じ内容の参加拠点情報が記憶されることとなる。このため、主催装置としての電子黒板2では、クライアント部20およびサーバ部90の両方で、同じ内容の参加拠点管理テーブルを管理することになる。
遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部20(主催装置である自己の(同じ)電子黒板2のクライアント部20を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を受信する。その遠隔画像処理部82は、その受信した画像データ(出力画像(C))を画像データ記憶部830に記憶する。そして、遠隔画像処理部82は、主催装置である自己の(同じ)電子黒板2のサーバ部90に届いた時間順(時間で見た順番)を判定し、当該時間順を遠隔共有処理すべき画像データの表示順(表示する順番)とする。また、遠隔画像処理部82は、通信制御部70(遠隔画像送信部74)を介して、上記判定した順番(表示順)で画像データを送信する。遠隔画像処理部82は、この送信を、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の(同じ)電子黒板2のクライアント部20を含む)に対して行う。
遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の(同じ)電子黒板2のクライアント部を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信する。そして、遠隔操作処理部83は、主催装置である自己の(同じ)電子黒板2のサーバ部90に届いた時間順(時間で見た順番)を判定し、当該時間順を遠隔共有処理すべき画像(画像データ)の表示順(表示する順番)とする。なお、各種操作データは、上述した各種操作データと同じである。また、遠隔操作処理部83は、通信制御部70(遠隔操作送信部76)を介して、上記判定した順番(表示順)で各種操作データを送信する。遠隔操作処理部83は、この送信を、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の(同じ)電子黒板2のクライアント部20を含む)に対して行う。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶させるとともに遠隔操作処理部83に戻す(出力する)。この操作データは、遠隔操作処理部83から通信制御部70(遠隔操作送信部76)を介して、主催装置である電子黒板2のクライアント部20、および参加装置である電子黒板2のクライアント部20のそれぞれに送信される。これにより、各電子黒板2で同じ操作データに係る画像(画像データ)が表示される。そのために、操作データは、図15に示すように、SEQ(Sequence)、操作名、操作データの送信元情報、操作データの送信先情報、操作種類、操作対象、および操作データの内容を示すデータが関連付けられて示されている。
そのSEQは、この操作データの順序を示す情報である。操作名は、操作データの名称(操作名)を示す情報である。操作データの送信元情報は、送信元である電子黒板2のIPアドレスと、クライアント部20またはサーバ部90のPort No.(ポートナンバー)と、を示す情報である。操作データの送信先情報は、送信先である電子黒板2のIPアドレスと、クライアント部20またはサーバ部90のPort No.(ポートナンバー)と、を示す情報である。操作種類は、操作データにおける操作の種類(ページ切り替えであるかストローク描画であるか画像の移動等であるか)を示す情報である。操作対象は、操作データにおける操作の対象(ページデータであるかストロークデータであるか)を示す情報である。
例えば、SEQ1では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のクライアント部20(Port No.:50001)でストロークが描画されたことが示されている。加えて、SEQ1では、そのストロークが描画されることで、同じ主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部90(Port No.:50000)に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータID「p005」、および操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部90(Port No.:50000)から、操作データが送られたことが示されている。加えて、SEQ2では、その操作データが、参加装置である他の電子黒板2(IPアドレス:192.0.0.2)のクライアント部20(Port No.:50001)に、送られたことが示されている。
なお、操作合成処理部84は、上述したように、この操作合成処理部84に操作データが入力された順に合成を行う。このため、通信ネットワーク9が混雑していなければ、遠隔共有処理中の全ての電子黒板2のディスプレイ3には、各電子黒板2のユーザによりストローク描画操作が為された順に、ストローク画像(B)(図16参照)が表示される。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、図6から図9に示されているページデータを、ページデータ記憶部850に記憶させる。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
<実施例1の基本的な処理または動作>
続いて、図17および図18を用いて、実施例1の基本的な処理または動作について説明する。なお、図17および図18は、各電子黒板2の処理を示したシーケンス図である。その図17および図18に示す例では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部およびクライアント部)としての役割を果たすものとする。また、図17および図18に示す例では、画像処理システム1としてさらに電子黒板2cを用いたものとして、電子黒板2b、2cが遠隔共有処理に参加する参加装置(クライアント部)としての役割を果たすものとする。そして、この例では、電子黒板2a、2b、2cには、明確な図示は略すが、それぞれディスプレイ3a、3b、3cが接続され、さらに、それぞれノートPC6a、6b、6cが接続されている。また、電子黒板2a、2b、2cでは、明確な図示は略すが、それぞれ電子ペン4a、4b、4cが使用される。以下では、この図17および図18に示す例の場合について説明する。
(参加の処理)
先ずは、図17を用いて、電子黒板2b、2cが遠隔共有処理に参加するための処理について説明する。
主催装置である電子黒板2aでは、ユーザが電源スイッチをオンにすることで、クライアント部20が起動する。そして、電子黒板2aでは、ユーザがタッチパネル等の入力装置でサーバ部90を起動させる操作が為される。すると、電子黒板2aでは、クライアント部20の遠隔開始処理部61から、同じ電子黒板2aのサーバ部90の遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなく、サーバ部90も各種処理を開始することが可能となる(ステップS21)。
次に、電子黒板2aでは、クライアント部20のUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成する。そして、電子黒板2aでは、クライアント部20の映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報を、ディスプレイ3aに表示させる(ステップS22)。この接続情報には、主催装置(電子黒板2a)のIPアドレス、および今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される(図5参照)。さらに、パスコードは、遠隔開始処理部61を含む通信制御部60から、画像処理部30に送信され、最終的にUI画像生成部33に入力される(図3参照)。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メール等により、電子黒板2b、2cの各ユーザに伝えられる。なお、接続先管理テーブル440(図4参照)を設けている場合には、接続情報に主催装置(電子黒板2a)のIPアドレスが含まれていなくても、参加装置(電子黒板2b、2c)は参加要求を行うことができる。
次に、電子黒板2b、2cでは、各ユーザによるタッチパネル等の入力装置によって接続情報の入力を受け付けると、各クライアント部20の遠隔参加処理部62が、参加要求を行う(ステップS23、S24)。この参加要求では、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90の遠隔接続要求受信部71に対してパスコードを送信する。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b、2cから、参加要求(パスコードを含む)を受信し、このパスコードを遠隔接続処理部81に出力する。
すると、電子黒板2aでは、サーバ部90の遠隔接続処理部81が、電子黒板2b、2cの各クライアント部20から受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。この図17に示す例では、両電子黒板2b、2cともに、パスコードが一致したものとしている。
そして、電子黒板2aでは、サーバ部90の通信制御部70の遠隔接続結果送信部72が、各電子黒板2b、2cのクライアント部20に認証結果を通知する(SステップS26、S27)。
すると、電子黒板2b、2cでは、ステップS25の認証により、参加要求した当該電子黒板2b、2cが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板2aとの間に遠隔共有処理の通信が確立される。そして、各電子黒板2b、2cでは、クライアント部20の遠隔参加処理部62が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする(ステップS28、S29)。
これにより、主催装置である電子黒板2aが主催する遠隔共有処理に、電子黒板2b、2cが参加することができる。
(出力画像の表示)
続いて、同じく図17を用いて、遠隔共有処理における画像データの処理について説明する。図17に示す例では、参加装置である電子黒板2bに接続されたユーザのノートPC6bが提供する映像を用いるものとする。
このため、電子黒板2bでは、ディスプレイ3bに出力画像(C)を表示させる(ステップS30)。具体的には、電子黒板2bでは、クライアント部20の画像取得部31が、同じクライアント部20の映像取得部21を介して、ノートPC6bで表示されている出力画像(C)(図16参照)のデータを、当該ノートPC6bから受信する。そして、電子黒板2bでは、その受信した出力画像(C)(図16参照)のデータを、表示重畳部36および映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。
次に、電子黒板2bでは、画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信する。すると、電子黒板2bでは、遠隔画像送信部63を含む通信制御部60が通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。これにより、電子黒板2aの遠隔画像受信部73は、出力画像(C)のデータを受信し、当該データを遠隔画像処理部82に出力することで、その遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶させる。
すると、電子黒板2aでは、ディスプレイ3aに出力画像(C)を表示させる(ステップS32)。具体的には、電子黒板2aでは、遠隔画像処理部82が、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。すると、電子黒板2aでは、遠隔画像送信部74が、主催装置である同じ電子黒板2aのクライアント部20の遠隔画像受信部64に、出力画像(C)のデータを出力する。そして、電子黒板2aでは、遠隔画像受信部64が、表示重畳部36に出力画像(C)のデータを出力する。すると、電子黒板2aでは、表示重畳部36が、映像重畳部28に出力画像(C)のデータを出力する。そして、電子黒板2aでは、映像重畳部28がディスプレイ3aに出力画像(C)のデータを出力する。これにより、電子黒板2aでは、ディスプレイ3aに出力画像(C)を表示させる。
そして、主催装置としての電子黒板2aでは、サーバ部90の遠隔画像送信部74を含む通信制御部70が、通信ネットワーク9を介して、出力画像(C)のデータを送信する(ステップS33)。その送信先は、出力画像(C)のデータの送信元である(画像データを提供した)電子黒板2b以外の参加装置である電子黒板2cの通信制御部60とする。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、出力画像(C)のデータを受信する。
すると、電子黒板2cでは、ディスプレイ3cに出力画像(C)を表示させる(ステップS34)。具体的には、電子黒板2cでは、遠隔画像受信部64が、上記したステップS33により受信した出力画像(C)のデータを、同じ電子黒板2cの表示重畳部36に出力する。すると、電子黒板2cでは、表示重畳部36が、映像重畳部28に出力画像(C)のデータを出力する。そして、電子黒板2cでは、映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、電子黒板2cでは、ディスプレイ3cに出力画像(C)を表示させる。
なお、出力画像(C)のデータだけでなく、UI画像(A)、及びストローク画像(B)の各データが表示合成部28に入力されている場合には、表示重畳部36により、重畳画像(A、B、C)が生成される。そして、映像重畳部28は、ディスプレイ3cに重畳画像(A、B、C)のデータを出力する。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(E)のデータが送られて来ている場合には、映像重畳部28は、重畳画像(A、B、C)に、ピクチャ・イン・ピクチャによりテレビ会議用の映像(E)のデータを重畳する。そして、電子黒板2cでは、その重畳したデータをディスプレイ3cに出力する。
これにより、主催装置である電子黒板2aと、参加装置である電子黒板2b、2cと、の各ディスプレイ3では、電子黒板2bに接続されたユーザのノートPC6bが提供する映像を共有することができる。
(重畳画像の表示)
続いて、図18を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。図18に示す例では、参加装置である電子黒板2bのユーザが、電子ペン4bを用いて電子黒板2bのディスプレイ3bにストローク画像(B)(図16参照)を描画したものとする(ステップS41)。
すると、電子黒板2bでは、クライアント部20の表示重畳部36が、UI画像(A)および出力画像(C)に対して、ストローク画像(B)を重畳する(図16参照)。そして、電子黒板2bでは、クライアント部20の映像重畳部28が、ディスプレイ3b上に、重畳された重畳画像(A、B、C)を表示させる(ステップS42)。具体的には、電子黒板2bでは、ストローク処理部32が座標検知部21及び接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、電子黒板2bでは、表示重畳部36が、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A、B、C)を表示させることができる。
そして、電子黒板2bでは、クライアント部20において、ストローク処理部32を含む画像処理部30が、同じクライアント部20の遠隔操作送信部65にストローク画像(B)のデータを送信する。そして、電子黒板2bでは、遠隔操作送信部65が、通信ネットワーク2を介して、主催装置である電子黒板2aのサーバ部90の通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。なお、この例では、操作データとして、ストローク画像(B)(図16参照)のデータのみを送信したものとして説明する。これにより、電子黒板2aでは、遠隔操作受信部75が、ストローク画像(B)のデータを受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、ストロークデータID(図7参照)毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン4によりアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。
すると、電子黒板2aでは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A、B、C)を表示する(ステップS44)。具体的には、電子黒板2aでは、サーバ部90において、操作合成処理部84が、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。これにより、電子黒板2aでは、隔操作処理部83が、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。すると、電子黒板2aでは、遠隔操作送信部76が、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。そして、電子黒板2aでは、遠隔操作受信部66が、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。すると、電子黒板2aでは、表示重畳部36が、UI画像(A)、及び出力画像(C)に対して、合成後のストローク画像(B)を重畳する。よって、電子黒板2aでは、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A、B、C)をディスプレイ3a上に表示させる。
また、電子黒板2aでは、サーバ部90の遠隔操作送信部76を含む通信制御部70は、通信ネットワーク9を介して、合成後のストローク画像(B)のデータを送信する(ステップS45)。その送信先は、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60とする。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。
すると、電子黒板2cでは、ディスプレイ3cに重畳画像(A、B、C)を表示させる(ステップS46)。具体的には、電子黒板2cでは、遠隔操作受信部66が、上記したステップS45で受信した合成後のストローク画像(B)のデータを、画像処理部30に出力する。すると、電子黒板2cでは、画像処理部30の表示重畳部36が、UI画像(A)および出力画像(C)の各データと、合成後のストローク画像(B)のデータと、を重畳し、映像重畳部28に重畳画像(A、B、C)のデータを出力する。そして、電子黒板2cでは、映像重畳部28が、ディスプレイ3cに重畳画像(A、B、C)のデータを出力する。これにより、電子黒板2cでは、ディスプレイ3cに重畳画像(A、B、C)を表示させる。
なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。
これにより、主催装置である電子黒板2aと、参加装置である電子黒板2b、2cと、の各ディスプレイ3では、電子黒板2bのディスプレイ3bに描画されたストローク画像(B)を共有することができる。
(参加の終了)
続いて、同じく図18を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図18に示す例では、電子黒板2cが参加を終了する際の処理が示されている。すなわち、電子黒板2cにおいて、遠隔共有処理への参加を終了する旨の操作が為されたものとする。
その電子黒板2cでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付ける。すると、電子黒板2cでは、クライアント部20の遠隔参加処理部62が、主催装置としての電子黒板2aのサーバ部90の通信制御部70に対して、参加の終了要求を行う(ステップS47)。これにより、電子黒板2aでは、通信制御部70の遠隔接続要求受信部71が電子黒板2cから参加の終了要求を受信し、同じサーバ部90の遠隔接続処理部81に電子黒板2cのIPアドレスとともに参加の終了要求を出力する。すると、電子黒板2aでは、遠隔接続処理部81が、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称を削除する。その削除は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて行われる。そして、電子黒板2aでは、遠隔接続結果送信部72に、電子黒板2cのIPアドレスおよび削除した旨の通知を出力する。
すると、電子黒板2aでは、サーバ部90の遠隔接続結果送信部72を含む通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20の通信制御部60に、参加の終了を指示する(ステップS48)。
すると、電子黒板2cでは、クライアント部20の通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加が終了する(ステップS49)。
これにより、主催装置である電子黒板2aは、参加装置である電子黒板2cの遠隔共有処理への参加を終了させることができる。
なお、図17および図18に示す例では、クライアント部(参加装置(電子黒板2b))が画像フレーム(映像)を提供していた。しかしながら、他のクライアント部(参加装置(電子黒板2c))やサーバ部(主催装置(電子黒板2a))が画像フレーム(映像)を提供するものであってもよく、この例に限定されるものではない。また、図17および図18に示す例では、画像フレーム(映像)を提供するクライアント部(参加装置(電子黒板2b))が描画情報を送信しているが、他のクライアント部やサーバ部が描画情報を送信するものであってもよく、この例に限定されるものではない。さらに、図17および図18に示す例では、画像フレームを提供しないクライアント部(参加装置(電子黒板2c))が参加の終了要求を行っているが、他のクライアント部が参加の終了要求を行うものであってもよく、この例に限定されるものではない。同様に、図17および図18に示す例では、画像フレームを提供しないクライアント部(参加装置(電子黒板2c))が参加の終了要求を行っているが、サーバ部が遠隔共有処理を終了させるものであってもよく、この例に限定されるものではない。
<実施例1の特徴的な処理または動作>
続いて、図19を用いて、実施例1の特徴的な処理または動作について説明する。なお、図19は、画像処理システム1において、第2の表示装置としてのPC8と主催装置(サーバ部)としての電子黒板2aとの処理を示したシーケンス図である。その図19に示す例では、いずれのPC8a、8b、8cであっても同様の動作が行われることから、単一のPC8として記載している。以下では、この図19に示す例の場合について説明する。
第2の表示装置としてのPC8(そのブラウザ)では、画面請求のリクエスト(送信用画像データの送信要求)を、電子黒板2aの閲覧送信制御部500のHTTP画面共有部501に送信する(ステップS51)。
すると、電子黒板2aでは、閲覧送信制御部500において、HTTP画面共有部501が、PC8から画面請求のリクエストを受信すると、画面変化検知部502が当該電子黒板2aのディスプレイ3aの画面(その画像(画像データ))の変化の有無を判断する(ステップS52)。その画面変化検知部502では、図20のフローチャートに示すように、ステップS61において、ページ切替操作が為されたか否かを判断し、Yesの場合はステップS62へ進み、Noの場合はステップS63へ進む。この画面変化検知部502では、上述したように、ページ切り替えのフラグが立っているか否かを判断することで、ページ切替操作が為されたか否かを判断する。そして、画面変化検知部502では、ページ切り替えのフラグが立っている場合、ディスプレイ3aの画面(その画像(画像データ))が変化したものと判断する(ステップS62)。また、画面変化検知部502では、ページ切り替えのフラグが立っていない場合、ディスプレイ3aの画面(その画像(画像データ))が変化していないものと判断する(ステップS63)。
すると、電子黒板2aでは、閲覧送信制御部500において、画面変化検知部502がディスプレイ3aの画像(画像データ)が変化したものと判断すると、HTTP画面共有部501が送信用画像データをPC8(そのブラウザ)に送信する(ステップS53)。その送信用画像データは、上述したように、画像処理部30の表示重畳部36で重畳されて電子黒板2のディスプレイ3に表示されている画像(その画像データ)に基づいて、画面変化検知部502で生成したものである。また、電子黒板2aでは、画面変化検知部502がディスプレイ3aの画像(画像データ)が変化していないものと判断すると、HTTP画面共有部501は送信用画像データをPC8に送信しない。
このステップS51→ステップS52→ステップS53の一連の動作は、所定の時間毎に繰り返し行うものとされており、実施例1ではその所定の時間を2秒に設定している。すなわち、第2の表示装置としてのPC8(そのブラウザ)は、2秒に1回、電子黒板2aの閲覧送信制御部500のHTTP画面共有部501へと、画面請求のリクエストを送信する。このPC8(第2の表示装置)による画面請求のリクエストの送信は、実施例1では、当該PC8のブラウザがAJAXを利用して行うものとされている。なお、この一連の動作は、送信用画像データを送信しない場合は、ステップS51→ステップS52となる。このように、電子黒板2aでは、画面変化検知部502にページ切り替えのフラグが立っているか否かに応じて、送信用画像データの送信が適宜行われる。
次に、主催装置(サーバ部)としての電子黒板2aにおいて、その画面変化検知部502にページ切り替えのフラグを立てる際の処理について、図21を用いて説明する。その図21は、電子黒板2aにおいて、クライアント部20のイベント振分部25と、クライアント部20の画像処理部30のページ処理部37と、閲覧送信制御部500の画面変化検知部502と、の当該フラグを立てる際の処理を示したシーケンス図である。この図21に示す例では、例えば、ジェスチャ操作により、電子黒板2aのディスプレイ3a(第1の表示装置)に表示される画像(画像データ)のページ切り替えを行う操作(ページ切替操作)が為された場面を示している。そのページ切り替えを行う操作(ページ切替操作)は、そのディスプレイ3a、電子黒板2aに接続されたノートPC6a、電子黒板2b(そのディスプレイ3b)、そこに接続されたノートPC6b等、いずれに対して行われたものであってもよい。
先ず、電子黒板2aでは、クライアント部20のイベント振分部25により、ページ切替操作(ページ切り替えのジェスチャ操作)が行われたことが判断される。そして、電子黒板2aでは、クライアント部20のジェスチャ処理部27が、為されたページ切り替えの操作を実行する(ステップS71)。
すると、電子黒板2aでは、クライアント部20の画像処理部30のページ処理部37が、ページを切り替えるべくページ処理を行う。そして、ページ処理部37は、ページ処理を行うことに伴って、画面変化検知部502内のページ切り替えのフラグを立てる(ステップS72)。
そして、電子黒板2aでは、閲覧送信制御部500において、HTTP画面共有部501が送信用画像データを送信し終えると(図19のステップS53参照)、画面変化検知部502がページ切り替えのフラグをクリアする(フラグを倒す)(ステップS73)。
これにより、画像処理システム1では、主催装置(サーバ部)としての電子黒板2aのディスプレイ3a(第1の表示装置)に表示される画像(画像データ)のページ切り替えを行う操作が為されると、画面変化検知部502にページ切り替えのフラグを立てる。そして、画像処理システム1では、PC8(第2の表示装置)が画面請求のリクエストをHTTP画面共有部501に送信した際に画面変化検知部502に当該フラグが立っていると、PC8に送信用画像データを送信する。これにより、画像処理システム1では、主催装置(サーバ部)としての電子黒板2aのディスプレイ3aに表示された画像(画像データ)を、第2の表示装置(各PC8a、8b、8c)に表示(共用)させることができる。よって、画像処理システム1では、当該第2の表示装置による閲覧を可能とすることができる。
なお、この実施例1では、閲覧送信制御部500の画面変化検知部502が単に電子黒板2に設けられていたが、HTTPサーバ内部のモジュールとして設けられる、すなわちサーバ部90に内蔵されるものであってもよい。この場合、画面変化検知部502内のページ切り替えのフラグを立てるための、当該画面変化検知部502とクライアント部20の画像処理部30のページ処理部37との間での通信は、Socketを利用することで容易なものとすることができる。
<実施例1の主な効果>
この本発明に係る一実施例としての実施例1の画像処理装置としての電子黒板2では、画面変化検知部502(判断部)が、ディスプレイ3a(第1の表示装置)に表示されている画像(画像データ)を変化させる操作が為されたか否かを判断する。そして、画面変化検知部502では、画像(画像データ)を変化させる操作が為された場合、ディスプレイ3の画像(画像データ)に変化があったものと判断し、当該操作が為されていない場合には、ディスプレイ3の画像(画像データ)に変化がないものと判断する。このため、電子黒板2では、先にディスプレイ3に表示されていた画像(画像データ)と、現在ディスプレイ3に表示されている画像(画像データ)と、を比較することなく、ディスプレイ3の画像(画像データ)が変化したか否かを判断することができる。これにより、電子黒板2では、画像(画像データ)の比較を行うことに比べて、CPU101の利用率を大幅に下げつつディスプレイ3の画像(画像データ)が変化したか否かを判断することができる。
また、電子黒板2では、HTTP画面共有部501(受信部)が、画面変化検知部502によるディスプレイ3の画像(画像データ)が変化したか否かの判断に基づいて、送信用画像データの送信を行うか否かの場合分けを行う。すなわち、HTTP画面共有部501は、画面変化検知部502がディスプレイ3の画像(画像データ)が変化していないと判断すると、送信用画像データを送信しない。また、HTTP画面共有部501は、画面変化検知部502がディスプレイ3の画像(画像データ)が変化したと判断すると、送信用画像データを送信する。このため、電子黒板2では、ディスプレイ3の画像(画像データ)が変化したときのみ、送信用画像データを送信するものとすることができるので、CPU101の利用率を下げつつPC8(第2の表示装置)による画像の閲覧を可能とすることができる。
さらに、電子黒板2では、PC8(第2の表示装置)からの画面請求のリクエスト(画像データの送信要求)を受信した場合であっても、画面変化検知部502の判断に基づき、HTTP画面共有部501が送信用画像データの送信の有無の場合分けを行う。すなわち、電子黒板2では、画面請求のリクエストを受けた場合でも、ディスプレイ3aの画像(画像データ)に変化がない場合には送信用画像データを送信せず、ディスプレイ3aの画像(画像データ)に変化がある場合には送信用画像データを送信する。このため、電子黒板2では、送信用画像データのデータ量を低減しつつPC8による画像(画像データ)の閲覧を可能とすることができ、送信用画像データの送信に要するネットワークの帯域のスループットを低減することができる。
電子黒板2では、ディスプレイ3a(第1の表示装置)に表示されている画像(画像データ)のページ切り替えの操作(ページ切替操作)が為されたか否かを判断することにより、当該画像を変化させる操作が為されたか否かを判断する。このため、電子黒板2では、ディスプレイ3a(第1の表示装置)の画像(画像データ)の変化の有無を判断する際のCPU101の利用率を極めて小さなものとすることができる。
電子黒板2では、画面変化検知部502が、ページ切り替えのフラグが立てられていると、ページ切替操作が為されたものと判断して、ディスプレイ3の画像(画像データ)に変化があったものと判断する。また、電子黒板2では、画面変化検知部502が、ページ切り替えのフラグが立てられていないと、ページ切替操作が為されていないものと判断して、ディスプレイ3の画像(画像データ)に変化がないものと判断する。このため、電子黒板2では、ディスプレイ3aの画像(画像データ)の変化の有無を判断する際のCPU101の利用率を極めて小さなものとすることができる。
電子黒板2では、クライアント部20の画像処理部30のページ処理部37がページを切り替えるべくページ処理を行うと、当該ページ処理部37がそれに伴って画面変化検知部502内のページ切り替えのフラグを立てる。このため、電子黒板2では、ディスプレイ3の画像(画像データ)がページの切り替えにより変化すると確実に当該フラグを立てることができる。このことから、電子黒板2では、ディスプレイ3の画像(画像データ)がページの切り替えにより変化した際には、HTTP画面共有部501がPC8に送信用画像データを確実に送信することができる。これにより、電子黒板2では、ディスプレイ3aに表示された画像(画像データ)を、PC8に適切に表示(共用)させることができる。
電子黒板2では、ページ処理部37がページ処理を行うときに併せて画面変化検知部502内のページ切り替えのフラグを立てるものとして、画面変化検知部502がページ切り替えのフラグが立っているか否かを判断するものとすればよい。このため、電子黒板2では、簡易な構成としつつCPU101の利用率を下げることができ、PC8(第2の表示装置)による画像(画像データ)の閲覧を可能とすることができる。
本発明に係る画像処理システムの一実施例としての実施例1の画像処理システム1では、上記した画像処理装置(電子黒板2)によりPC8(第2の表示装置)による画像(画像データ)の閲覧を可能とするものであることから、上述した各効果を得ることができる。
したがって、本発明に係る実施例1の画像処理装置としての電子黒板2では、CPU101(制御部)の利用率を抑制しつつ第2の表示装置としてのPC8による第1の表示装置としてのディスプレイ3に表示された画像データの閲覧を可能とすることができる。
次に、本発明に係る画像処理装置および画像処理システムの一実施例としての実施例3の画像処理装置(電子黒板2B)およびそれを用いた画像処理システム1Bについて、図24から図26を用いて説明する。この実施例3の画像処理装置(電子黒板2B)および画像処理システム1Bは、画面変化検知部502Bが、ページ切替操作およびストローク描画操作の有無に加えて、画像(画像データ)の比較結果に基づいて、ディスプレイ3の画像(画像データ)の変化の有無を判断するものである。実施例3の画像処理装置(電子黒板2B)および画像処理システム1Bは、基本的な構成は上記した実施例2の画像処理装置(電子黒板2A)および画像処理システム1Aと同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。
図24は、実施例3の画面変化検知部502Bにおいて実行されるディスプレイ3の画像(画像データ)の変化の有無の判断処理を示すフローチャートである。また、図25は、参加装置としてのPC8と、主催装置としての電子黒板2Baにおける閲覧送信制御部500のHTTP画面共有部501Bおよび画面変化検知部502Bと、の送信用画像データを一時的に記憶する際の処理を示したシーケンス図である。図26は、実施例3の画面変化検知部502Bにおいて実行される送信用画像データの送信要求を受信する前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する判断処理を示すフローチャートである。
実施例3の電子黒板2Bでは、画面変化検知部502Bにおいて、実施例2の電子黒板2Aと同様に、ページ切替操作が為されたか否かを判断し、当該操作が為された場合、ディスプレイ3の画像(画像データ)を変化させる操作が為されたものと判断する。また、画面変化検知部502Bは、ページ切替操作が為されていない場合、実施例2の電子黒板2Aと同様に、ストローク描画操作が為されたか否かを判断する。さらに、画面変化検知部502Bは、ストローク描画操作が為されていると、実施例2の電子黒板2Aと同様に、ディスプレイ3の画像(画像データ)を変化させる操作が為されたものと判断する。ついで、画面変化検知部502Bは、ストローク描画操作が為されていないと、実施例2の電子黒板2Aとは異なり、画面請求のリクエストの前後における当該画面変化検知部502Bで生成した2つの送信用画像データを比較する。そして、画面変化検知部502Bは、双方の送信用画像データが異なるものと判断すると、ディスプレイ3の画像(画像データ)が変化したものと判断する。ついで、画面変化検知部502Bは、双方の送信用画像データが等しいものと判断すると、ディスプレイ3の画像(画像データ)が変化していないものと判断する。
このように、画面変化検知部502Bは、実施例3では、画面請求のリクエストの前後における当該画面変化検知部502Bで生成した送信用画像データを比較することが可能とされている。そして、画面変化検知部502Bは、その比較結果に基づいて電子黒板2Bのディスプレイ3の画像(画像データ)の変化の有無を判断する。具体的には、以下の動作が行われる。
画面変化検知部502Bは、閲覧送信制御部500のHTTP画面共有部501Bが、送信用画像データを送信すると、その送信した送信用画像データを一時的に記憶する。この送信した送信用画像データの一時的な記憶は、閲覧送信制御部500に一時的な記憶のためのメモリ部を設けるものであってもよく、クライアント部20やサーバ部90のいずれかの記憶部の一部を用いるものであってもよい。
また、画面変化検知部502Bは、一時的に記憶した送信用画像データと、生成した送信用画像データと、の比較を行うことが可能とされている。この両送信用画像データの比較では、実施例3では、双方の送信用画像データの各画素におけるRGB値が一致するか否かの判断を全ての画素に対して行い、それらが異なる画素数が変化閾値を超えたか否かを判断する。その変化閾値は、送信用画像データの全体の画素数における所定の割合(当該割合となる個数)で示すものとして、その所定の割合を適宜設定可能なものとしている。変化閾値は、実施例3では送信用画像データの全体の画素数の5%(5%となる個数)に設定している。
また、2つの送信用画像データの各画素におけるRGB値が一致するか否かの判断は、実施例3では、XORゲートを用いて、双方の等しい座標位置となる両画素におけるRGB値の排他的論理和を求めることで行う。これにより、画面変化検知部502Bは、一時的に記憶した送信用画像データと生成した送信用画像データとで異なる画素数が全体の5%を超えた場合には、両送信用画像データに変化があるものと判断し、ディスプレイ3の画像(画像データ)が変化したものと判断する。また、画面変化検知部502Bは、異なる画素数が全体の5%未満である場合には、両送信用画像データに変化がないものと判断し、ディスプレイ3の画像(画像データ)が変化していないものと判断する。このため、画面変化検知部502Bは、第1の表示装置としてのディスプレイ3に表示される画像(画像データ)が変化したか否かを判断する判断部として機能する。
なお、この両送信用画像データの比較は、双方のサイズを縮小した比較用画像データを生成して、それらを上記した方法と同様に比較することにより行うものとしてもよい。この場合、2つの送信用画像データにおける細かい差を検出することは困難となるが、比較の動作を簡易なものとすることができ、CPU101の利用率を下げることができる。この比較用画像データの縮小は、例えば、1/4サイズに縮小する場合、互いに隣り合う4つの画素におけるRGB値の平均値を求めることにより実行することができる。
<実施例3の特徴的な処理または動作>
実施例3の電子黒板2Bでは、ステップS52での画面変化検知部502Bによるディスプレイ3aの画像(画像データ)の変化の有無の判断における処理内容が異なることを除くと、実施例2の電子黒板2A(すなわち実施例1の電子黒板2)と同様の図19に示す処理を行う。このため、以下では、画面変化検知部502Bによるディスプレイ3a(第1の表示装置)の画像(画像データ)の変化の有無の判断における処理を、図24を用いて説明する。なお、実施例3では、実施例2と同様に、電子黒板2Baを主催装置(サーバ部およびクライアント部)とし、電子黒板2Bb、2Bcを参加装置(クライアント部)としている。
電子黒板2Baでは、HTTP画面共有部501BがPC8(そのブラウザ)から画面請求のリクエストを受信すると(図19のステップS51参照)、画面変化検知部502Bが当該電子黒板2Baのディスプレイ3aの画像(画像データ)の変化の有無を判断する。その画面変化検知部502Bでは、図24のフローチャートに示すように、ステップS101において、ページ切替操作が為されたか否かを判断し、Yesの場合はステップS102へ進み、Noの場合はステップS103へ進む。この画面変化検知部502Bでは、実施例1および実施例2と同様に、ページ切り替えのフラグが立っているか否かを判断することで、ページ切替操作が為されたか否かを判断する。
そして、画面変化検知部502Bでは、ステップS101においてページ切り替えのフラグが立っている場合、ディスプレイ3aの画面(その画像(画像データ))が変化したものと判断する(ステップS102)。また、画面変化検知部502Bでは、ステップS101においてページ切り替えのフラグが立っていない場合、ストローク描画操作が為されたか否かを判断し、Yesの場合はステップS102へ進み、Noの場合はステップS104へ進む(ステップS103)。この画面変化検知部502Bでは、ストローク編集のフラグが立っているか否かを判断することで、ストローク描画操作が為されたか否かを判断する。
そして、画面変化検知部502Bでは、ステップS103においてストローク編集のフラグが立っている場合、ディスプレイ3aの画面(その画像(画像データ))が変化したものと判断する(ステップS102)。また、画面変化検知部502Bでは、ステップS103においてストローク編集のフラグが立っていない場合、送信用画像データの送信要求を受信する前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する(ステップS104)。その画面変化検知部502Bでは、一時的に記憶した送信用画像データと生成した送信用画像データとで異なる画素数が変化閾値(実施例3では全体の5%)を超えているか否かを判断することで、両画像(画像データ)が異なるか否かを判断する。このステップS104では、Yes(変化閾値(全体の5%)を超えている)場合はステップS102へ進み、No(変化閾値(全体の5%)未満である)の場合はステップS105へ進む。
そして、画面変化検知部502Bでは、ステップS104において異なる画素数が変化閾値(全体の5%)を超えている場合、ディスプレイ3aの画面(その画像(画像データ))が変化したものと判断する(ステップS102)。また、画面変化検知部502Bでは、ステップS104において異なる画素数が変化閾値(全体の5%)を超えていない場合、ディスプレイ3aの画面(その画像(画像データ))が変化していないものと判断する(ステップS105)。
このように、電子黒板2Baでは、画面変化検知部502Bが、ディスプレイ3a(第1の表示装置)の画像(画像データ)が変化したか否かを判断する(図19のステップS52参照)。その後、電子黒板2Baでは、閲覧送信制御部500において、画面変化検知部502Bがディスプレイ3aの画像(画像データ)が変化したものと判断すると、HTTP画面共有部501Bが送信用画像データをPC8(そのブラウザ)に送信する(図19のステップS53参照)。また、電子黒板2Baでは、画面変化検知部502Bがディスプレイ3aの画像(画像データ)が変化していないものと判断すると、HTTP画面共有部501Bは送信用画像データをPC8に送信しない。
この一連の動作は、実施例1および実施例2と同様に、2秒毎に繰り返されるものとされている。その一連の動作では、画面変化検知部502Bにページ切り替えあるいはストローク編集のフラグが立っているか否か、または送信用画像データが変化した否かに応じて、送信用画像データの送信が適宜行われる。そのページ切り替えのフラグが立てられる際の処理は、実施例1の電子黒板2aと同様に、図21の処理により行われる。また、ストローク編集のフラグが立てられる際の処理は、実施例2の電子黒板2Baと同様に、図23の処理により行われる。そして、電子黒板2Baでは、送信用画像データが変化した否かの判断を可能とするために、画面変化検知部502Bが一時的に送信用画像データを記憶する。
次に、主催装置(サーバ部)としての実施例3の電子黒板2Baにおいて、その画面変化検知部502Bが一時的に送信用画像データを記憶する際の処理について、図25を用いて説明する。この図25に示す例では、閲覧送信制御部500の画面変化検知部502Bが、ディスプレイ3の画像(画像データ)に変化があると判断(図24のフローチャートのステップS102)した後における場面を示している。
このため、電子黒板2Baでは、画面変化検知部502Bが、ディスプレイ3の画面(その画像(画像データ))に変化があると判断する(ステップS111)。また、このステップS111では、画面変化検知部502Bが、今回の遠隔共有処理が開始されてから初めてPC8へと送信用画像データを送信する場面であると判断した場合(後述する図26のフローチャートのステップS127参照)も含むものとする。
次に、電子黒板2Baでは、閲覧送信制御部500において、HTTP画面共有部501Bが、画面変化検知部502Bが生成した送信用画像データを取得する(ステップS112)。
次に、電子黒板2Baでは、閲覧送信制御部500のHTTP画面共有部501Bが、取得した送信用画像データをPC8(そのブラウザ)に送信する(ステップS113)。この動作は、図19のステップS53の動作に相当する。このため、PC8では、送信された送信用画像データに基づく画像を表示させる。
そして、電子黒板2Baでは、閲覧送信制御部500のHTTP画面共有部501Bが、送信用画像データをPC8に送信した旨の信号を、同じく閲覧送信制御部500の画面変化検知部502Bに送信する(ステップS114)。
すると、電子黒板2Baでは、画面変化検知部502Bが、HTTP画面共有部501Bが送信した送信用画像データを一時的に記憶する(ステップS115)。この送信用画像データは、送信した旨の信号を受け取る際に当該HTTP画面共有部501Bから同時に受け取るものとしてもよい。
これにより、実施例3の電子黒板2Baでは、HTTP画面共有部501BからPC8へと送信用画像データを送信すると、その送信した送信用画像データを一時的に記憶することができる。このため、電子黒板2Baでは、閲覧送信制御部500の画面変化検知部502Bにおいて、新たに生成した送信用画像データが、先に送付した送信用画像データから変化したか否かを判断することが可能となる。
次に、実施例3の電子黒板2Baにおいて、その画面変化検知部502Bが、送信用画像データの送信要求を受信する前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する際の処理について、図26を用いて説明する。この図26に示す例では、閲覧送信制御部500の画面変化検知部502Bが、送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する場面(図24のフローチャートのステップS104)を示している。
画面変化検知部502Bでは、画像処理部30の表示重畳部36(図3参照)で重畳された画像(その画像データ)を取得し、その画像(画像データ)に基づいて送信用画像データを生成して、ステップS122へ進む(ステップS121)。
次に、画面変化検知部502Bでは、閲覧送信制御部500のHTTP画面共有部501Bが、先に送信用画像データをPC8に送信したか否かを判断し、Yesの場合はステップS123へ進み、Noの場合はステップS127へ進む(ステップS122)。この先に送信用画像データをPC8に送信したか否かを判断は、例えば、HTTP画面共有部501Bが送信した際に送信フラグを立てて当該送信フラグが立っているか否かを判断することにより行うことができる。また、この判断は、当該画面変化検知部502Bが送信用画像データを一時的に記憶しているか否かを判断することにより行うものであってもよい。
そして、画面変化検知部502Bでは、先に送信用画像データをPC8に送信したと判断した場合、ステップS121で生成した送信用画像データと、一時的に記憶した送信用画像データと、を比較して、ステップS124へ進む(ステップS123)。このステップS123では、上述したように、双方の送信用画像データにおける等しい座標位置となる両画素におけるRGB値が一致するか否かを判断することを全ての画素に対して行うことにより、両送信用画像データを比較する。
次に、画面変化検知部502Bでは、ステップS123での比較の結果に基づいて、異なる画素数が変化閾値(送信用画像データの全体の画素数の所定の割合(実施例3では5%))を超えたか否かを判断する(ステップS124)。そして、ステップS124では、Yesの場合はステップS125へ進み、Noの場合はステップS126へ進む。
画面変化検知部502Bでは、ステップS124での比較により変化閾値(5%)を超えていると判断した場合、両送信用画像データに変化があるものと判断する(ステップS125)。これにより、画面変化検知部502Bでは、新たに生成した送信用画像データが先に送付した送信用画像データから変化したものと判断し、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるものと判断する。
また、画面変化検知部502Bでは、ステップS124での比較により変化閾値(5%)を超えていないと判断した場合、両送信用画像データに変化がないものと判断する(ステップS126)。これにより、画面変化検知部502Bでは、新たに生成した送信用画像データが先に送付した送信用画像データから変化していないものと判断し、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異ならないものと判断する。
さらに、画面変化検知部502Bでは、ステップS122で先に送信用画像データをPC8に送信していないと判断した場合、今回の遠隔共有処理が開始されてから初めてPC8へと送信用画像データを送信する場面であると判断する(ステップS127)。
このように、実施例3の画像処理システム1Bでは、生成した送信用画像データが、先に送信したものであって一時的に記憶した送信用画像データから変化しているか否かを画面変化検知部502Bで判断する。その生成した送信用画像データは、画像処理部30の表示重畳部36(図3参照)で重畳された画像(その画像データ)を取得し、その画像(画像データ)に基づいて生成している。このため、画像処理システム1Bでは、画面変化検知部502Bが、主催装置(サーバ部)としての電子黒板2Baのディスプレイ3a(第1の表示装置)に表示されている画像(画像データ)が変化したか否かを判断することができる。
また、画像処理システム1Bでは、主催装置(サーバ部)としての電子黒板2Baのディスプレイ3a(第1の表示装置)に表示される画像(画像データ)に対するストローク描画操作が為されると、画面変化検知部502Bにストローク編集のフラグを立てる。さらに、画像処理システム1Bでは、電子黒板2Baのディスプレイ3aに表示される画像(画像データ)のページ切り替えを行う操作(ページ切替操作)が為されると、画面変化検知部502Bにページ切り替えのフラグを立てる。そして、画像処理システム1Bでは、PC8(第2の表示装置)が画面請求のリクエストをHTTP画面共有部501Bに送信した際に、画面変化検知部502Bにいずれか一方の当該フラグが立っていると、PC8に送信用画像データを送信する。加えて、画像処理システム1Bでは、双方の当該フラグが立っていない場合、送信要求の前後でディスプレイ3a(第1の表示装置)の画像(画像データ)が異なる場合には、PC8に送信用画像データを送信する。これにより、画像処理システム1Bでは、主催装置(サーバ部)としての電子黒板2Baのディスプレイ3a(第1の表示装置)に表示された画像(画像データ)を、第2の表示装置(各PC8)に表示(共用)させることができ、当該第2の表示装置による閲覧を可能とすることができる。
なお、この実施例3では、閲覧送信制御部500の画面変化検知部502Bが単に電子黒板2Bに設けられていたが、HTTPサーバ内部のモジュールとして設けられる、すなわちサーバ部90に内蔵されるものであってもよい。この場合、画面変化検知部502B内のページ切り替えやストローク編集のフラグを立てるための、当該画面変化検知部502Bとストローク処理部32またはページ処理部37との間での通信は、Socketを利用することで容易なものとすることができる。
<実施例3の主な効果>
本発明に係る画像処理システムの一実施例としての実施例3の画像処理装置としての電子黒板2Bでは、基本的には実施例2の電子黒板2Aと等しい構成であることから、同様の効果を得ることができる。
それに加えて、実施例3の電子黒板2Bでは、画面変化検知部502Bが、ページ切替操作およびストローク描画操作が為されていないと、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する。そして、電子黒板2Bでは、送信要求の前後で画像(画像データ)が異なると判断した場合、ディスプレイ3a(第1の表示装置)の画像(画像データ)に変化があったものと判断する。加えて、電子黒板2Bでは、送信要求の前後で画像(画像データ)が異ならないと判断した場合、ディスプレイ3a(第1の表示装置)の画像(画像データ)に変化がないものと判断する。このように、電子黒板2Bでは、ページ切替操作およびストローク描画操作が為されていない場合のみ、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する。このため、電子黒板2Bでは、ディスプレイ3a(第1の表示装置)の画像(画像データ)の変化の有無を判断する際のCPU101の利用率を極めて小さなものとすることができるとともに、ディスプレイ3a(第1の表示装置)の画像(画像データ)の変化を確実に把握することができる。
また、電子黒板2Bでは、ディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が変化する場面として、極めて多くの割合を占めるものと考えられるページ切替操作およびストローク描画操作の有無を先に判断する。そして、電子黒板2Bでは、ページ切替操作およびストローク描画操作が為されていないと、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する。このため、電子黒板2Bでは、ディスプレイ3a(第1の表示装置)の画像(画像データ)の変化の有無を判断する際により効率良くCPU101を利用することができるとともに、ディスプレイ3a(第1の表示装置)の画像(画像データ)の変化を確実に把握することができる。
さらに、電子黒板2Bでは、ページ切替操作およびストローク描画操作の有無を判断する際に、ページ切り替えのフラグまたはストローク編集のフラグのいずれか一方が立てられているか否かを判断する。また、電子黒板2Bでは、画面変化検知部502Bが、ページ切り替えのフラグおよびストローク編集のフラグの双方が立てられていないと、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する。このように、電子黒板2Bでは、ページ切替操作およびストローク描画操作の有無の判断の際のCPU101の利用率をより小さなものとすることができるとともに、ディスプレイ3a(第1の表示装置)の画像(画像データ)の変化を確実に把握することができる。
電子黒板2Bでは、生成した送信用画像データが一時的に記憶した送信用画像データから変化したか否かを判断することにより、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する。このため、電子黒板2Bでは、PC8(第2の表示装置)へと送信用画像データを送信するための動作を利用して、送信要求の前後で画像(画像データ)が異なるか否かを判断することができる。加えて、電子黒板2Bでは、先にPC8に送信した送信用画像データと、PC8にこれから送信する送信用画像データと、を比較に用いていることから、効率よく比較することができ、PC8に表示させる画像(画像データ)を適切に更新することができる。このことから、電子黒板2Bでは、送信要求の前後でディスプレイ3a(第1の表示装置)の画像(画像データ)が異なるか否かの判断のための構成を簡易なものとしつつ、より適切にかつ効率よくPC8(第2の表示装置)による画像(画像データ)の閲覧を可能とすることができる。
電子黒板2Bでは、生成した送信用画像データと一時的に記憶した送信用画像データとを比較することにより、ディスプレイ3a(第1の表示装置)の画像(画像データ)に変化があったか否かを判断する。その電子黒板2Bでは、その送信用画像データを、画像処理部30の表示重畳部36(図3参照)で重畳された画像(その画像データ)を取得し、その画像(画像データ)に基づいて生成する。このため、電子黒板2Bでは、主催装置(サーバ部)としての電子黒板2Baのディスプレイ3a(第1の表示装置)に表示されている画像(画像データ)が変化した場合には、その変化を確実に把握することができる。このことから、電子黒板2Bでは、ディスプレイ3の画像(画像データ)が変化した際には、HTTP画面共有部501BがPC8に送信用画像データを確実に送信することができる。これにより、電子黒板2Bでは、ディスプレイ3aに表示された画像(画像データ)を、PC8に適切に表示(共用)させることができる。
電子黒板2Bでは、先にHTTP画面共有部501BがPC8(第2の表示装置)へと送信する送信用画像データと、当該HTTP画面共有部501BからPC8へと送信させるべく生成した送信用画像データと、を比較するものとしている。このため、電子黒板2Bでは、HTTP画面共有部501BがPC8へと送信用画像データを送信した際、その送信した送信用画像データを記憶する構成として、両送信用画像データを比較するものとすればよい。このため、電子黒板2Bでは、簡易な構成としつつCPU101の利用率をより下げることができ、PC8(第2の表示装置)による画像(画像データ)の閲覧を可能とすることができる。
本発明に係る画像処理システムの一実施例としての実施例3の画像処理システム1Bでは、上記した実施例3の電子黒板2B(画像処理装置)によりPC8(第2の表示装置)による画像(画像データ)の閲覧を可能とするものであることから、上述した各効果を得ることができる。
したがって、本発明に係る実施例3の画像処理装置としての電子黒板2Bでは、CPU101(制御部)の利用率を抑制しつつ第2の表示装置としてのPC8による第1の表示装置としてのディスプレイ3に表示された画像データの閲覧を可能とすることができる。
なお、実施例の3の電子黒板2Bでは、一時的に記憶した送信用画像データと生成した送信用画像データとを比較していた。しかしながら、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)を比較するものであればよく、上記した実施例3に限定されるものではない。
次に、本発明に係る画像処理装置および画像処理システムの一実施例としての実施例4の画像処理装置(電子黒板2C)およびそれを用いた画像処理システム1Cについて、図27から図29を用いて説明する。この実施例4の画像処理装置(電子黒板2C)および画像処理システム1Cは、画面変化検知部502Cが、送信用画像データを複数のグリッドに分割し、その各グリッドを用いて両送信用画像データを比較するとともに当該送信用画像データを送信するものである。実施例4の画像処理装置(電子黒板2C)および画像処理システム1Cは、基本的な構成は上記した実施例3の画像処理装置(電子黒板2B)および画像処理システム1Bと同様であることから、等しい構成の個所には同じ符号を付し、その詳細な説明は省略する。
図27は、実施例4の画面変化検知部502Cにおいて、送信用画像データを複数のグリッドに分割した様子を示す説明図である。また、図28は、参加装置としてのPC8と、主催装置としての電子黒板2Caにおける閲覧送信制御部500のHTTP画面共有部501Cおよび画面変化検知部502Cと、の送信用画像データを一時的に記憶する際の処理を示したシーケンス図である。図29は、実施例4の画面変化検知部502Cにおいて実行される送信用画像データの送信要求を受信する前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する判断処理を示すフローチャートである。
実施例4の電子黒板2Cでは、画面変化検知部502Cにおいて、実施例3の電子黒板2Bと同様に、ページ切替操作が為されたか否かを判断し、当該操作が為された場合、ディスプレイ3の画像(画像データ)を変化させる操作が為されたものと判断する。また、画面変化検知部502Cは、ページ切替操作が為されていない場合、実施例3の電子黒板2Bと同様に、ストローク描画操作が為されたか否かを判断する。さらに、実施例4の画面変化検知部502Cは、ストローク描画操作が為されていると、実施例3の電子黒板2Bと同様に、ディスプレイ3の画像(画像データ)を変化させる操作が為されたものと判断する。そして、画面変化検知部502Cは、ストローク描画操作が為されていないと、実施例3の電子黒板2Bと同様に、画面請求のリクエストの前後における当該画面変化検知部502Cで生成した2つの送信用画像データを比較する。画面変化検知部502Cは、双方の送信用画像データが異なるものと判断すると、ディスプレイ3の画像(画像データ)が変化したものと判断し、双方の送信用画像データが等しいものと判断すると、ディスプレイ3の画像(画像データ)が変化していないものと判断する。そして、この画面変化検知部502Cでは、双方の送信用画像データが異なるか否かの判断方法が、実施例3の電子黒板2Bとは異なるものとされている。
この画面変化検知部502Cは、送信用画像データを複数のグリッドに分割することが可能とされており、実施例3では、図27に示すように、送信用画像データを16×9のグリッドに分割することが可能とされている。画面変化検知部502Cは、画面請求のリクエストの前後における当該画面変化検知部502Cで生成した2つの送信用画像データを比較する際、この分割したグリッド毎に比較する。加えて、閲覧送信制御部500のHTTP画面共有部501Cは、送信用画像データをグリッド単位で取得することができるとともに、PC8に送信用画像データをグリッド単位で送信することができる。このように、画面変化検知部502Cは、実施例4では、画面請求のリクエストの前後における送信用画像データをグリッド単位で比較することが可能とされており、その比較結果に基づいてディスプレイ3(第1の表示装置)の画像(画像データ)の変化の有無を判断する。具体的には、以下の動作が行われる。
画面変化検知部502Cは、閲覧送信制御部500のHTTP画面共有部501Cが、送信用画像データを送信すると、その送信した送信用画像データを一時的に記憶する。この送信した送信用画像データの一時的な記憶は、閲覧送信制御部500に一時的な記憶のためのメモリ部を設けるものであってもよく、クライアント部20やサーバ部90の記憶部の一部を用いるものであってもよい。また、送信した送信用画像データの一時的な記憶は、幾つかのグリッドのみが送信された場合、次のように行う。画面変化検知部502Cは、幾つかのグリッドのみが送信された場合、その送信されたグリッド(そのデータ)を、先に記憶した送信用画像データにおける対応するグリッドの位置に配置する。そして、画面変化検知部502Cでは、その配置した変化した各グリッド(そのデータ)を先に記憶した送信用画像データに合成して、新たな送信用画像データを再構成し、その再構成した送信用画像データを記憶する。
また、画面変化検知部502Cは、一時的に記憶した送信用画像データと、生成した送信用画像データと、をグリッド単位での比較を行うことが可能とされている。この両送信用画像データのグリッド単位での比較では、双方の画像データにおける等しい座標位置となるグリッド同士を比較することを、全てのグリッドに対して行う。そして、各グリッド同士の比較では、各グリッドにおける等しい座標位置となる各画素のRGB値が一致するか否かの判断を、全ての画素に対して行う。そして、RGB値が異なる画素数が、グリッド内における変化閾値(グリッドの全体の画素数の所定の割合)を超えている場合は、当該両グリッドに変化があるものと判断し、超えていない場合は、当該両グリッドに変化がないものと判断する。
その変化閾値は、実施例3では送信用画像データの全体に対して設定されていたが、実施例4ではグリッド(グリッドにおけるデータの全体)に対して設定されていることを除くと、実施例3と同様である。すなわち、実施例4での変化閾値は、各グリッドの全体の画素数における所定の割合(当該割合となる個数)で示すものとして、その所定の割合を適宜設定可能なものとしている。変化閾値は、実施例4では各グリッドの全体の画素数の5%(5%となる個数)に設定している。その2つの送信用画像データのグリッド同士における各画素におけるRGB値が一致するか否かの判断は、実施例3と同様に、XORゲートを用いて、双方の等しい座標位置となる両画素におけるRGB値の排他的論理和を求めることで行う。
これにより、画面変化検知部502Cは、一時的に記憶した送信用画像データと、生成した送信用画像データと、の間で変化したグリッドが存在するか否かを判断する。そして、画面変化検知部502Cは、変化したグリッドが存在する場合には、両送信用画像データに変化があるものと判断し、ディスプレイ3(第1の表示装置)の画像(画像データ)が異なるものと判断する。また、画面変化検知部502Cは、変化したグリッドが存在しない場合には、両送信用画像データに変化がないものと判断し、ディスプレイ3(第1の表示装置)の画像(画像データ)が異ならないものと判断する。このため、画面変化検知部502Cは、第1の表示装置としてのディスプレイ3に表示される画像(画像データ)が変化したか否かを判断する判断部として機能する。
なお、この両送信用画像データの比較は、双方のサイズを縮小した比較用画像データを生成して、それらを複数のグリッドに分割して上記した方法と同様に比較することにより行うものとしてもよい。この場合、2つの送信用画像データの各グリッドにおける細かい差を検出することは困難となるが、比較の動作を簡易なものとすることができ、CPU101の利用率を下げることができる。この比較用画像データの縮小は、例えば、1/4サイズに縮小する場合、互いに隣り合う4つの画素におけるRGB値の平均値を求めることにより実行することができる。
<実施例4の特徴的な処理または動作>
実施例4の電子黒板2Cでは、ステップS104での画面変化検知部502Cによる画面請求のリクエストの前後での両送信用画像データの変化の有無の判断における処理内容が異なることを除くと、実施例3の電子黒板2Bと同様の図24に示す処理を行う。このため、以下では、主催装置(サーバ部)としての実施例4の電子黒板2Caにおいて、その画面変化検知部502Cが一時的に送信用画像データを記憶する際の処理について、図28を用いて説明する。この図28に示す例では、閲覧送信制御部500の画面変化検知部502Cが、ディスプレイ3aの画像(画像データ)に変化があると判断(図24のフローチャートのステップS102)した後における場面を示している。
このため、電子黒板2Caでは、画面変化検知部502Cが、ディスプレイ3の画面(その画像(画像データ))に変化があると判断する(ステップS131)。また、このステップS131では、画面変化検知部502Cが、今回の遠隔共有処理が開始されてから初めてPC8へと送信用画像データを送信する場面であると判断した場合(後述する図29のフローチャートのステップS148参照)も含むものとする。
次に、電子黒板2Caでは、閲覧送信制御部500において、HTTP画面共有部501Cが、画面変化検知部502Cが生成した送信用画像データを取得する(ステップS132)。このとき、HTTP画面共有部501Cは、今回の遠隔共有処理が開始されてから初めてPC8へと送信用画像データを送信する場面である場合、送信用画像データ全体すなわち全てのグリッド(そのデータ)を取得する。また、HTTP画面共有部501Cは、ページ切替操作が為された場合(図24のフローチャートのステップS101→ステップS102参照)、送信用画像データ全体すなわち全てのグリッド(そのデータ)を取得する。さらに、HTTP画面共有部501Cは、ストローク描画操作が為された場合(図24のフローチャートのステップS101→ステップS103→ステップS102参照)、送信用画像データ全体すなわち全てのグリッド(そのデータ)を取得する。加えて、HTTP画面共有部501Cは、両送信用画像データが異なる場合(図24のフローチャートのステップS101→ステップS103→ステップS104→ステップS102参照)、送信用画像データのうちの変化した各グリッド(そのデータ)を取得する。
次に、電子黒板2Caでは、閲覧送信制御部500のHTTP画面共有部501Cが、取得した送信用画像データをPC8(そのブラウザ)に送信する(ステップS133)。この動作は、図19のステップS53の動作に相当する。このとき、HTTP画面共有部501Cは、送信用画像データ全体(全てのグリッド(そのデータ))を取得した場合、その送信用画像データ全体(全てのグリッド(そのデータ))をPC8に送信する。また、HTTP画面共有部501Cは、送信用画像データのうちの変化した各グリッド(そのデータ)を取得した場合、その変化した各グリッド(そのデータ)をPC8に送信する。
すると、PC8(そのブラウザ)では、送信された送信用画像データを適宜再構成して、当該送信用画像データに基づく画像を表示させる(ステップS134)。このとき、PC8(そのブラウザ)では、送信用画像データ全体(全てのグリッド(そのデータ))が送信された場合、その送信用画像データに基づく画像を表示させる。また、PC8(そのブラウザ)では、送信用画像データのうちの変化した各グリッド(そのデータ)が送信された場合、その送信されたグリッド(そのデータ)を、先に表示させた送信用画像データにおける対応するグリッドの位置に配置する。そして、PC8(そのブラウザ)では、その配置した変化した各グリッド(そのデータ)を先に表示させた送信用画像データに合成して、新たな送信用画像データを再構成し、その再構成した送信用画像データに基づく画像を表示させる。
そして、電子黒板2Caでは、閲覧送信制御部500のHTTP画面共有部501Cが、送信用画像データをPC8に送信した旨の信号を、同じく閲覧送信制御部500の画面変化検知部502Cに送信する(ステップS135)。
すると、電子黒板2Caでは、画面変化検知部502Cが、HTTP画面共有部501Cが送信した送信用画像データを適宜再構成して一時的に記憶する(ステップS136)。この送信用画像データは、送信した旨の信号を受け取る際に当該HTTP画面共有部501Cから同時に受け取るものとしてもよい。このとき、画面変化検知部502Cでは、HTTP画面共有部501Cに送信用画像データ全体(全てのグリッド(そのデータ))を取得させた場合、その送信用画像データを記憶する。また、画面変化検知部502Cでは、HTTP画面共有部501Cに送信用画像データのうちの変化した各グリッド(そのデータ)を取得させた場合、その変化したグリッド(そのデータ)を先に表示させた送信用画像データに合成して再構成する。そして、画面変化検知部502Cでは、その再構成した送信用画像データを記憶する。
これにより、実施例4の電子黒板2Caでは、HTTP画面共有部501CからPC8へと送信用画像データを送信すると、当該送信用画像データを一時的に記憶することができる。そして、電子黒板2Caでは、送信用画像データのうちの変化した各グリッド(そのデータ)を送信すると、その変化した各グリッド(そのデータ)に基づいて再構成された送信用画像データを一時的に記憶することができる。このため、電子黒板2Caでは、閲覧送信制御部500の画面変化検知部502Cにおいて、新たに生成した送信用画像データが、先に送付した送信用画像データから変化したか否かを判断することが可能となる。
次に、実施例4の電子黒板2Caにおいて、その画面変化検知部502Cが、送信用画像データの送信要求を受信する前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する際の処理について、図29を用いて説明する。この図29に示す例では、閲覧送信制御部500の画面変化検知部502Cが、送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるか否かを判断する場面(図24のフローチャートのステップS104)を示している。
画面変化検知部502Cでは、画像処理部30の表示重畳部36(図3参照)で重畳された画像(その画像データ)を取得し、その画像(画像データ)に基づいて送信用画像データを生成して、ステップS142へ進む(ステップS141)。
次に、画面変化検知部502Cでは、ステップS141で生成した送信用画像データを複数のグリッド(実施例4では16×9のグリッド(図27参照))に分割して、ステップS143へ進む(ステップS142)。
次に、画面変化検知部502Cでは、閲覧送信制御部500のHTTP画面共有部501Cが、先に送信用画像データをPC8に送信したか否かを判断し、Yesの場合はステップS144へ進み、Noの場合はステップS148へ進む(ステップS143)。このステップS143は、図26のフローチャートのステップS122と同様である。
そして、画面変化検知部502Cでは、先に送信用画像データをPC8に送信したと判断した場合、ステップS141で生成した送信用画像データと、一時的に記憶した送信用画像データと、を比較して、ステップS145へ進む(ステップS144)。このステップS144では、上述したように、双方の送信用画像データの等しい座標位置となるグリッドにおいて、等しい座標位置となる両画素におけるRGB値が一致するか否かを判断することを全ての画素に対して行う。そして、ステップS144では、上述したように、この比較動作を、双方の送信用画像データにおける全てのグリッドに対して行うことにより、両送信用画像データを比較する。
次に、画面変化検知部502Cでは、ステップS144での比較の結果、変化したグリッドが存在するか否かを判断し、Yesの場合はステップS146へ進み、Noの場合はステップS147へ進む(ステップS145)。このステップS145では、各グリッドにおいて、異なる画素数が変化閾値(実施例4ではグリッド全体の画素数の5%)を超えたか否かを判断する。そして、画面変化検知部502Cでは、変化閾値(5%)を超えた場合、当該グリッドが変化したものと判断し、変化閾値(5%)を超えていない場合、当該グリッドが変化していないものと判断する。これにより、画面変化検知部502Cでは、グリッド毎に変化したか否かを判断することができる。そして、画面変化検知部502Cでは、両送信用画像データにおいて、変化したグリッドが1つでも存在する場合にはYesとしてステップS146へ進み、いずれもグリッドも変化してない場合にはNoとしてステップS147へ進む。
画面変化検知部502Cでは、ステップS145での比較の結果、変化したグリッドが1つでも存在する場合には、両送信用画像データに変化があるものと判断する(ステップS146)。これにより、画面変化検知部502Cでは、新たに生成した送信用画像データが先に送付した送信用画像データから変化したものと判断し、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異なるものと判断する。
また、画面変化検知部502Cでは、ステップS145での比較の結果、いずれもグリッドも変化してない場合には、両送信用画像データに変化がないものと判断する(ステップS147)。これにより、画面変化検知部502Cでは、新たに生成した送信用画像データが先に送付した送信用画像データから変化していないものと判断し、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)が異ならないものと判断する。
さらに、画面変化検知部502Cでは、ステップS143で先に送信用画像データをPC8に送信していないと判断した場合、今回の遠隔共有処理が開始されてから初めてPC8へと送信用画像データを送信する場面であると判断する(ステップS148)。
このように、実施例4の画像処理システム1Cでは、生成した送信用画像データが、先に送信したものであって一時的に記憶した送信用画像データから変化しているか否かを、画面変化検知部502Cがグリッド毎の比較に基づいて判断する。その生成した送信用画像データは、画像処理部30の表示重畳部36(図3参照)で重畳された画像(その画像データ)を取得し、その画像(画像データ)に基づいて生成している。このため、画像処理システム1Cでは、画面変化検知部502Cが、主催装置(サーバ部)としての電子黒板2Caのディスプレイ3a(第1の表示装置)に表示されている画像(画像データ)が変化したか否かをグリッド毎の比較により判断することができる。
また、画像処理システム1Cでは、主催装置(サーバ部)としての電子黒板2Caのディスプレイ3a(第1の表示装置)に表示される画像(画像データ)に対するストローク描画操作が為されると、画面変化検知部502Cにストローク編集のフラグを立てる。さらに、画像処理システム1Cでは、電子黒板2Caのディスプレイ3aに表示される画像(画像データ)のページ切り替えを行う操作(ページ切替操作)が為されると、画面変化検知部502Cにページ切り替えのフラグを立てる。そして、画像処理システム1Cでは、PC8(第2の表示装置)が画面請求のリクエストをHTTP画面共有部501Cに送信した際に画面変化検知部502Cにいずれか一方の当該フラグが立っていると、PC8に送信用画像データを送信する。加えて、画像処理システム1Cでは、双方の当該フラグが立っていない場合であって、ディスプレイ3a(第1の表示装置)の画像(画像データ)が変化している場合には、送信用画像データのうちの変化した各グリッド(そのデータ)をPC8に送信する。これにより、画像処理システム1Cでは、主催装置(サーバ部)としての電子黒板2Caのディスプレイ3a(第1の表示装置)に表示された画像(画像データ)を、第2の表示装置(各PC8)に表示(共用)させることができ、当該第2の表示装置による閲覧を可能とすることができる。
なお、この実施例4では、閲覧送信制御部500の画面変化検知部502Cが単に電子黒板2Cに設けられていたが、HTTPサーバ内部のモジュールとして設けられる、すなわちサーバ部90に内蔵されるものであってもよい。この場合、画面変化検知部502C内のページ切り替えやストローク編集のフラグを立てるための、当該画面変化検知部502Cとストローク処理部32またはページ処理部37との間での通信は、Socketを利用することで容易なものとすることができる。
<実施例4の主な効果>
本発明に係る画像処理システムの一実施例としての実施例4の画像処理装置としての電子黒板2Cでは、基本的には実施例3の電子黒板2Bと等しい構成であることから、同様の効果を得ることができる。
それに加えて、実施例4の電子黒板2Cでは、生成した送信用画像データと一時的に記憶した送信用画像データとを、グリッド毎に各画素におけるRGB値を比較することにより、グリッド毎に変化したか否かを判断する。そして、電子黒板2Caでは、変化したグリッドが存在すると両送信用画像データが変化したものと判断し、ディスプレイ3aの画像(画像データ)が変化したものと判断する。このため、電子黒板2Cでは、両送信用画像データにおいて、変化の有無をグリッド単位で把握することができる。これにより、電子黒板2Cでは、両送信用画像データの変化によりディスプレイ3aの画像(画像データ)が変化した場合、送信用画像データのうちの変化した各グリッド(そのデータ)のみをHTTP画面共有部501CからPC8へと送信させることができる。これにより、電子黒板2Cでは、ディスプレイ3aに表示された画像(画像データ)をPC8に適切に表示(共用)させつつ、そのために送信するデータ量を減らすことができる。よって、電子黒板2Cでは、送信用画像データの送信に要するネットワークの帯域のスループットを低減することができる。
本発明に係る画像処理システムの一実施例としての実施例4の画像処理システム1Cでは、上記した実施例4の電子黒板2C(画像処理装置)によりPC8(第2の表示装置)による画像(画像データ)の閲覧を可能とするものであることから、上述した各効果を得ることができる。
したがって、本発明に係る実施例4の画像処理装置としての電子黒板2Cでは、CPU101(制御部)の利用率を抑制しつつ第2の表示装置としてのPC8による第1の表示装置としてのディスプレイ3に表示された画像データの閲覧を可能とすることができる。
なお、実施例4の電子黒板2Cでは、一時的に記憶した送信用画像データと生成した送信用画像データとをグリッド単位で比較していた。しかしながら、送信用画像データの送信要求の前後でディスプレイ3a(第1の表示装置)に表示された画像(画像データ)をグリッド単位で比較するものであればよく、上記した実施例4に限定されるものではない。
なお、上記した各実施例では、本発明に係る画像処理装置の一例としての電子黒板2、2A、2B、2Cについて説明したが、画像データが表示される第1の表示装置および第2の表示装置がネットワークを介して接続され、画像データを処理する画像処理装置であって、前記画像処理装置は、前記第2の表示装置からの画像データの送信要求を受信する受信部と、前記第1の表示装置に表示される画像データがユーザによる操作に基づいて変化したか否かを判断する判断部と、画像データを前記第2の表示装置に送信する送信部と、を備え、前記送信部は、前記判断部が前記第1の表示装置に表示される画像データが、ユーザによる操作に基づいて変化していると判断した場合、画像データを前記第2の表示装置に送信する画像処理装置であればよく、上記した各実施例に限定されるものではない。
また、上記した各実施例では、第1の表示装置(ディスプレイ3)に表示される画像(画像データ)を変化させるユーザによる操作として、画像(画像データ)のページを切り替えるページ切替操作、および第1の表示装置に表示された画像(画像データ)に描画するストローク描画操作の例を示していた。しかしながら、第1の表示装置(ディスプレイ3)に表示される画像(画像データ)を変化させる操作であれば、他の操作であってもよく、上記した各実施例に限定されるものではない。なお、この他の操作とする場合であっても、当該他の操作が為された際に判断部(画面変化検知部502等)に操作実行フラグを立てるようにすると、ストローク編集のフラグやページ切り替えのフラグを立てた場合と同様の効果を得ることができる。
さらに、上記した実施例2では、判断部(画面変化検知部502A)において、ページ切替操作が為されていない場合に、ストローク描画操作が為されたか否かを判断するものとされていた。しかしながら、ページ切替操作の実行の有無の判断を行うことなく、ストローク描画操作の実行の有無の判断を行うものであってもよく、実施例2の構成に限定されるものではない。同様に、ストローク描画操作の実行が為されていない場合にページ切替操作の実行の有無の判断を行うものであってもよく、実施例2の構成に限定されるものではない。
上記した各実施例では、操作実行フラグ(ストローク編集のフラグやページ切り替えのフラグ)が立っているか否かを判断することにより、第1の表示装置(ディスプレイ3)に表示される画像(画像データ)を変化させる操作が為されたか否かを、判断していた。しかしながら、第1の表示装置(ディスプレイ3)に表示される画像(画像データ)を変化させるユーザによる操作が為されたことを他の方法により判断するものであってもよく、上記した各実施例に限定されるものではない。
上記した実施例3および実施例4では、判断部(画面変化検知部502B、502C)が、ページ切替操作およびストローク描画操作が為されていない場合に、送信要求の前後で第1の表示装置(ディスプレイ3a)の画像(画像データ)が異なるか否かを判断していた。しかしながら、ページ切替操作またはストローク描画操作のいずれか一方の実行の有無を判断するものとして、送信要求の前後で第1の表示装置の画像(画像データ)が異なるか否かを判断するものであってもよく、実施例3および実施例4の構成に限定されるものではない。この場合、ページ切替操作またはストローク描画操作のいずれであっても、当該操作が為されていない場合に、送信要求の前後で第1の表示装置の画像(画像データ)が異なるか否かを判断するものとすればよい。同様に、第1の表示装置(ディスプレイ3)に表示される画像(画像データ)を変化させる他の操作が為されていない場合に、送信要求の前後で第1の表示装置の画像(画像データ)が異なるか否かを判断するものであってもよく、実施例3および実施例4の構成に限定されるものではない。
以上、本発明の画像処理装置および画像処理システムを各実施例に基づき説明してきたが、具体的な構成については各実施例に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。