以下、図面を用いて、本発明の一実施形態を説明する。
<システムの概要>
図1は、本実施形態の画像処理システムの一例を示す全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板2a、2b及びこれに付随する電子ペン4a、4b等を示しているだけであって、3台以上の電子黒板又は電子ペン等が、利用されてもよい。
図1に示すように、画像処理システム1は、複数の電子黒板2a、2b、複数の電子ペン4a、4b、USBメモリ5a、5b、ノートPC(Personal Computer)6a、6b、テレビ(ビデオ)会議端末7a、7b及びPC8を有する。また、電子黒板2a、2b及びPC8は、通信ネットワーク9を介して通信可能に接続される。さらに、複数の電子黒板2a、2bには、それぞれディスプレイ3a、3bが設けられる。
また、電子黒板2aは、電子ペン4aによって生じたイベント(ディスプレイ3aに対して、電子ペン4aのペン先又は電子ペン4aのペン尻によるタッチ)で描画される画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの手Ha等によって生じるイベント(拡大、縮小又はページめくり等のジェスチャ)に基づいて、電子黒板2aは、ディスプレイ3a上に表示されている画像を変更することもできる。
また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aは、USBメモリ5aからPDF等の電子ファイルを読み出したり、電子黒板2aは、USBメモリ5aに電子ファイルを記憶したりできる。また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High−Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続される。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウス又はキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、電子黒板2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続される。なお、ノートPC6a及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置される他の拠点では、上記と同様に、ディスプレイ3bを備える電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1及びケーブル10b2が利用される。さらに、ユーザの手Hb等によって生じるイベントに基づいて、電子黒板2bは、ディスプレイ3b上に表示されている画像を変更することもできる。
これにより、ある拠点で、電子黒板2aが有するディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bが有するディスプレイ3b上に表示される。逆に、他の拠点で電子黒板2bが有するディスプレイ3b上に描画された画像は、ある拠点で電子黒板2aが有するディスプレイ3a上に表示される。このように、画像処理システム1は、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、便利である。
<用語について>
なお、以下の例では、複数の電子黒板のうち、任意の電子黒板を示す場合には「電子黒板2」という。また、複数のディスプレイのうち、任意のディスプレイを示す場合には「ディスプレイ3」という。さらに、複数の電子ペンのうち、任意の電子ペンを示す場合には「電子ペン4」という。さらにまた、複数のUSBメモリのうち、任意のUSBメモリを示す場合には「USBメモリ5」という。他にも、複数のノートPCのうち、任意のノートPCを示す場合には「ノードPC6」という。また、複数のテレビ会議端末のうち、任意のテレビ会議端末を示す場合には「テレビ会議端末7」という。さらに、複数のユーザの手のうち、任意の手を示す場合には「手H」という。さらにまた、複数のケーブルのうち、任意のケーブルを示す場合には「ケーブル10」と示す。
また、以下の説明では、画像処理装置が電子黒板である例を説明する。ただし、画像処理装置は、これに限られない。例えば、画像処理装置は、電子看板(デジタルサイネージ)、スポーツ若しくは天気予報等で利用されるテレストレータ又は遠隔画像(映像)診断装置等であってもよい。また、以下の説明では、情報処理端末がノートPC6である例で説明する。ただし、情報処理端末は、これに限られない。例えば、情報処理端末は、デスクトップ型PC、タブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ又はゲーム機等の画像フレームを供給可能な端末であってもよい。さらに、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。そして、通信ネットワークは、セキュリティを高めるため、VPN(Vietual Private Network)を用いてインターネットと接続してもよい。また、以下の説明では、記録媒体がUSBメモリである例を説明する。ただし、記録媒体は、これに限られない。例えば、記録媒体は、SD(登録商標)カード等の他の種類の記録メディアであってもよい。
また、以下の説明では、画像処理装置を電子黒板とする例で説明するが、これに限るものではなく、例えば、画像処理装置が電子黒板に接続される情報処理端末であってもよい。
ユーザが電子黒板に手書きで書く文字、図形、数字、記号、線又はこれらの組み合わせを示す画像をストローク画像という。
<電子黒板のハードウェア構成例>
以下、本実施形態の電子黒板のハードウェア構成例を説明する。
図2は、電子黒板のハードウェア構成の一例を示すブロック図である。
図示するように、電子黒板2は、電子黒板2全体の動作を制御するCPU(Central Processing Unit)101を有する。また、電子黒板2は、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read−Only Memory)102を有する。さらに、電子黒板2は、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103を有する。さらにまた、電子黒板2は、電子黒板2用のプログラム等の各種データを記憶するSSD(Solid State Drive)104を有する。また、電子黒板2は、通信ネットワーク9を用いる通信を制御するネットワークコントローラ105及びUSBメモリ5等の外部装置との通信を制御する外部記憶コントローラ106を有する。
さらに、電子黒板2は、ノートPC6が有するディスプレイ等に表示される映像情報を静止画又は動画として取得し、表示するキャプチャデバイス111を有する。さらにまた、電子黒板2は、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112を有する。また、電子黒板2は、GPU112から送られる出力画像をディスプレイ3及びテレビ会議端末7へ出力するために、画面表示の制御及び管理を行うディスプレイコントローラ113を有する。
他にも、電子黒板2は、接触センサ115による処理を制御するセンサコントローラ114及びディスプレイ3上に電子ペン4若しくはユーザの手H等が接触したことを検知する接触センサ115を有する。この接触センサ115は、例えば、赤外線遮断方式によって、座標の入力及び座標の検知を行う。この座標の入力及び座標を検知する方法では、まず、ディスプレイ3の上側両端部に設置される2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射する。次に、ディスプレイ3の周囲に設けられる反射部材によって赤外線が反射され、受光素子が放射した光の光路と同一の光路上を戻って来る光を受発光装置が受光する。このようにして、接触センサ115は、手H等の物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
また、接触センサ115は、赤外線遮断方式を用いる装置に限られない。例えば、接触センサ115は、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル又は対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル等でもよい。他にも、接触センサ115は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等でもよい。すなわち、接触センサ115は、種々の検知手段を用いてもよい。
また、電子黒板2は、電子ペンコントローラ116を有する。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3に対するペン先のタッチ又はペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分又はその他の電子ペンが有する部分のタッチの有無を判断するようにしてもよい。
さらに、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114及び電子ペンコントローラ116を電気的に接続するためのアドレスバス及びデータバス等のバスライン120を備える。
なお、電子黒板2用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
<電子黒板の機能構成例>
以下、電子黒板の機能構成の一例を説明する。まず、図3を用いて、電子黒板2の全体的な機能構成例を説明する。
図3は、電子黒板の機能構成の一例を示す機能ブロック図である。
電子黒板2は、図2に示すハードウェア構成及びプログラムによって、各機能構成を実現する。なお、電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始された遠隔共有処理に後から参加する「参加装置」にもなり得る。そのため、電子黒板2は、図示するように、主に、クライアント部20及びサーバ部90の両方を備える。なお、クライアント部20及びサーバ部90は、例えば、電子黒板2の1台の筐体内で実現される機能である。
そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20と、サーバ部90とが実現される。一方で、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現されるが、サーバ部90は実現されない。すなわち、図1に示す例において、電子黒板2aが主催装置であり、かつ、電子黒板2bが参加装置となる場合には、電子黒板2aが有するクライアント部20は、電子黒板2aが有するサーバ部90を介して、電子黒板2bが有するクライアント部20と通信を行う。一方で、電子黒板2bが有するクライアント部20は、電子黒板2aが有するサーバ部90を介して、電子黒板2aが有するクライアント部20と通信を行う。
〔クライアント部20の機能構成例〕
続いて、主に図3乃至図5を用いて、クライアント部20の機能構成の一例を説明する。図3に示すように、クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30及び通信制御部60を備える。
このうち、映像取得部21は、ケーブル10によって接続される映像出力機器が出力する出力映像を取得する。また、映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度又はこの画像フレームの更新頻度等を示す画像情報を導出し、画像取得部31に出力する。
座標検知部22は、ディスプレイ3上で、ユーザの操作によって生じるイベント(ディスプレイ3上にユーザの手Hがタッチされる等)の座標位置を検知する。また、座標検知部22は、タッチされた面積等を検出してもよい。
自動調整部23は、例えば、電子黒板2が起動すると起動する。そして、自動調整部23は、接触センサ115(図2)が座標検知部22に座標値等を出力できるようにする。具体的には、自動調整部23は、接触センサ115が行う光センサ方式において、使用されるセンサカメラによる画像処理に用いられるパラメータ等を調整する。
接触検知部24は、ユーザの操作によって生じるイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)される等)を検知する。
イベント振分部25は、座標検知部22によって検知されるイベントの座標位置と、接触検知部24によって検知される検出結果とを、ストローク描画、UI操作又はジェスチャ操作等のイベントに振り分ける。例えば、イベントが生じると、イベントに応じて画像が生成され、画像は、以下のようなレイヤとなる。
図6は、各画像レイヤの一例の構成図である。
なお、「ストローク描画」は、図6に示すストローク画像(B)がディスプレイ3(図3)上に表示されている場合に行われるイベントである。例えば、「ストローク描画」は、ユーザがディスプレイ3上で電子ペン4(図3)を押下し、次に、この押下した状態で電子ペン4を移動させ、移動後にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」又は「T」等の文字が、電子黒板によって、ディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントが含まれてもよい。
「UI操作」は、図6に示すUI画像(A)がディスプレイ3上に表示されている場合に行われるイベントである。例えば、「UI操作」は、ユーザが電子ペン4又は手Hによって、所定の位置を押下するイベントである。この「UI操作」により、例えば、電子ペン4によって描画される線の色又は幅等が設定される。
「ジェスチャ操作」は、図6に示すストローク画像(B)がディスプレイ3上に表示されている場合に行われるイベントである。例えば、「ジェスチャ操作」は、ユーザが手Hでディスプレイ3上をタッチしたり、移動させたりするイベントである。この「ジェスチャ操作」により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で、手Hを移動させると、電子黒板は、画像の拡大(又は縮小)、表示領域の変更又はページ切り換え等を行うことができる。
図3に戻り、操作処理部26は、イベント振分部25によって「UI操作」と判断されると、「UI操作」の対象となったUIの要素に基づいて、各種操作に対応する処理を実行する。なお、UIの要素は、例えば、ボタン、リスト、チェックボックス又はテキストボックス等のGUIである。
ジェスチャ処理部27は、イベント振分部25によって「ジェスチャ操作」と判断されると、入力される「ジェスチャ」操作の種類に対応する処理を実行する。
映像重畳部28は、表示重畳部36によって重畳される画像を映像出力機器(ディスプレイ3等)に出力する。また、映像重畳部28は、映像出力機器(ノートPC6等)から送られる映像に対して、他の映像出力機器(テレビ会議端末7等)から送られる映像をピクチャ・イン・ピクチャする。さらに、映像重畳部28は、ピクチャ・イン・ピクチャされ、ディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるように切り替える。
画像処理部30は、例えば、図6に示す各画像レイヤを重畳する重畳処理等の画像処理を行う。すなわち、重畳処理によって生成される画像(以下「重畳画像」という。)は、複数の画像を重ねて示す画像である。また、画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300及び遠隔ライセンス管理テーブル310を有する。
画像取得部31は、映像取得部21によって取得される映像から各フレームを画像として取得する。また、画像取得部31は、画像データをページ処理部37に出力する。この画像は、映像出力機器(ノートPC6等)からの出力画像であり、図6に示す例では、出力画像(C)に相当する。
ストローク処理部32は、イベント振分部25によって振り分けられる「ストローク描画」のイベントが起こると、画像を描画したり、描画された画像を削除したり又は描画された画像を編集したりする。この「ストローク描画」による画像は、例えば、図6に示すストローク画像(B)等である。また、この「ストローク描画」に基づく画像の描画、削除又は編集等の各結果は、操作データとして、操作データ記憶部840(図5)に記憶される。
UI画像生成部33は、電子黒板2にあらかじめ設定されるUI(ユーザインターフェース)画像を生成する。なお、UI画像は、例えば、図6に示すUI画像(A)等である。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出すページデータのうち、メディアデータをページ処理部37から受信する。また、背景生成部34は、受信するメディアデータを表示重畳部36に出力する。なお、メディアデータによる画像は、例えば、図6に示す背景画像(D)等である。また、背景画像(D)は、無地又はグリッド表示等を示す画像である。また、背景画像(D)は、キャプチャされた画像等でもよい。すなわち、背景画像(D)は、文書又はプレゼンテーション資料等を示す画像等でもよい。また、背景画像データは、背景画像(D)を示すデータである。
なお、ストローク画像(C)及び背景画像(D)は、重畳して生成される重畳画像では、ストローク画像(C)が背景画像(D)より手前(図6では、左側)となる。したがって、重畳画像では、ストローク画像が示す手書きの文字等が、背景画像が示す資料等より手前に表示される。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32及びUI画像生成部33(又は背景生成部34)から出力される各画像のレイアウトを管理する。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部36は、レイアウト管理部35から出力されるレイアウトの指示に基づき、画像取得部31、ストローク処理部32及びUI画像生成部33(背景生成部34)から出力される各画像のレイアウトを行う。
ページ処理部37は、例えば、ストローク画像(B)を示すデータと、出力画像(C)を示すデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。なお、ストローク画像(B)を示すデータは、例えば、ストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。また、出力画像(C)を示すデータは、メディアデータIDで示されるメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
また、ページ処理部37は、背景生成部34を介して、記憶されるページデータのうち、メディアデータを表示重畳部36に送信する。このようにすると、映像重畳部28が、背景画像(D)をディスプレイ3に再表示させる。また、ページ処理部37は、ページデータのうち、ストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。さらに、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
すなわち、ページ処理部37がページデータ記憶部300にページデータを記憶すると、ディスプレイ3上に表示されている出力画像(C)を示すデータは、ページデータ記憶部300に記憶される。その後、出力画像(C)を示すデータは、ページデータ記憶部300から読み出される場合には、背景画像(D)を示すメディアデータとして読み出される。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)及び背景生成部34からの背景画像(D)を、レイアウト管理部35による指示に従って重畳する。これにより、例えば、図6に示すように、画像は、各画像が重なってもユーザ(図6では左側から)が見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)及び背景画像(D)の各レイヤの構成となる。
また、表示重畳部36は、図6に示す画像(C)と、画像(D)とを切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示される状態において、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合には、表示重畳部36は、表示の拡大、表示の縮小又は表示領域の移動処理等を行ってもよい。
ページデータ記憶部300は、例えば、下記(表1)に示すようなページデータを記憶する。
上記(表1)に示すページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、以下、複数の表に分けて説明する。
ページデータは、上記(表1)に示すように、任意の1ページを識別するため、以下のようなデータを関連付けて記憶する。記憶されるデータは、例えば、ページデータID、このページの表示を開始した時刻を示す開始時刻及びストローク若しくはジェスチャ等によるページの内容の書き換えが終了した時刻を示す終了時刻等である。他にも、記憶されるデータは、電子ペン4若しくはユーザの手Hによるストロークによって生じるストローク配列データを識別するためのストローク配列データID等である。さらに、記憶されるデータは、メディアデータを識別するためのメディアデータID等である。なお、ストローク配列データは、図6に示すストローク画像(B)をディスプレイ3上に表示するためのデータである。また、メディアデータは、図6に示す背景画像(D)をディスプレイ3上に表示するためのデータである。
例えば、ユーザが電子ペン4によって、アルファベットの「S」の文字を描く場合は、一筆書きとなる。この場合には、ページデータでは、ストロークデータIDが1つで一文字のアルファベットの「S」が示される。一方で、ユーザが電子ペン4によって、アルファベットの「T」の文字を描く場合は、二筆書きとなる。そのため、ページデータでは、ストロークデータIDが2つで一文字のアルファベット「T」が示される。
また、ストローク配列データは、例えば、下記(表2)に示すデータである。
上記(表2)に示すように、1つのストローク配列データは、複数のストロークデータによって示される。なお、上記(表2)は、1行が1つのストロークデータである例を示す。そして、1つのストロークデータは、例えば、各ストロークデータを識別するためのストロークデータIDを有する。また、1つのストロークデータは、1つのストロークの書き始めの時刻を示す開始時刻及び1つのストロークの書き終わりの時刻を示す終了時刻を有する。さらに、1つのストロークデータは、ストロークの色、ストロークの幅及びストロークの通過点の配列を識別するための座標配列データIDを有する。
また、上記(表2)に示す例において、「座標配列データID」で特定される座標配列データは、例えば、下記(表3)に示すデータである。
上記(表3)では、座標配列データは、ディスプレイ3上の1点(X座標値及びY座標値)、ストロークの開始時刻から座標値が示す点を通過した時刻の差分となる差分時刻(ms)及びストロークが描画された際の電子ペン4の筆圧等を示す。すなわち、上記(表3)に示す1点の集まりが、上記(表2)に示す1つの座標配列データを示す。例えば、ユーザが電子ペン4によってアルファベットの「S」の文字を描く場合、すなわち、一筆書きの場合には、「S」を描くのに複数の通過点を通過する。そのため、座標配列データは、これら複数の通過点に係るデータを示す。
また、上記(表1)に示すページデータのうち、メディアデータは、例えば、下記(表4)に示すデータである。
上記(表4)に示すように、メディアデータは、上記(表1)に示すページデータにおけるメディアデータIDに関連付けして各データを記憶する。上記(表4)に示す例では、関連付けされて記憶されるデータは、メディアデータのデータ種類及びページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻等である。また、関連付けされて記憶されるデータは、ページデータによってディスプレイ3上に表示される画像の位置(X座標値及びY座標値)、画像のサイズ(幅及び高さ)及びファイル名等である。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示す。
図3に戻り、遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。なお、ライセンスデータは、例えば、下記(表5)に示す遠隔ライセンス管理テーブル310等である。
上記(表5)に示す遠隔ライセンス管理テーブル310の例では、電子黒板2のプロダクトID、認証に用いられるライセンスID及びライセンスの有効期限等が、関連付されて管理される。
(ファイル処理部40の機能構成例)
以下、図3に示すファイル処理部40の機能構成例を説明する。
図4は、ファイル処理部の一例を示す機能ブロック図である。例えば、ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b及びファイル変換部43を有する。また、ファイル処理部40は、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a及び設定ファイル出力部49bを有する。さらに、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430及び接続先管理テーブル440を有する。
リカバリ処理部41は、電子黒板2が異常終了すると、異常終了を検出し、未保存のページデータを復旧する。例えば、正常終了であると、ページデータは、PDF等のファイル形式で、ファイル処理部40を介してUSB5に記憶される。一方で、電源がダウンした等の異常終了であると、ページデータがページデータ記憶部300に記憶されたままとなる。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出して復旧させる。
ファイル入力部42aは、USBメモリ5から、PDFファイル等を読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。
ファイル変換部43は、ページデータ記憶部300に記憶されるページデータをPDF等のファイル形式に変換する。
ファイル出力部42bは、ファイル変換部43によって出力されるPDFファイルをUSBメモリ5に記録する。
ファイル送信部44は、ファイル変換部43によって生成されるPDFファイルを、電子メールに添付して送信する。例えば、まず、表示重畳部36(図3)によって、ディスプレイ3上にアドレス帳管理テーブル410が表示される。次に、ユーザによるタッチパネル等の入力装置を用いる操作で入力される送信先、すなわち、宛先の選択を電子黒板が受け付けると、送信先が決定される。なお、アドレス帳管理テーブル410は、例えば、下記(表6)に示すデータである。
上記(表6)に示すように、アドレス帳管理テーブル410では、宛先の名前及び宛先となる電子メールのメールアドレス等が関連付けされて管理される。また、ファイル送信部44は、ユーザによるタッチパネル等の入力装置を用いる操作により、メールアドレスを示す文字入力を受け付けてもよい。
アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。
バックアップ処理部46は、ファイル出力部42bによって出力されるファイル又はファイル送信部44によって送信されるファイルをバックアップデータ記憶部420に記憶してバックアップする。なお、ユーザがバックアップしないように設定する場合には、バックアップの処理は、行われなくともよい。なお、バックアップデータは、例えば、下記(表7)に示すようなデータである。
上記(表7)に示す例では、PDF形式で各データを記憶して、各バックアップが行われる例である。
バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティのためにパスワード等が入力される。
設定管理部48は、電子黒板2が有する設定データを設定ファイル記憶部430に記憶したり、読み出したりして管理する。具体的には、設定データは、例えば、ネットワーク設定、日付並びに時刻の設定、地域並びに言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定又はバックアップに関する設定等を示す。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定又はDNS(Domain Name System)の設定等である。
設定ファイル出力部49bは、電子黒板2に係る設定データを設定ファイルとしてUSBメモリ5に記憶する。なお、設定ファイルは、セキュリティによって、ユーザは、中身を見ることができないようにされてもよい。
設定ファイル入力部49aは、USBメモリ5に記憶される設定ファイルを読み込み、電子黒板に係る設定に反映させる。
アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスを示す接続先リストのファイルを読み込み、接続先管理テーブル440に管理する。例えば、接続先リストは、下記(表8)に示すデータ等である。
上記(表8)に示す接続先リストを用いると、電子黒板2が参加装置である場合には、この参加装置のユーザは、主催装置としての役割を果たす電子黒板のIPアドレスを入力する手間を削減できる。そのため、接続先リストは、接続先管理テーブル440等で管理される。また、接続先管理テーブル440には、参加することが可能な主催装置である電子黒板2が設置されている拠点の名称及び主催装置のIPアドレスが、関連付けて管理される。
なお、接続先管理テーブル440は、無くてもよい。ただし、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する。そのため、参加装置のユーザは、電話又は電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。
(通信制御部60の機能構成例)
以下、図3に示す通信制御部60の機能構成例を説明する。
図5は、サーバ部及び送信制御部の一例を示す機能ブロック図である。例えば、通信制御部60は、通信ネットワーク9を介して、他の電子黒板2との通信又はサーバ部90における通信制御部70との通信を制御する。
そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66及び参加拠点管理テーブル610を有する。
遠隔開始処理部61は、同じ電子黒板2が有するサーバ部90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合には、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照する。具体的には、遠隔開始処理部61は、ライセンス情報(プロダクトID、ライセンスID及び有効期限等)が管理されている場合には、ライセンス情報を参照し、遠隔共有処理を開始する要求を行うことができる。一方で、ライセンス情報が管理されていない場合には、遠隔開始処理部61は、遠隔共有処理を開始する要求が制限される。
参加拠点管理テーブル610は、電子黒板が主催装置である場合には、現在、遠隔共有処理に参加している参加装置を管理するテーブルである。例えば、参加拠点管理テーブル610は、下記(表9)に示すデータである。
上記(表9)に示すように、参加拠点管理テーブル610では、参加中の電子黒板2が設置されている拠点の名称及び当該電子黒板2のIPアドレスが、関連付されて管理される。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置が有するサーバ部90における遠隔接続要求受信部71に対して参加要求を行う。なお、参加要求の際には、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62は、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して参加先となる電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により、参加先となる電子黒板2のIPアドレスが数字で入力されてもよい。
遠隔画像送信部63は、映像取得部21(図3)から画像取得部31を介して送られる出力画像(C)を、サーバ部90に送信する。
遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器から送信される画像データを受信し、表示重畳部36に出力する。これにより、電子黒板は、遠隔共有処理を実現する。
遠隔操作送信部65は、遠隔共有処理に用いる操作データをサーバ部90に送信する。例えば、操作データは、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小又は移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除又は表示されているページの切り替えに関するデータである。
遠隔操作受信部66は、サーバ部90から、他の電子黒板2に入力される操作データを受信し、画像処理部30に出力して遠隔共有処理を実現する。
また、クライアント部20は、図3に示すように、判定部20A1と、変更部20A2とを備える。
判定部20A1は、画像処理部30が生成する画像データ等を記憶する記憶領域、いわゆる保存先(以下「記憶先」という。)がUSBメモリ5等の外部装置であるか否かを判定する。
変更部20A2は、判定部20A1によって、記憶先が外部装置と判定されると、記憶される画像データを変更して、記憶先に変更された画像データが記憶されるようにする。
なお、判定部20A1及び変更部20A2は、例えば、CPU101(図2)等によって実現される。また、判定部20A1及び変更部20A2による処理の詳細は、後述する。
〔サーバ部90の機能構成例〕
以下、サーバ部90の機能構成例について説明する。
サーバ部90は、例えば、各電子黒板2に設けられる。すなわち、いずれの電子黒板2であっても、電子黒板2は、サーバとしての役割を果たすことができる。そのため、サーバ部90は、通信制御部70及びデータ管理部80を有する。
〔通信制御部70の機能構成例〕
以下、通信制御部70の機能構成例について説明する。
通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部70及び通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75及び遠隔操作送信部76を有する。
遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信したりする。
遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信したりする。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(図6に示す出力画像(C)のデータ等)を受信し、遠隔画像処理部82に送信する。
遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、画像データ(図6に示す出力画像(C)のデータ等)を送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(図6に示すストローク画像(B)等のデータ等)を受信し、遠隔操作処理部83に送信する。
遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、操作データ(図6に示すストローク画像(B)等のデータ等)を送信する。
〔データ管理部80の機能構成例〕
以下、データ管理部80の機能構成例を説明する。
データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84及びページ処理部85を有する。さらに、サーバ部90は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840及びページデータ記憶部850を有する。
遠隔接続処理部81は、遠隔共有処理の開始及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、受信するライセンス情報に基づいて、ライセンスの有無又はライセンスの期間内であるか否か等を確認する。なお、ライセンス情報は、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信する又は遠隔参加処理部62から遠隔共有処理の参加要求と共に受信する。さらに、遠隔接続処理部81は、クライアント部20としての他の電子黒板2からの参加要求があらかじめ定められる参加可能数を超えていないか否か等を確認する。
また、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求の際に送られるパスコードが、パスコード管理部810で管理されるパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行される。そして、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザは、主催装置としての電子黒板2のユーザから、電話又は電子メール等によって伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって、参加装置にパスコードを入力して参加要求すると、参加が許可されることになる。なお、主催装置は、セキュリティよりもユーザの使い勝手を優先して、パスコードの確認を省略してもよい。
また、主催装置である場合には、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られる参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。
遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。また、遠隔開始処理部61は、参加拠点管理テーブル610に、遠隔拠点情報を記憶する。これにより、主催装置は、クライアント部20及びサーバ部90の両方で、遠隔拠点情報を管理する。
遠隔画像処理部82は、遠隔共有処理に参加中の各電子黒板2が有するクライアント部(主催装置である電子黒板が有するクライアント部を含む。)に接続される映像出力機器(ノートPC6等)からの画像データ(図6に示す出力画像(C))を受信する。また、主催装置となる電子黒板2は、受信した画像データを画像データ記憶部830に記憶する。さらに、主催装置となる電子黒板2は、サーバ部90に送られた時間順で遠隔共有処理すべき画像データの表示順を判定する。
遠隔画像処理部82は、参加拠点管理テーブル820を参照する。そして、遠隔画像処理部82は、遠隔共有処理に参加中の電子黒板2が有するクライアント部(主催装置となる電子黒板が有するクライアント部を含む。)に、通信制御部70(遠隔画像送信部74)を介して、上記判定した順番で画像データを送信する。
遠隔操作処理部83は、遠隔共有処理に参加中の各電子黒板2が有するクライアント部(主催装置となる電子黒板が有するクライアント部を含む。)で描画されたストローク画像等の各種操作データ(図6に示すストローク画像(B)等)を受信する。そして、遠隔操作処理部83は、主催装置となる電子黒板2が有するサーバ部90に、操作データが届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上記各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の電子黒板2が有するクライアント部(主催装置となる電子黒板が有するクライアント部を含む。)に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶する。さらに、操作合成処理部84は、合成した操作データを遠隔操作処理部83に送る。この操作データは、遠隔操作送信部76から、主催装置となる電子黒板が有するクライアント部及び参加装置となる電子黒板が有するクライアント部のそれぞれに送信される。これにより、各電子黒板2では、同じ操作データに係る画像が表示される。なお、操作データは、例えば、下記(表10)に示すデータである。
上記(表10)に示すように、操作データは、SEQ(Sequence)、データの操作名及び操作データの送信元である電子黒板2のIPアドレス等を示す。また、操作データは、クライアント部(サーバ部)のPort No.、操作データの送信先である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No.及び操作データの操作種類等を示す。さらに、操作データは、操作データの操作対象及び操作データの内容を示すデータを示す。なお、上記(表10)に示すように、操作データの各項目は、関連付けがされる。例えば、「SEQ1」では、主催装置となる電子黒板(IPアドレス:192.0.0.1)が有するクライアント部(Port No.:50001)でストロークが描画されるとする。この場合には、上記(表10)は、主催装置となる電子黒板(IPアドレス:192.0.0.1)が有するサーバ部(Port No.:50000)に操作データが送られたと示す。なお、この場合の操作種類は、「STROKE」、操作対象は、ページデータID「p005」であり、操作データの内容を示すデータは、ストロークを示すデータである。また、「SEQ2」は、主催装置となる電子黒板(IPアドレス:192.0.0.1)が有するサーバ部(Port No.:50000)から、参加装置となる他の電子黒板(IPアドレス:192.0.0.1)が有するクライアント部(Port No.:50001)に、操作データが送られたことを示す。
なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行う。そのため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理に参加中の全ての電子黒板2が有するディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント部20が有する画像処理部30におけるページ処理部37と同様の機能を有する。そして、サーバ部90でも、上記(表1)乃至(表3)に示すページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
<処理例又は動作例>
以下、本実施形態における処理例又は動作例について説明する。なお、図7及び図8は、各電子黒板による処理の一例を示すシーケンス図である。
図7及び図8に示す例では、電子黒板2aが、遠隔共有処理を主催する主催装置(サーバ部及びクライアント部)となる。一方で、図7及び図8に示す例では、電子黒板2b、2cが、遠隔共有処理に参加する参加装置(クライアント部)となる。また、ここでは、電子黒板2a、2b、2cには、それぞれディスプレイ3a、3b、3cが接続される。さらに、電子黒板2a、2b、2cには、それぞれノートPC6a,6b,6cが接続される。また、電子黒板2a、2b、2cでは、それぞれ電子ペン4a、4b、4cが、使用される。
(参加の処理例)
以下、電子黒板2b,2cが遠隔共有処理に参加するための処理の一例を説明する。
ユーザの操作によって、電子黒板2aが有する電源スイッチがオンとなると、電子黒板2aが有するクライアント部20が、起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部90を起動させる操作を入力する。このようにすると、クライアント部20が有する遠隔開始処理部61から、同じ電子黒板2aが有するサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示が出力される。これにより、電子黒板2aでは、クライアント部20だけでなく、サーバ部90も、各種処理を開始する(ステップS21)。
次に、電子黒板2aが有するクライアント部20におけるUI画像生成部33が、電子黒板2aとの接続を確立するための接続情報を生成する。そして、映像重畳部28は、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。この接続情報には、主催装置のIPアドレスと、今回の遠隔共有処理のために生成されたパスコードとが含まれる。この場合では、パスコード管理部810に記憶されるパスコードは、図5に示す遠隔接続処理部81によって読み出される。また、パスコードは、遠隔接続結果送信部72及び遠隔開始処理部61の順に送信される。さらに、パスコードは、遠隔開始処理部61を含む通信制御部60から、図3に示す画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話又は電子メール等により、電子黒板2b、2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報に主催装置のIPアドレスが含まれなくても、参加装置は、参加要求を行うことができる。
次に、電子黒板2b、2cでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板2a、2bが有するクライアント部20における遠隔参加処理部62は、接続情報のIPアドレスに基づいて、通信ネットワーク9を介して、電子黒板2aが有するサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS23、S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b、2cから、参加要求(パスコードを含む。)を受信し、このパスコードを遠隔接続処理部81に出力する。
次に、遠隔接続処理部81は、各電子黒板2b、2cのから受信するパスコードに対し、パスコード管理部810で管理されるパスコードを用いて認証する(ステップS25)。そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26、S27)。ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板であると判断されると、主催装置となる電子黒板2aと、参加装置となる電子黒板2b、2cとの遠隔共有処理の通信が確立される。これによって、各電子黒板2b、2cが有するクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする(ステップS28、S29)。
(出力画像の表示例)
以下、遠隔共有処理における出力画像(C)(図6)が表示される処理の一例を説明する。
まず、電子黒板2bは、ディスプレイ3b(図1)に出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bが有する画像取得部31が、ノートPC6b(図1)から映像取得部21(図3)を介して、ノートPC6bで表示されている出力画像(C)を示すデータを受信する。次に、表示重畳部36及び映像重畳部28を介して、受信したデータがディスプレイ3bに送信されると、ディスプレイ3bは、出力画像(C)を表示する。
次に、電子黒板2bが有する画像取得部31(図3)を含む画像処理部30(図3)が、遠隔画像送信部63(図5)に出力画像(C)のデータを送信する。次に、遠隔画像送信部63を含む通信制御部60(図5)が通信ネットワーク9(図5)を介して、主催装置となる電子黒板2aが有する通信制御部70(図5)に出力画像(C)のデータを送信する(ステップS31)。これにより、電子黒板2aが有する遠隔画像受信部73(図5)は、出力画像(C)のデータを受信する。さらに、遠隔画像受信部73が遠隔画像処理部82(図5)に受信したデータを出力すると、遠隔画像処理部82は、画像データ記憶部830(図5)に出力画像(C)のデータを記憶する。
次に、主催装置となる電子黒板2aは、ディスプレイ3a(図1)に出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aが有する遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。続いて、遠隔画像送信部74は、同じ主催装置である電子黒板2aが有するクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。そして、遠隔画像受信部64は、表示重畳部36(図3)に出力画像(C)のデータを出力する。さらに、表示重畳部36は、映像重畳部28(図3)に出力画像(C)のデータを出力する。次に、映像重畳部28は、ディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。
次に、主催装置である電子黒板2aが有するサーバ部90(図3)における遠隔画像送信部74を含む通信制御部70は、通信ネットワーク9を介して、出力画像(C)のデータを送信する(ステップS33)。なお、送信先は、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2cが通信制御部60である。これにより、参加装置である電子黒板2cが有する遠隔画像受信部64は、出力画像(C)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。
なお、出力画像(C)のデータだけでなく、図6に示すUI画像(A)及びストローク画像(B)の各データが、入力されている場合には、表示重畳部36により、重畳画像(A、B、C)が生成される。そして、映像重畳部28は、ディスプレイ3cに重畳画像(A、B、C)のデータを出力する。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(E)のデータが送られた場合には、映像重畳部28は、重畳画像(A,B,C)にピクチャ・イン・ピクチャにより、テレビ会議用の映像(E)のデータを重畳して、ディスプレイ3cに出力する。なお、テレビ会議用の映像(E)は、図3に示すテレビ会議端末7又は通信ネットワーク9(図3)を介して他の端末から受信する出力映像である。
(重畳画像の表示例)
以下、図8を用いて、遠隔共有処理における重畳画像が表示される処理の一例を説明する。
まず、電子黒板2bは、ユーザが電子ペン4bを用いて描画するストロークを示すストローク画像(B)(図6)を描画する(ステップS41)。
次に、電子黒板2bが有する表示重畳部36(図3)は、図6に示すように、UI画像(A)及び出力画像(C)に対して、ストローク画像(B)を重畳する。このようにして、映像重畳部28は、電子黒板2bのディスプレイ3b(図1)上に、重畳された重畳画像(A、B、C)を表示させる(ステップS42)。具体的には、電子黒板2bが有するストローク処理部32(図3)は、座標検知部22(図3)及び接触検知部24(図3)からイベント振分部25(図3)を介して、操作データとしてのストローク画像(B)のデータを受信する。これにより、各データが表示重畳部36に送信される。そのため、表示重畳部36は、UI画像(A)及び出力画像(C)に対して、ストローク画像(B)を重畳することができる。ゆえに、映像重畳部28は、電子黒板2bのディスプレイ3b上に重畳画像(A、B、C)を表示させることができる。
次に、電子黒板2bが有するストローク処理部32(図3)を含む画像処理部30が、遠隔操作送信部65(図5)にストローク画像(B)のデータを送信する。さらに、電子黒板2bが有する遠隔操作送信部65は、通信ネットワーク9(図1)を介して、主催装置となる電子黒板2aが有する通信制御部70(図5)にストローク画像(B)のデータを送信する(ステップS43)。これにより、電子黒板2aが有する遠隔操作受信部75(図5)は、ストローク画像(B)のデータを受信する。次に、遠隔操作受信部75は、受信したデータを遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画されるごとに、主催装置となる電子黒板2aが有する遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、上記(表2)に示すストロークデータIDごとに示されるデータである。よって、例えば、ユーザが電子ペン4でアルファベット「T」の文字を描くと、二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。
次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A、B、C)を表示する(ステップS44)。具体的には、電子黒板2aが有する操作合成処理部84は、遠隔操作処理部83を介して、順次送られる複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶すると共に遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、主催装置となる電子黒板2aが有するクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。また、遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)及び出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A、B、C)をディスプレイ3a上に表示する。
次に、主催装置となる電子黒板2aが有するサーバ部90における遠隔操作送信部76を含む通信制御部70は、通信ネットワーク9を介して、合成後のストローク画像(B)のデータを送信する(ステップS45)。なお、送信先は、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60である。これにより、参加装置となる電子黒板2cが有する遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに重畳画像(A、B、C)を表示する(ステップS46)。具体的には、電子黒板2cが有する遠隔操作受信部66は、ステップS45によって受信される合成後のストローク画像(B)のデータを電子黒板2cの画像処理部30に出力する。次に、画像処理部30が有する表示重畳部36は、UI画像(A)及び出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A、B、C)のデータを出力する。そして、映像重畳部28は、ディスプレイ3cに重畳画像(A、B、C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A、B、C)を表示する。
なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されるが、この出力画像(C)に代えて、背景画像(D)が表示されてもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と、背景画像(D)との両方が同時にディスプレイ3上に表示されてもよい。
(参加の終了例)
続いて、参加装置が遠隔共有処理への参加を終了する処理の一例を説明する。図示する例では、電子黒板2cが参加を終了する場合の例を示す。
まず、電子黒板2cは、ユーザによるタッチパネル等の入力装置の操作によって、参加の終了要求を受け付ける。次に、遠隔参加処理部62(図5)は、主催装置となる電子黒板2aが有するサーバ部90(図5)における通信制御部70(図5)に、参加の終了要求を行う(ステップS47)。これにより、通信制御部70が有する遠隔接続要求受信部71(図5)は、電子黒板2cから、参加の終了要求を受信する。そして、遠隔接続要求受信部71は、遠隔接続処理部81(図5)に、電子黒板2cのIPアドレスと共に参加の終了要求を出力する。次に、電子黒板2aが有する遠隔接続処理部81は、遠隔接続要求受信部71から送られるIPアドレスに基づいて、参加拠点管理テーブル820(図5)を編集する。具体的には、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称が、参加拠点管理テーブル820から削除される。また、遠隔接続結果送信部72(図5)に、電子黒板2cのIPアドレス及び削除した旨の通知を出力する。
次に、遠隔接続結果送信部72を含む通信制御部70が、通信ネットワーク9(図1)を介して、電子黒板2cのクライアント部20(図5)における通信制御部60(図5)に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する(ステップS49)。
(判定例及び変更例)
図9は、電子黒板による判定及び変更の処理一例を示すフローチャートである。なお、図示する処理は、例えば、電子黒板が生成した画像データ等に対する操作を入力すると行われる。より具体的には、例えば、図7に示す処理において、電子黒板2aが設置されている拠点の方では、ステップS32の後、又は電子黒板2cが設置されている拠点の方では、ステップS34の後等である。また、図9に示す処理は、例えば、判定部20A1(図3)及び変更部20A2(図3)等によって実現される。
電子黒板は、ユーザによるファイル操作を入力する。例えば、ファイル操作は、以下のようなGUI(Graphical User Interface)等によって、電子黒板に受け付けられる(ステップS101)。
図10は、電子黒板が表示するファイル操作メニューを示す図の一例である。例えば、電子黒板は、図示する画面PNLを表示する。そして、ユーザは、表示される画面PNLに対してファイル操作を入力する。具体的には、電子黒板は、ファイル操作用のアイコン等が押下されると、例えば、ファイル操作メニューMNU等を表示する。さらに、ファイル操作メニューMNUが表示するメニューにおいて、ファイル保存メニューFSVが押下されると、電子黒板は、画像データ等を記憶する処理を開始する。
図9に戻り、電子黒板は、変更を行う設定がされているか否か判断する(ステップS102)。なお、変更を行うか否かの設定は、ユーザの操作等によって電子黒板に設定される。変更に係る設定の詳細は、後述する。また、変更は、例えば、データを圧縮すること等である。以下、変更が圧縮である例で説明する。次に、変更を行う設定であると判断されると(ステップS102でYES)、電子黒板は、ステップS103に進む。一方で、変更を行う設定でないと判断されると(ステップS102でNO)、電子黒板は、ステップS106に進む。
次に、電子黒板は、記憶先が外部装置であるか否か判断する(ステップS103)。例えば、記憶先が外部装置であるか否かは、ファイル操作(ステップS101)の際に入力される記憶先を示すパスによって判断される。なお、パスは、例えば、以下のようにして入力される。
図11は、ファイル操作における記憶先の入力するGUIを示す図の一例である。例えば、電子黒板は、図10に示す画面PNLによるファイル操作において、図示するような選択画面SPLを表示する。この例では、ユーザは、記憶先を外部装置とするか電子黒板内とするか(いわゆる「Cドライブ」等)が選択画面SPLで選択できる。
具体的には、選択画面SPLでは、「USB Memory」と示すUSBメモリ選択SUSBを選択する操作をユーザが行うと、記憶先は、USBメモリ5(図2)と設定される。一方で、選択画面SPLでは、「一時保存フォルダー」と示す電子黒板内選択STFを選択する操作をユーザが行うと、記憶先は、SSD104(図2)に生成される「一時保存フォルダー」と設定される。なお、以下に説明する例では、SSD104(図2)には、パーティションは、「Cドライブ」のみがあるようにあらかじめ設定されるとする。したがって、「一時保存フォルダー」のように、電子黒板内のいずれかの記憶領域を記憶先とすると、記憶先を示すパスは、「Cドライブ」内の記憶領域を示す。
一方で、この例では、USBメモリ5等の外部装置は、電子黒板に接続されると、「Cドライブ」以外のドライブに設定される。例えば、USBメモリ5内のいずれかの記憶領域を記憶先とすると、記憶先を示すパスは、「Dドライブ」内のいずれかの記憶領域を示す。
なお、「Cドライブ」は、パーティションによって、例えば、「Cドライブ」及び「Dドライブ」のように、2つ以上の記憶領域に分けられてもよい。このようにして、例えば、「Cドライブ」には、OS(Operating System)に係るファイル及びアプリケーションプログラム等が記憶される。一方で、「Dドライブ」には、「一時保存フォルダー」を含むデータが記憶される。また、記憶領域は、記憶先を「一時保存フォルダー」とし、「Dドライブ」にデータを記憶し、記憶先から「Dドライブ」にリンクを張る構成等でもよい。このような場合には、「Cドライブ」及び「Dドライブ」が、電子黒板内の記憶領域とされる。また、接続される外部装置は、例えば、「Eドライブ」等となる。すなわち、この場合には、「Cドライブ」及び「Dドライブ」以外の記憶先が、外部装置であると判断される。
図11に示す選択画面SPLでは、「保存」ボタンがグレーアウトであるが、USBメモリ選択SUSB又は電子黒板内選択STFのどちらかが選択されると、「保存」ボタンが有効となる(押下できる状態となる)。そして、「保存」ボタンが押下されると、記憶先が決定するため、記憶先を示すパスが決定する。
電子黒板は、例えば、この決定された記憶先を示すパスが、所定の記憶領域を示すか否かに基づいて、記憶先が外部装置であるか否か判断する。なお、所定の記憶領域は、あらかじめ設定される。つまり、記憶先を示すパスが、あらかじめ設定される記憶領域の例である「Cドライブ」であると、電子黒板は、記憶先が外部装置でないと判断する(図9に示すステップS103でNO)。一方で、記憶先を示すパスがUSBメモリ等の「Cドライブ」以外であると、電子黒板は、記憶先が外部装置であると判断する(図9に示すステップS103でYES)。例えば、所定の記憶領域以外を「Cドライブ」以外とすると上記の例のようになる。
なお、外部装置は、USBメモリに限られない。すなわち、外部装置の種類は、USBメモリ以外の装置又は記録媒体でもよい。例えば、外部装置は、いわゆる外付けのハードディスク等でもよい。
また、選択画面SPLでは、変更に係る設定が入力されてもよい。すなわち、図9に示すステップS102用の設定が、選択画面SPLによって入力されてもよい。図11は、図示する「保存ファイルのオプション設定」で示す変更設定ボタンBOPが押下されると、変更に係る設定が入力できる例を示す。例えば、変更設定ボタンBOPが押下されると、以下のようなオプション設定画面が表示されるとする。
図12は、変更に係る設定を入力するためのオプション設定画面を示す図の一例である。この例では、図示するオプション設定画面OPLにおいて、「背景画像を圧縮してファイルサイズを小さくする」をチェックするか否かによって、変更を行うか否かの設定がされる例である。すなわち、「背景画像を圧縮してファイルサイズを小さくする」がチェックされると、電子黒板は、変更を行う設定であると判断する(図9に示すステップS102でYES)。一方で、「背景画像を圧縮してファイルサイズを小さくする」のチェックが外されると、電子黒板は、変更を行う設定でないと判断する(図9に示すステップS102でNO)。
また、変更に係る設定では、図示するように、「圧縮率」等が入力できてもよい。すなわち、図9に示すステップS105で行われる変更に係るパラメータ等をあらかじめ設定できてもよい。このようにすると、ユーザは、「圧縮率」等を設定することができ、電子黒板は、ユーザが望ましい形式又はデータサイズで画像データを記憶することができる。
図9に戻り、電子黒板は、記憶する画像データに背景画像があるか否かを判断する(ステップS104)。なお、背景画像は、例えば、図6に示す背景画像(D)等である。次に、背景画像があると判断されると(ステップS104でYES)、電子黒板は、ステップS105に進む。一方で、背景画像がないと判断されると(ステップS104でNO)、電子黒板は、ステップS106に進む。
次に、電子黒板は、画像データを変更する(ステップS105)。例えば、電子黒板は、図6に示す各レイヤの画像のうち、背景画像(D)を圧縮の対象とする。なお、圧縮は、例えば、JPEG(Joint Photographic Exports Group)圧縮等である。また、電子黒板は、画像のサイズ、圧縮率(例えば、Q値)又はこれらの組み合わせ等を変える変更を行ってもよい。
以下、「1280×720」の背景画像である例で説明する。この例では、図12に示すオプション設定画面OPLにおいて、「背景画像を圧縮してファイルサイズを小さくする」がチェックされ、「圧縮率」が設定される場合には、以下のように変更が行われる。なお、変更は、図12に示す「圧縮率」の箇所に入力された設定に応じて行われる。
「高い」:縦及び横のそれぞれのサイズを(0.0<x≦0.7)となるいずれかの倍率となるように設定する。また、JPEGのQ値が(0<y≦70)となるように設定する。これらの設定がされた上で、圧縮が行われる。
「ふつう」:縦及び横のそれぞれのサイズを(0.7<x≦0.9)となるいずれかの倍率となるように設定する。また、JPEGのQ値が(70<y≦80)となるように設定する。これらの設定がされた上で、圧縮が行われる。
「低い」:縦及び横のそれぞれのサイズを(0.9<x≦1.0)となるいずれかの倍率となるように設定する。また、JPEGのQ値が(80<y<100)となるように設定する。これらの設定がされた上で、圧縮が行われる。
なお、上記の例では、サイズの倍率を「x」、Q値を「y」で示す。また、圧縮方式は、JPEGに限られない。すなわち、圧縮方式は、例えば、GIF等の他の方式でもよい。さらに、変更は、圧縮に限られず、例えば、BMPファイル形式又はTIFFファイル形式等において、画素を間引く処理等でもよい。また、電子黒板は、圧縮等の変更後に、更にPDF形式等に変更してもよい。
次に、電子黒板は、ステップS101等で入力される記憶先に画像データを記憶する(ステップS106)。なお、画像データ以外のデータが共に記憶されてもよい。
ユーザのファイル操作等によって、図6に示すように、各レイヤの画像を重畳して生成される重畳画像の画像データ等が、USBメモリ等の外部記憶装置に記憶される場合がある。このような画像データは、画像を示すため、データ容量が大きくなる場合が多い。そこで、電子黒板は、背景画像等を変更して、画像データの容量を小さくする。このようにすると、データ容量が大きい画像データを小さくすることができるため、外部装置の画像データを記憶するための記憶容量を節約することができる。
また、図6に示す画像データでは、ストローク画像データ等は、変更の対象外とされるのが望ましい。ストローク画像データ等は、他の電子黒板に入力され、その後、ストローク画像データが示すデータは、編集される場合がある。そのため、変更、特に、不可逆変換されると、編集に必要なデータが削除されたり、使用できなくなったりする場合がある。そこで、変更の対象となるデータは、背景画像データであるのが望ましい。このようにすると、他の電子黒板等に外部装置を介して画像データを入力した後、ストローク画像等が編集でき、コミュニケーションを円滑にすることができる。また、背景画像データは、データ容量が大きい場合が多いため、変更されると、画像データのデータ容量を小さくすることができる。
他にも、外部装置に画像データを記憶する場合には、コードが入力されてもよい。例えば、以下のようなコード入力画面でコードが入力される。
図13は、コードを入力するコード入力画面を示す図の一例である。例えば、コード入力画面CPLは、図11に示す選択画面SPLの後に表示される画面である。図示するように、ユーザは、例えば、会議コード等をコード入力テキストボックスCODに入力する。
このようにして、入力されるコード、すなわち、図13に示す例では「1111」は、記憶する画像データ等と対応付けされる。また、電子黒板は、この対応付けを示すテーブルデータを生成する。このテーブルデータは、例えば、画像データ等と共に、外部装置に記憶される。
このテーブルデータによって、コードと、画像データ等とが対応付けされる。すなわち、電子黒板は、コードが入力されると、テーブルデータに基づいて画像データ等を特定できる。したがって、外部装置に記憶された画像データ等を読み出す際に、コードが入力されると、電子黒板は、テーブルデータに基づいて特定される画像データ等を検索することができる。このようにして、他の画像データ等と区別し、電子黒板は、所定の画像データ等を速く読み出すことができる。
また、上記の例は、電子黒板2による処理の理解を容易にするために、主な機能に応じて分割して示した構成である。そのため、処理単位の分割の仕方又は名称によって本願発明は、限定されない。例えば、電子黒板2の処理は、処理内容に応じて更に多くの処理単位に分割してもよい。また、1つの処理単位は、更に多くの処理を含むように分割されてもよい。
他にも、画像処理装置は、1つの装置によって実現される構成に限られない。すなわち、1つ以上の情報処理装置を有する画像処理システムによって、本発明に係る実施形態は、実現されてもよい。なお、画像処理装置又は画像処理システムでは、各処理の一部又は全部が分散、冗長、並列又はこれらを組み合わせるように、処理が行われてもよい。
なお、本発明に係る各処理の全部又は一部は、プログラミング言語等で記述されたコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置等のコンピュータに画像処理方法を実行させるためのコンピュータプログラムである。
また、プログラムは、フラッシュメモリ、フレキシブルディスク、光学ディスク、SD(登録商標)カード又はMO等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。
本国際出願は、2016年2月12日に出願された日本国特許出願2016−025360号に基づく優先権を主張するものであり、その全内容を本国際出願に援用する。