JP6493546B2 - 電子黒板、記憶媒体、及び情報表示方法 - Google Patents

Description

本発明は、電子黒板、記憶媒体、及び情報表示方法に関する。

大型のフラットパネルディスプレイにタッチパネルが搭載された電子黒板が知られている。電子黒板は、黒板の役割をする画面を表示し、タッチパネルを介して電子ペンや指などの軌跡を取り込んで、軌跡を手書き内容として画面に描画する。したがって、ユーザは画面を黒板のように使用することができる。また、パソコンと接続することができる電子黒板では、パソコンと同じ画面を表示して手書き内容を重畳して描画したり、電子黒板がタッチパネルから入力された情報にしたがってパソコンを操作したりすることができる。

電子黒板では、手書き内容を描画するモード（以下、手書きモード）の他、描画内容を拡大したり縮小したりするモード（以下、ジェスチャモード）が存在する。ユーザは例えばメニューボタンを操作することでこの２つのモードを適宜切り替えることができる。しかし、モードを切り替えるためにユーザが明示的な操作を行うことは操作性を低下させるおそれがある。

そこで、ユーザが明示的に操作しなくてもモードを切り替える技術が考案されている（例えば、特許文献１参照。）。特許文献１には、手書き軌跡が予め決められたパターンと一致する場合、ジェスチャ操作を受け付ける表示装置が開示されている。

しかしながら、従来の電子黒板では、電子黒板の動作モードを誤判定するおそれがあるという問題がある。まず、ジェスチャモードには、ユーザが二本の指を使用する操作があり、電子黒板は画面上に２つの物体（例えば二本の指）を検出した場合にジェスチャモードであると判定する。しかし、二本の指がタッチパネルに触れるタイミングに時間差がある場合、一本目の指が検出された時点で手書きモードであると誤判定し、手書き内容を描画してしまう場合がある。これとは逆に、手書きモードでユーザが手書き内容を描画している間に、他の指などがタッチパネルに触れると、電子黒板がジェスチャモードであると判定し、ジェスチャ操作を受け付ける場合がある。

本発明は、上記課題に鑑み、動作モードを適切に判別することが可能な電子黒板を提供することを目的とする。

上記課題に鑑み、本発明は、可視情報の表示部を有する電子黒板であって、前記表示部における物体の座標を検出する座標検出手段と、 前記座標検出手段により検出された物体の前記座標に基づき、前記表示部の物体の数を検出する数検出手段と、前記数検出手段が１つめの物体を検出した場合に所定時間の測定を開始する時間測定手段と、前記時間測定手段が前記所定時間を測定しても前記数検出手段が２つめの物体を検出しない場合、前記座標に基づき可視情報を表示する手書きモードであると判定し、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出した場合、前記可視情報に対する操作を受け付けるジェスチャモードであると判定するモード判定手段と、を有し、前記モード判定手段は、手書きモードであると判定すると前記座標を手書きに用い、ジェスチャモードであると判定すると前記座標を操作の受け付けに用いることを特徴とする。

動作モードを適切に判別することが可能な電子黒板を提供することができる。

画像処理システムの全体構成図の一例である。 電子黒板のハードウェア構成図の一例である。 電子黒板の機能ブロック図の一例である。 ファイル処理部の機能ブロック図の一例である。 サーバ部とクライアント部の機能ブロック図の一例である。 各画像レイヤの構成図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 イベント振分部が振り分けるイベントを説明する図の一例である。 イベント振分部が時系列に検出するイベントの一例を示すフローチャート図である。 タッチダウンイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の一例である。 タッチダウンイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の他の例である。 タイムアウト時にモード判定部が行う処理を示すフローチャート図の一例である。 タッチムーブイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の一例である。 タッチムーブイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の他の例である。 タッチアップイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の一例である。 タッチダウンイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の一例である（実施例２）。 タッチムーブイベントが検出された場合にストローク処理部が行う処理を示すフローチャート図の一例である（実施例２）。 ディスプレイに表示されたメニューを模式的に説明する図の一例であり、ワンタッチ入力ボタンと消しゴムボタンが表示されている。 ディスプレイに表示されたメニューを模式的に説明する図の一例であり、ユーザがワンタッチ入力ボタンを押下した場合の動作が表示されている。 ディスプレイに表示されたメニューを模式的に説明する図の一例であり、ユーザが消しゴムボタンを押下した場合の動作が表示されている。 タッチダウンイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の一例である（実施例３）。 タイムアウト時にモード判定部が行う処理を示すフローチャート図の一例である（実施例３）。 タッチムーブイベントが検出された場合にストローク処理部が行う処理を示すフローチャート図の一例である（実施例３）。 タッチアップイベントが検出された場合にモード判定部が行う処理を示すフローチャート図の一例である（実施例３）。

以下、本発明を実施するための形態について図面を参照しながら説明する。

本実施形態の電子黒板は、電子黒板のディスプレイに触れる指を検出してから一定時間処理待ちを行い、一定時間の間に２つめの指が検出されるか否かに応じてジェスチャモードか手書きモードかを判別する。
・一定時間内に２つめの座標を検出した場合、ジェスチャモードであると判定する。
・一定時間内に２つめの座標を検出しない場合、手書きモードであると判定する。

ユーザがジェスチャモードで操作する場合、１つめの指の接触から一定時間内に２つめの指が接触すると考えられる。このため、一定時間処理待ちすることで、ユーザがジェスチャ操作したいのに手書き内容を描画してしまうことを抑制できる。また、ユーザが１つめの指で手書き中に２つめの指がディスプレイに触れても一定時間の経過後ではジェスチャモードであると判定されないので、手書きモード中にジェスチャモードであると誤判定することを抑制できる。

＜システムの概要＞
図１は、本実施形態の画像処理システムの全体構成図である。なお、図１では、説明を簡略化するために、２台の電子黒板２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の電子黒板や電子ペン等を利用してもよい。図１に示されているように、画像処理システム１は、複数の電子黒板２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、電子黒板２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の電子黒板２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。
また、電子黒板２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）により描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、電子黒板２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、電子黒板２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(登録商標。High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、電子黒板２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、電子黒板２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。

一方、電子黒板２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、画像処理装置の一例として、電子黒板を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜電子黒板のハードウェア構成＞
続いて、図２を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図２は、電子黒板のハードウェア構成図である。

図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、電子黒板２用のプログラム等の各種データを記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。

また、電子黒板２は、ノートＰＣ６のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)１１２、及び、ＧＰＵからの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１１３を備えている。

更に、電子黒板２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行に複数の赤外線を放射し、この赤外線がディスプレイ３の周囲に設けられた反射部材によって反射されて、放射した光の光路と同一の光路上を戻って来る赤外線を受光素子が受光する方法である。接触センサ１１５は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ(Identification)をセンサコントローラ１１４に出力し、センサコントローラ１１４が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各ＩＤは、識別情報の一例である。物体の一例は指や電子ペン４であるが、光を遮断する物であればよい。また、不透明な物に限られずガラスやプラスチックなど透明から半透明の材料で作成されていてもよい。

また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。

また、電子黒板２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判定する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判定するようにしてもよい。

更に、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、センサコントローラ１１４、及び電子ペンコントローラ１１６を、図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。

なお、電子黒板２用のプログラムは、ＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

＜電子黒板の機能構成＞
続いて、図３〜図６を用いて、電子黒板の機能構成について説明する。なお、先ずは、図３を用いて、電子黒板２の全体的な機能構成について説明する。図３は、電子黒板の機能ブロック図である。

電子黒板２は、図２に示されているハードウェア構成及びプログラムによって、図３に示されている各機能構成を有する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。クライアント部２０及びサーバ部９０は、電子黒板２の１台の筐体内で実現される機能である。そして、電子黒板２が主催装置となる場合には、この電子黒板２では、クライアント部２０とサーバ部９０が実現される。また、電子黒板２が参加装置となる場合には、この電子黒板２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図１において、電子黒板２ａが主催装置で、電子黒板２ｂが参加装置となる場合、電子黒板２ａのクライアント部２０は、同じ電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ｂのクライアント部２０と通信を行う。一方、電子黒板２ｂのクライアント部２０は、他の電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ａのクライアント部と通信を行う。
〔クライアント部２０の機能構成〕
続いて、主に図３から図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。

このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器の出力画像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、電子黒板２の起動時に起動され、座標検知部２２が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部２２がセンサーカメラの画像を処理する際のパラメータを調整する。

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ３上に図６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を消去したり、描画された画像を編集したりするイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図６に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。

「ジェスチャ操作」は、ディスプレイ３上に図６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。

操作処理部２６は、イベント振分部２５によってＵＩ操作と判定されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判定されたものに対応した操作を実行する。

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として表示部２９に対して表示する。表示部２９はディスプレイ３により実現される表示機能を示す。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部２８は、ピクチャーインピクチャーされて表示部２９の一部に表示された映像を、表示部２９の全体に表示させるための切り替えを行う。

画像処理部３０は、図６に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図６に示されている映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を消去したり、描画された画像を編集する。このストローク描画による画像は、図６に示されているストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、消去、編集の各結果は、後述の操作データとして、操作データ記憶部８４０に記憶される。

ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図６に示されているＵＩ画像（Ａ）に相当する。
背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図６に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、図６に示されているストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、図６に示されているメディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを消去したり複製したりすることもできる。

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、図６に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示重畳部３６は、図６に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、電子黒板２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

ページデータ記憶部３００は、表１に示されているようなページデータを記憶する。

表１は、ページデータを概念的に示す。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）及びメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、表１〜表４に分けて、ページデータの内容を説明する。

ページデータは、表１に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、後述の図６に示されているストローク画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、後述の図６に示されている背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。

このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、表２に示されているように詳細な情報を示している。表２は、ストローク配列データを概念的に示す。表２に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。

更に、この座標配列データは、表３に示されているように詳細な情報を示している。表３は、座標配列データを概念的に示す。表３に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、表３に示されている１点の集まりが、表２に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

また、表１に示されているページデータのうちのメディアデータは、表４に示されているように詳細な情報を示している。

表４は、メディアデータを概念的に示す。表４に示されているように、メディアデータは、表１に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。

また、図３に戻って説明する。遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、表５に示されているように、電子黒板２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。

（ファイル処理部４０の機能構成）
続いて、図４を用いて、図３に示されているファイル処理部４０の機能構成を説明する。なお、図４は、ファイル処理部の機能ブロック図である。ファイル処理部４０は、リカバリ処理部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、及び設定ファイル出力部４９ｂを有している。更に、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び接続先管理テーブル４４０を有している。

このうち、リカバリ処理部４１は、電子黒板２が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがＰＤＦファイルとしてファイル処理部４０を介してＵＳＢ５に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部４１は、ページデータ記憶部３００からページデータを読み出すことで復旧させる。

ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。

ファイル出力部４２ｂは、ファイル変換部４３によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。

ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル４１０には、表６に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。

また、ファイル送信部４４が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。

アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０に管理する。

バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、表７に示されているように、ＰＤＦ形式で記憶される。

バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。

設定管理部４８は、電子黒板２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ(Domain Name System)の設定等である。

設定ファイル出力部４９ｂは、電子黒板２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。

設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板の各種設定に反映させる。

アドレス帳入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、接続先管理テーブル４４０に管理する。接続先管理テーブル４４０の一例を表８に示す。

接続先管理テーブル４４０は、電子黒板２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のＩＰアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加されることが可能な主催装置としての電子黒板２が設置されている拠点の名称、及び主催装置としての電子黒板２のＩＰアドレスが関連付けて管理されている。

なお、接続先管理テーブル４４０は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のＩＰアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のＩＰアドレスを知得する。

（通信制御部６０の機能構成）
次に、図５を用いて、通信制御部６０の機能構成について説明する。図５は、サーバ部９０とクライアント部２０の機能ブロック図の一例である。通信制御部６０は、通信ネットワーク９を介して、他の電子黒板２と行う通信や、サーバ部９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、及び参加拠点管理テーブル６１０を有している。

このうち、遠隔開始処理部６１は、同じ電子黒板２のサーバ部９０に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、及び有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。

参加拠点管理テーブル６１０は、電子黒板が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。参加拠点管理テーブル６１０の一例を表９に示す。

この参加拠点管理テーブル６１０では、参加中の電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスが関連付けて管理されている。

遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての電子黒板２のサーバ部９０における遠隔接続要求受信部７１に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の電子黒板２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板２のＩＰアドレスが入力されてもよい。

遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）を、サーバ部９０に送信する。

遠隔画像受信部６４は、サーバ部９０から、他の電子黒板２に接続された映像出力機器からの画像データを受信し、表示重畳部３６に出力することで、遠隔共有処理を可能にする。

遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ部９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの消去、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの消去、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ部９０から、他の電子黒板２で入力された操作データを受信し、画像処理部３０に出力することで、遠隔共有処理を行う。

〔サーバ部の機能構成〕
続いて、図５を用いて、サーバ部９０の機能構成について説明する。サーバ部９０は、各電子黒板２に設けられており、いずれの電子黒板２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。
（通信制御部７０の機能構成）
次に、図５を用いて、通信制御部７０の機能構成について説明する。

通信制御部７０は、同じ電子黒板２内のクライアント部２０における通信制御部７０、及び通信ネットワーク９を介して他の電子黒板２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

更に詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、及び遠隔操作送信部７６を有している。

このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部６２からの遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部６２へ遠隔共有処理に対する参加要求の結果を送信したりする。

遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対して、この画像データを送信する。

遠隔操作受信部７５は、遠隔操作送信部６５からの操作データ（ストローク画像（Ｂ）等のデータ）を受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対して、この操作データを送信する。

（データ管理部の機能構成）
次に、図５を用いて、データ管理部８０の機能構成について説明する。データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、及びページ処理部８５を有している。更に、サーバ部９０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ記憶部８３０、操作データ記憶部８４０、及びページデータ記憶部８５０を有している。

このうち、遠隔接続処理部８１は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部８１は、クライアント部としての他の電子黒板２からの参加要求が予め定められた参加可能数を超えていないかを確認する。

更に、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判定し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、主催装置としての電子黒板２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。

また、電子黒板２が主催装置の場合、遠隔接続処理部８１は、参加装置の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部９０の参加拠点管理テーブル８２０に記憶する。そして、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔接続結果送信部７２は、同じ主催装置のクライアント部２０における遠隔開始処理部６１に遠隔拠点情報を送信する。遠隔開始処理部６１は、参加拠点管理テーブルに６１０に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部２０及びサーバ部９０の両方で、遠隔拠点情報を管理することになる。

遠隔画像処理部８２は、遠隔共有処理中の各電子黒板２のクライアント部（主催装置である自己の電子黒板のクライアント部を含む）に接続された映像出力機器（ノートＰＣ６等）からの画像データ（出力画像（Ｃ））を受信して画像データ記憶部８３０に記憶すると共に、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判定した順番で画像データを送信する。

遠隔操作処理部８３は、遠隔共有処理中の各電子黒板２のクライアント部（主催装置である自己の電子黒板のクライアント部を含む）で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を受信し、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上記の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に操作データを送信する。

操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、この合成結果としての操作データを、操作データ記憶部８４０に記憶すると共に遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である電子黒板のクライアント部、及び参加装置である電子黒板のクライアント部のそれぞれに送信されることで、各電子黒板２で同じ操作データに係る画像が表示される。操作データの一例を表１０に示す。

操作データは、表１０に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のPort No.、操作データの送信先である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のクライアント部（Port No.:50001）でストロークが描画されると、同じ主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ部（Port No.:50000）に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータＩＤ「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板（ＩＰアドレス：192.0.0.1）のサーバ部（Port No.:50000）から、参加装置である他の電子黒板（ＩＰアドレス：192.0.0.1）のクライアント部（Port No.:50001）に、操作データが送られたことが示されている。

なお、操作合成処理部８４は、この操作合成処理部８４に操作データが入力された順に合成を行うため、通信ネットワーク９が混雑していなければ、各電子黒板２のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板２のディスプレイ３にストローク画像（Ｂ）が表示される。

ページ処理部８５は、クライアント部２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ部９０でも、表１から表３に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容であるため、その説明を省略する。

＜実施形態の処理又は動作＞
続いて、図７及び図８を用いて、本実施形態の処理又は動作について説明する。なお、図７及び図８は、各電子黒板の処理を示したシーケンス図である。図７及び図８に示す実施形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ部及びクライアント部）としての役割を果たしており、電子黒板２ｂ，２ｃが遠隔共有処理に参加する参加装置（クライアント部）としての役割を果たす場合について説明する。また、ここでは、電子黒板２ａ，２ｂ，２ｃには、それぞれディスプレイ３ａ，３ｂ，３ｃが接続され、更に、それぞれノートＰＣ６ａ，６ｂ，６ｃが接続されている。また、電子黒板２ａ，２ｂ，２ｃでは、それぞれ電子ペン４ａ，４ｂ，４ｃが使用される。

（参加の処理）
まずは、図７を用いて、電子黒板２ｂ，２ｃが遠隔共有処理に参加するための処理について説明する。

ユーザが電子黒板２ａの電源スイッチをオンにすると、電子黒板２ａのクライアント部２０が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部９０を起動させる操作をすると、クライアント部２０の遠隔開始処理部６１から同じ電子黒板２ａのサーバ部９０における遠隔接続要求受信部７１に、サーバ部９０の処理を開始させる指示を出力する。これにより、電子黒板２ａでは、クライアント部２０だけでなくサーバ部９０も各種処理を開始可能となる（ステップＳ２１）。

次に、電子黒板２ａのクライアント部２０におけるＵＩ画像生成部３３が電子黒板２ａとの接続を確立するための接続情報を生成し、映像重畳部２８が、ＵＩ画像生成部３３から表示重畳部３６を介して得た接続情報をディスプレイ３ａに表示させる（ステップＳ２２）。

この接続情報には、主催装置のＩＰアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部８１０に記憶されているパスコードは、図５に示されている遠隔接続処理部８１によって読み出され、遠隔接続結果送信部７２、遠隔開始処理部６１の順に送信される。更に、パスコードは、遠隔開始処理部６１を含む通信制御部６０から、図３に示されている画像処理部３０に送信され、最終的にＵＩ画像生成部３３に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ，２ｃのユーザに伝えられる。なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。

次に、電子黒板２ｂ，２ｃでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板２ａ，２ｂのクライアント部２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して、電子黒板２ａのサーバ部９０における通信制御部７０に対してパスコードを送信して参加要求を行う（ステップＳ２３，Ｓ２４）。これにより、通信制御部７０の遠隔接続要求受信部７１は、各電子黒板２ｂ，２ｃから、参加要求（パスコードを含む）を受信し、このパスコードを遠隔接続処理部８１に出力する。

次に、遠隔接続処理部８１は、各電子黒板２ｂ，２ｃのから受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する（ステップＳ２５）。

そして、遠隔接続結果送信部７２が、各電子黒板２ｂ，２ｃのクライアント部２０に認証結果を通知する（ステップＳ２６，Ｓ２７）。

ステップＳ２５の認証により、各電子黒板２ｂ，２ｃが正当な電子黒板であると判定されていた場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ，２ｃとの遠隔共有処理の通信が確立され、各電子黒板２ｂ，２ｃのクライアント部２０における遠隔参加処理部６２が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする（ステップＳ２８，Ｓ２９）。

（出力画像の表示）
続いて、図７を用いて、遠隔共有処理における出力画像（Ｃ）が表示される処理について説明する。

まず、電子黒板２ｂは、ディスプレイ３ｂに出力画像（Ｃ）を表示する（ステップＳ３０）。具体的には、電子黒板２ｂの画像取得部３１が、ノートＰＣ６ｂから映像取得部２１を介して、ノートＰＣ６ｂで表示されている出力画像（Ｃ）のデータを受信し、表示重畳部３６及び映像重畳部２８を介してディスプレイ３ｂに送信することで、ディスプレイ３ｂは出力画像（Ｃ）を表示する。

次に、電子黒板２ｂの画像取得部３１を含む画像処理部３０が、遠隔画像送信部６３に出力画像（Ｃ）のデータを送信することで、遠隔画像送信部６３を含む通信制御部６０が通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０に出力画像（Ｃ）のデータを送信する（ステップＳ３１）。これにより、電子黒板２ａの遠隔画像受信部７３は、出力画像（Ｃ）のデータを受信し、遠隔画像処理部８２に出力することで、遠隔画像処理部８２が画像データ記憶部８３０に出力画像（Ｃ）のデータを記憶する。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに出力画像（Ｃ）を表示する（ステップＳ３２）。具体的には、電子黒板２ａの遠隔画像処理部８２は、遠隔画像受信部７３から受信した出力画像（Ｃ）のデータを、遠隔画像送信部７４に出力する。遠隔画像送信部７４は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔画像受信部６４に、出力画像（Ｃ）のデータを出力する。遠隔画像受信部６４は、表示重畳部３６に出力画像（Ｃ）のデータを出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ａに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ａは、出力画像（Ｃ）を表示する。

次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔画像送信部７４を含む通信制御部７０は、通信ネットワーク９を介して、出力画像（Ｃ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に出力画像（Ｃ）のデータを送信する（ステップＳ３３）。これにより、参加装置である電子黒板２ｃの遠隔画像受信部６４は、出力画像（Ｃ）のデータを受信する。

次に、電子黒板２ｃは、ディスプレイ３ｃに出力画像（Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔画像受信部６４が、上記ステップＳ３３によって受信された出力画像（Ｃ）のデータを、電子黒板２ｃの表示重畳部３６に出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ｃに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、出力画像（Ｃ）を表示する。

なお、出力画像（Ｃ）のデータだけでなく、ＵＩ画像（Ａ）、及びストローク画像（Ｂ）の各データが、映像重畳部２８に入力されている場合には、表示重畳部３６により、重畳画像（Ａ，Ｂ，Ｃ）が生成され、映像重畳部２８はディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。また、テレビ会議端末７から映像重畳部２８に、テレビ会議用の映像（Ｅ）のデータが送られて来ている場合には、映像重畳部２８は、重畳画像（Ａ，Ｂ，Ｃ）にピクチャーインピクチャーによりテレビ会議用の映像（Ｅ）のデータを重畳して、ディスプレイ３ｃに出力する。

（重畳画像の表示）
続いて、図８を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。

まず、電子黒板２ｂは、ユーザが電子ペン４ｂを用いて電子黒板２ｂにストローク画像（Ｂ）を描画する（ステップＳ４１）。

次に、電子黒板２ｂの表示重畳部３６は、図６に示されているように、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳し、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に、重畳された重畳画像（Ａ，Ｂ，Ｃ）を表示させる（ステップＳ４２）。具体的には、電子黒板２ｂのストローク処理部３２が座標検知部２２及び接触検知部２４からイベント振分部２５を介して、操作データとしてのストローク画像（Ｂ）のデータを受信し、表示重畳部３６に送信する。これにより、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳することができ、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に重畳画像（Ａ，Ｂ，Ｃ）を表示させることができる。

次に、電子黒板２ｂのストローク処理部３２を含む画像処理部３０が、遠隔操作送信部６５にストローク画像（Ｂ）のデータを送信することで、電子黒板２ｂの遠隔操作送信部６５は、通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０にストローク画像（Ｂ）のデータを送信する（ステップＳ４３）。

これにより、電子黒板２ａの遠隔操作受信部７５は、ストローク画像（Ｂ）のデータを受信し、遠隔操作処理部８３に出力することで、遠隔操作処理部８３が操作合成処理部８４にストローク画像（Ｂ）のデータを出力する。このようにして、電子黒板２ｂで描画されたストローク画像（Ｂ）のデータは、描画される度に、主催装置である電子黒板２ａの遠隔操作処理部８３に順次送信される。このストローク画像（Ｂ）のデータは、図７に示されているストロークデータＩＤ毎に示されるデータである。よって、例えば、上記したように、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合は二筆書きとなるため、２つのストロークデータＩＤのそれぞれで示されるストローク画像（Ｂ）のデータが順次送信される。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに、電子黒板２ｂから送られて来たストローク画像（Ｂ）のデータが含まれた重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ４４）。具体的には、電子黒板２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られて来た複数のストローク画像（Ｂ）のデータを合成して、操作データ記憶部８４０に記憶すると共に遠隔操作処理部８３に戻す。これにより、遠隔操作処理部８３は、操作合成処理部８４から受信した、合成後のストローク画像（Ｂ）のデータを、遠隔操作送信部７６に出力する。遠隔操作送信部７６は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔操作受信部６６に、合成後のストローク画像（Ｂ）のデータを出力する。遠隔操作受信部６６は、画像処理部３０における表示重畳部３６に、合成後のストローク画像（Ｂ）のデータを出力する。よって、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、合成後のストローク画像（Ｂ）を重畳する。最後に、映像重畳部２８が、表示重畳部３６によって重畳された重畳画像（Ａ，Ｂ，Ｃ）をディスプレイ３ａ上に表示させる。

次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔操作送信部７６を含む通信制御部７０は、通信ネットワーク９を介して、ストローク画像（Ｂ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に、合成後のストローク画像（Ｂ）のデータを送信する（ステップＳ４５）。これにより、参加装置である電子黒板２ｃの遠隔操作受信部６６は、合成後のストローク画像（Ｂ）のデータを受信する。

次に、電子黒板２ｃは、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ４６）。具体的には、電子黒板２ｃの遠隔操作受信部６６が、上記ステップＳ４５によって受信された合成後のストローク画像（Ｂ）のデータを、電子黒板２ｃの画像処理部３０に出力する。画像処理部３０の表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）の各データと、合成後のストローク画像（Ｂ）のデータを重畳し、映像重畳部２８に重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。映像重畳部２８は、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、重畳画像（Ａ，Ｂ，Ｃ）を表示する。

なお、上記処理では、ディスプレイ３上に出力画像（Ｃ）が表示されているが、この出力画像（Ｃ）に代えて、背景画像（Ｄ）を表示してもよい。また、出力画像（Ｃ）と背景画像（Ｄ）との排他的な関係をやめて、出力画像（Ｃ）と背景画像（Ｄ）との両方を同時にディスプレイ３上に表示させてもよい。

（参加の終了）
続いて、図８を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図８に示す実施形態では、電子黒板２ｃが参加を終了する処理が示されている。

まず、電子黒板２ｃでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部６２は、主催装置としての電子黒板２ａのサーバ部９０における通信制御部７０に、参加の終了要求を行う（ステップＳ４７）。これにより、通信制御部７０の遠隔接続要求受信部７１は、電子黒板２ｃから、参加の終了要求を受信し、遠隔接続処理部８１に、電子黒板２ｃのＩＰアドレスと共に参加の終了要求を出力する。そして、電子黒板２ａの遠隔接続処理部８１は、遠隔接続要求受信部７１から送られて来たＩＰアドレスに基づいて、参加拠点管理テーブル８２０から、参加の終了要求を行った電子黒板２ｃのＩＰアドレス及び電子黒板２ｃが設置されている拠点の名称を消去し、遠隔接続結果送信部７２に、電子黒板２ｃのＩＰアドレス及び消去した旨の通知を出力する。

次に、遠隔接続結果送信部７２を含んだ通信制御部７０が、通信ネットワーク９を介して、電子黒板２ｃのクライアント部２０における通信制御部６０に、参加の終了を指示する（ステップＳ４８）。これにより、電子黒板２ｃにおける通信制御部６０の遠隔参加処理部６２が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する（ステップＳ４９）。

＜イベントについて＞
図９は、イベント振分部が振り分けるイベントを説明する図の一例である。上記のように、イベント振分部２５は、座標検知部２２及び接触検知部２４によって検出されたイベントを、ストローク描画、ＵＩ操作、及びジェスチャ操作に振り分ける。以下、ストローク描画が行われる電子黒板２の動作モードを「手書きモード」、ジェスチャ操作が行われる動作モードを「ジェスチャモード」という。

イベント振分部２５はイベント判定部２５１、モード判定部２５２、タイムアウトフラグ２５３、ジェスチャ中フラグ２５４、及び、タイマー２５５を有している。イベント判定部２５１は、座標検知部２２が検知する座標を利用して以下のようなイベントを検知する。
・タッチダウンイベント…座標検知部２２は座標を検出してイベント振分部２５に出力するが、手Ｈ又は電子ペン４がペンダウン（接触センサ１１５に検知されること）してからペンアップ（接触センサ１１５に検知されなくなること）するまでの間に、イベント判定部２５１は１つの識別番号（以下、ＩＤという）を手Ｈ又は電子ペン４に付与する。手Ｈ又は電子ペン４によるこのペンダウンがタッチダウンイベントである。以下では、手Ｈ又は電子ペン４を座標入力部と称する。別の座標入力部には異なるＩＤが付与される。
・タッチムーブイベント…タッチダウンイベントとして検知された座標が移動したことを検出した場合に、イベント判定部２５１はタッチムーブイベントであると判定する。座標が移動するとは、時刻ｔｎに検出された座標と時刻ｔｎ＋１に検出された座標が所定範囲内（時刻ｔｎから時刻ｔｎ＋１の間に手Ｈ又は電子ペン４が移動しうる距離）にあることをいう。
・タッチアップイベント…タッチダウンイベント又はタッチムーブイベントであると判定された座標（座標入力部）が検出されなくなった場合、イベント判定部２５１はタッチアップイベントを検知する。

イベント判定部２５１はイベントの判定結果と座標をモード判定部２５２に送出する。モード判定部２５２は、各イベントに応じた後述する処理により、ユーザが手書きしているのか（手書きモードであるか）、ジェスチャにより操作しているのか（ジェスチャモードか）を判定する。手書きモードであると判定した場合、座標をストローク処理部３２に出力し、ジェスチャモードであると判定した場合、座標をジェスチャ処理部２７に出力する。

なお、本実施例では、説明の便宜上、手書きモードとは１つの座標が検出されている場合にイベント振分部２５が受け付ける動作モードであるとして説明する。また、手書きモードはストローク画像が描画されるモードである。ジェスチャモードとは、２つ以上の座標が同時に検出されている場合にイベント振分部２５が受け付ける動作モードである。また、ジェスチャモードはストローク画像（Ｂ）、出力画像（Ｃ）又は背景画像（Ｄ）をユーザが操作するモードである。例えば、ジェスチャモードにより、２本以上の指でピンチイン（縮小）する操作や、ピンチアウト（拡大）する操作などが可能になる。３本以上の指によるジェスチャも可能である。このように、本実施例の電子黒板２は２つの座標入力部による手書きを同時に受け付けないが、ジェスチャモードでないと判定された後ならば、２つの座標入力部で同時に手書きすることは可能である。

タイマー２５５は一定時間を測定するための時間測定手段である。タイマー２５５が一定時間を測定するまでに２つめの座標が検出されるとジェスチャモードであると判定される。タイマー２５５はソフト的に時間を測定しても、時間を測定するＩＣなどでハード的に時間を測定してもよい。この一定時間は、ユーザがジェスチャ操作のために２本の指をディスプレイ３に触れさせる際、１本目の指が触れてから２本目の指が触れるまでの一般的な時間である。例えば、数十ミリ秒から数百ミリ秒の一定時間がタイマー２５５に設定されている。しかしながら、タイマー２５５に設定される時間は一定でなくてもよく、ユーザがジェスチャ操作した場合に１本目の指が触れてから２本目の指が触れるまでの時間をイベント判定部２５１が学習して、タイマー２５５に設定してもよい。また、ユーザが所望の一定時間を設定してもよい。

タイムアウトフラグ２５３には、タイマー２５５がタイムアウトした場合にＴｒｕｅが設定される。ジェスチャ中フラグ２５４にはジェスチャ中であると判定されるとＴｒｕｅが設定される。タイムアウトフラグ２５３及びジェスチャ中フラグ２５４の初期値はいずれもＦａｌｓｅである。初期値は、電子黒板２の起動時に設定される。

＜イベントの検出例＞
図１０は、イベント振分部２５が時系列に検出するイベントの一例を示すフローチャート図である。図１０では、ジェスチャモードのためにユーザが２本の指をディスプレイ３に接触させ、２つの座標入力部が検出される場合を示している。

S1：イベント判定部２５１がタッチダウンイベントを検出する。タッチダウンイベントを生じさせた座標入力部を識別するためにイベント判定部２５１は、この座標入力部にＩＤ＝１を付与する。座標入力部が入力する一連の座標がＩＤ＝１で識別される。

S2：次に、イベント判定部２５１がタッチムーブイベントを検出する。つまり、座標入力部が移動した。タッチムーブイベントにより生じた座標は、ストローク描画又はジェスチャ操作に使用される。

S3：引き続きイベント判定部２５１がＩＤ＝１のタッチムーブイベントを検出する。

S4：次に、イベント判定部２５１はステップＳ１とは別のタッチダウンイベントを検出し、この座標入力部にＩＤ＝２を付与する。

S5：引き続きイベント判定部２５１がＩＤ＝１のタッチムーブイベントを検出する。

S6：イベント判定部２５１はＩＤ＝２のタッチムーブイベントを検出する。なお、ステップＳ５とステップＳ６においてもっと数多くのタッチムーブイベントが検出されているが、図１０では省略されている。本実施形態では手書きモードが可能なのは１つの座標入力部だけなので、ＩＤ＝２のタッチムーブイベントにより生じた座標はジェスチャ操作に使用される（あるいは無視される）。

S7：イベント判定部２５１がＩＤ＝１のタッチアップイベントを検出する。すなわち、座標検知部２２が最後に検知したＩＤ＝１の座標から所定距離内に座標が検出されなくなる。

S8：イベント判定部２５１がＩＤ＝２のタッチアップイベントを検出する。すなわち、座標検知部２２が最後に検知したＩＤ＝２の座標から所定距離内に座標が検出されなくなる。

このように、イベント判定部２５１は座標入力部のＩＤごとにタッチダウンイベント、タッチムーブイベント及びタッチアップイベントを検出する。

本実施例では、タッチイベントが検出されてから一定時間処理待ちを行うことで、ジェスチャモードか手書きモードかを判別する電子黒板２について説明する。

＜タッチダウンイベント＞
図１１Ａは、タッチダウンイベントが検出された場合にモード判定部２５２が行う処理を示すフローチャート図の一例である。図１１Ａの処理はタッチダウンイベントが検出されるとスタートする。

モード判定部２５２は、タッチダウンイベントが検出された時に付与されたＩＤが１か否かを判定する（Ｓ１０）。つまり、現在、ディスプレイ３に触れているのは１つの座標入力部だけかどうかを判定する。イベント判定部２５１が付与し監視しているＩＤが１つかどうかを判定してもよい。

ステップＳ１０の判定がＹｅｓの場合、モード判定部２５２はタイマー２５５をスタートさせる（Ｓ２０）。このタイマー２５５により一定時間が測定される。

ステップＳ１０の判定がＮｏの場合、モード判定部２５２はタイマー２５５をストップさせる（Ｓ３０）。つまり、２つめの座標入力部によりタッチダウンイベントが検出されたため、タイマー２５５がストップしてそれまでの測定時間が確定する。なお、３つめのタッチダウンイベントが検出された場合、タイマー２５５はすでにストップしている。

以上のように、検出されたタッチダウンイベントが１つめの座標入力部によるものである場合、モード判定部２５２はタイマー２５５をスタートさせることができる。

＜タイムアウト時＞
図１２は、タイムアウト時にモード判定部２５２が行う処理を示すフローチャート図の一例である。図１２の処理はタイマー２５５がタイムアウトするとスタートする。

タイマー２５５がタイムアウトすると、モード判定部２５２はタイマー２５５をストップする（Ｓ１０）。タイマー２５５がタイムアウトするとは一定時間の測定が終了したことを意味する。

次に、モード判定部２５２はタイムアウトフラグ２５３にＴｒｕｅを設定する（Ｓ２０）。タイムアウトフラグ２５３がＴｒｕｅであることは、タイマー２５５がタイムアウトしたことを意味する。

以上のように、タイマー２５５がタイムアウトすることで、モード判定部２５２はタイムアウトフラグ２５３にＴｒｕｅを設定できる。

＜タッチムーブイベント＞
図１３Ａは、タッチムーブイベントが検出された場合にモード判定部２５２が行う処理を示すフローチャート図の一例である。図１３Ａの処理はタッチムーブイベントが検出されるとスタートする。

モード判定部２５２はＩＤ数が２以上か否かを判定する（Ｓ１０）。ステップＳ１０の判定がＮｏの場合、モード判定部２５２はタイムアウトしたか否かを判定する（Ｓ８０）。つまり、タイムアウトフラグがＴｒｕｅかどうかを判定する。座標入力部は１つだけなのでタイムアウトしたかどうかにより一定時間が経過したか否かを判定する。

そして、タイムアウトしていない場合（Ｓ８０のＮｏ）、図１３Ａの処理は終了し、モード判定部２５２は座標をストローク処理部３２に出力しない。

タイムアウトした場合（Ｓ８０のＹｅｓ）、処理はステップＳ５０に進む。

ステップＳ１０の判定がＹｅｓの場合、モード判定部２５２はタイマー２５５がタイムアウトしたか否かを判定する（Ｓ２０）。つまり、タイムアウトフラグがＴｒｕｅかどうかを判定する。

ステップＳ２０の判定がＮｏの場合、モード判定部２５２はジェスチャ中フラグ２５４にＴｒｕｅを設定する（Ｓ３０）。つまり、タッチダウンイベントでスタートしたタイマー２５５がタイムアウトする前に２つめの座標入力部が検出されたので、モード判定部２５２はジェスチャモードであると判定する。ユーザは、２つの指をわずかな時間差で（一定時間内に）ディスプレイ３に接触させたと考えられる。

また、モード判定部２５２はタイマー２５５をストップさせる（Ｓ４０）。つまり、ジェスチャモードであると判定できたのでタイマー２５５による時間の測定が不要になる。

ステップＳ５０で、モード判定部２５２はジェスチャ中フラグ２５４がＴｒｕｅか否かを判定する（Ｓ５０）。まず、ステップＳ２０でＹｅｓと判定された場合（タイムアウトした場合）、ジェスチャ中フラグ２５４はＦａｌｓｅのままなので（一定時間内に２つめの座標入力部が検出されない場合はジェスチャ中フラグ２５４がＦａｌｓｅである）、ステップＳ５０でＮｏと判定され、モード判定部２５２は手書きモードであると判定し１つめの座標入力部により入力される座標をストローク処理部３２に出力する（Ｓ７０）。２つめの座標入力部により入力された座標は記録されるがストローク描画には使用されない。当然ながら、ストローク描画に使用してもよい。

ステップＳ２０でタイムアウトしていないと判定された場合、ジェスチャ中フラグ２５４はＴｒｕｅであるので、ステップＳ５０でＹｅｓと判定され、モード判定部２５２はジェスチャモードであると判定する（Ｓ６０）。つまり、タッチダウンイベントから一定時間内に２つめの座標が検出された場合、モード判定部２５２はジェスチャモードであると判定できる。

ステップＳ８０でＹｅｓと判定された場合、座標入力部は１つだけでタイムアウトしたが、ジェスチャ中フラグ２５４はＦａｌｓｅであるので、モード判定部２５２は手書きモードであると判定する（Ｓ７０）。

したがって、図１３Ａのような処理によれば、タイムアウトした後にユーザが２つめの座標を入力してもジェスチャ操作を行えない。したがって、ユーザが１本の指で手書きしている場合に別の指や服の袖などがディスプレイに触れても、電子黒板２がジェスチャモードであると誤判定することを抑制できる。

また、電子黒板２は、一定時間が経過するまでは、手書きモードであると判定されないので、ユーザがジェスチャ操作しようとしたのに１本目の指が触れた時点で手書き線が描画されることを抑制できる。

＜タッチアップイベント＞
図１４は、タッチアップイベントが検出された場合にモード判定部２５２が行う処理を示すフローチャート図の一例である。図１４の処理はタッチアップイベントが検出されるとスタートする。

モード判定部２５２は、タッチアップイベントを検出することでタイマー２５５をストップする（Ｓ１０）。時間を測定する必要がなくなるためである。タッチアップイベントの前にタイマー２５５がストップしていてもよい。

次に、モード判定部２５２は、ＩＤ数がゼロか否かを判定する（Ｓ２０）。

ＩＤ数がゼロである場合（Ｓ２０のＹｅｓ）、すべての座標入力部がディスプレイ３から離れたことを意味するので、モード判定部２５２はジェスチャ中フラグ２５４及びタイムアウトフラグ２５３を初期化する（Ｓ３０、Ｓ４０）。

なお、ジェスチャ中にユーザが１つの指を離したが、再度、２本目の指を接触させた場合、すでにタイムアウトしているおりジェスチャ中フラグがＴｒｕｅなのでジェスチャモードが継続される。

図１４の処理によれば、タッチアップイベントが検出されることで、モード判定部２５２はジェスチャ中フラグ２５４及びタイムアウトフラグ２５３を初期化できる。

このように本実施例の電子黒板は、１つめのタッチダウンイベントが検出された場合に一定時間処理待ちを行い、一定時間内に２つめの座標が検出された場合にジェスチャと判定し、一定時間内に２つめの座標が検出されなかった場合には手書きだと判定する。これにより、モード判定部２５２はユーザが明示的な操作をしなくても手書きモードとジェスチャモードを判別できる。また、電子黒板２がジェスチャモードでないのにジェスチャモードであると誤判定したり、手書きモードでないのに手書きモードであると誤判定したりすることを抑制できる。

＜変形例＞
なお、手書きモードと判定された後に予め保持しておいた座標でストローク描画してもよい。この場合、図１１Ｂに示すように、ステップＳ２０の後、座標をＲＡＭ１０３に記憶しておく（Ｓ２２）。そして、図１３Ｂに示すように、タッチムーブイベント中も座標をＲＡＭ１０３に記憶しておく（Ｓ８２）。図１３ＢのステップＳ５０でジェスチャモードでないと判定されると、ＲＡＭ１０３の座標をストローク処理部３２がディスプレイ３に表示する（Ｓ５２）。この場合、一定時間が経過するまではストロークが表示されないが、一定時間が経過するとユーザが手書きした内容を電子黒板２が遡って表示できる。

実施例１では、タイマー２５５がタイムアウトするまでストローク描画が行われないので、ユーザから見ると手書きの開始が遅れると感じるおそれがある。そこで、本実施例では、タッチダウンイベントの検出時にタイマー２５５がタイムアウトしていなくても、先行してストローク描画を行う電子黒板２について説明する。ストローク描画が先行して実行されるので、ユーザがディスプレイ３に触れた直後から電子黒板２がストローク描画を行うことができる。

なお、本実施例において、タイムアウト時の処理とタッチアップイベントが検出された場合の処理は実施例１と同様である。

＜タッチダウンイベント＞
図１５は、タッチダウンイベントが検出された場合にモード判定部２５２が行う処理を示すフローチャート図の一例である。なお、図１５では図１１Ａとの違いを主に説明する。

ステップＳ２０でタイマー２５５をスタートさせると、モード判定部２５２は座標をストローク処理部３２に出力し、ストローク処理部３２にストローク描画を開始させる（Ｓ４０）。すなわち、手書きモードであると仮判定する。一定時間が経過する前からストローク描画を開始するので、ユーザがディスプレイ３に触れた直後から電子黒板２がストローク描画を行うことができる。

＜タッチムーブイベント＞
図１６は、タッチムーブイベントが検出された場合にストローク処理部３２が行う処理を示すフローチャート図の一例である。なお、図１６では図１３Ａとの違いを主に説明する。図１６ではステップＳ８０の処理が不要になり、ステップＳ９０が追加される。

図１５にて説明したように、タッチダウンイベントが検出された場合、ストローク処理部３２はタイムアウト前からにストローク描画を行っている。このため、タイムアウト前に２つめの座標入力部が検出された場合にはすでに描画されたストロークを消去する必要がある。

そこで、ステップＳ２０の判定がＮｏの場合、モード判定部２５２はストロークを消去すると判定する（Ｓ９０）。具体的には、モード判定部２５２は、ページデータ記憶部３００に記憶されておりＩＤ＝１に対応づけられている座標をストローク処理部３２に消去させ、ディスプレイ３からも消去させる。すなわち、電子黒板２は、ジェスチャモードであると判定されると、一度描画されたストローク描画を消去できる。

一方、タイムアウト後に２つめの座標が検出された場合（Ｓ２０のＹｅｓ）、ストロークが消去されないので、ユーザが意図的に手書きしたストロークが消えることはない。

したがって、本実施例の電子黒板２によれば、実施例１の効果に加え、ストローク描画を先行して実行するので、ユーザがディスプレイ３に触れた直後からストローク描画を行うことができる。また、電子黒板２は、ジェスチャモードであると判定されると、ストローク描画を消去できる。

ジェスチャモード、手書きモードに加え、別のモードを電子黒板２が有する場合がある。この別のモードはユーザが明示的に選択するモードであるが、別のモードが選択された状態でもユーザはジェスチャにより操作することができる。このため、ユーザが別のモードを選択した状態で、電子黒板２は別のモードに基づく処理を行うのか、ジェスチャモードであるのかを判定する必要がある。

まず、図１７Ａ、図１７Ｂ、図１７Ｃを用いて別のモードについて説明する。図１７Ａ、図１７Ｂ、図１７Ｃはディスプレイ３に表示されたメニューを模式的に説明する図の一例である。図１７Ａにはワンタッチ入力ボタン５０１と消しゴムボタン５０２が表示されている。実際にはより多くのボタンが表示されてよいが、図１７Ａ、図１７Ｂ、図１７Ｃでは省略されている。なお、ワンタッチ入力ボタン５０１又は消しゴムボタン５０２が押下されたことをイベント振分部２５が座標に基づき検出し、操作処理部２６が別のモードであることをストローク処理部３２に通知する。これにより、ワンタッチ入力ボタン５０１又は消しゴムボタン５０２に応じた機能が作動する。

図１７Ｂはユーザが座標入力部でワンタッチ入力ボタン５０１を押下した場合の電子黒板２の動作を説明している。ユーザがワンタッチ入力ボタン５０１を押下すると、複数のデザイン文字が表示される。ユーザは任意のデザイン文字を選択して座標入力部で表示させる位置を指定する。ストローク処理部３２はワンタッチ入力ボタン５０１が押下されたことを通知されているのでユーザが指定した座標にデザイン文字を表示させる。図１７Ｂでは「済」という文字が丸で囲まれたデザイン文字５０３が表示されている。なお、デザイン文字５０３には「秘」という文字、三角形や星形、数字、アルファベットなど各種の記号を元にデザインされた多くの種類がある。

図１７Ｃはユーザが座標入力部で消しゴムボタン５０２を押下した場合の電子黒板２の動作を説明している。ユーザが消しゴムボタン５０２を押下すると、ユーザはすでに描画したストローク５０４を消去できる。図１７Ｃのストローク５０４が描画された状態で、ユーザが消しゴムボタン５０２を押下したものとする。ユーザは座標入力部ですでに描画したストローク５０４をなぞる。ストローク処理部３２は消しゴムボタン５０２が押下されていることを通知されているので、座標に基づいてストローク５０４を消去する。すなわち、座標検知部２２が検知した座標と近い座標を有するストローク５０４をページデータ記憶部３００からストローク処理部３２が検索し、ページデータ記憶部３００から消去する。また、ディスプレイ３から消去した座標に基づくストローク５０４を消去する。なお、消しゴムボタン５０２にはユーザが座標入力部でストローク５０４上又は付近の１点に触れることでストローク５０４の全体を消去する機能がある。

上記のようにワンタッチ入力ボタン５０１又は消しゴムボタン５０２が押下された後でも、ユーザがジェスチャ操作するのか、又は、ワンタッチ入力するのか若しくは消しゴム操作をするのかを電子黒板２は判定しなければならない。ワンタッチ入力ボタン５０１が押下された状態で、実施例２の手書きモードのようにタッチダウンイベントの直後にデザイン文字５０３を電子黒板２が表示し、その後、ジェスチャモードであると判定されるとデザイン文字を消去する場合を考える。この場合、ユーザから見るとデザイン文字５０３が一瞬だけ表示されるので違和感を感じるおそれがある。一方、デザイン文字５０３はタッチダウンから一定時間の経過後に表示されても、ストローク５０４と違って表示が遅いとユーザが感じるおそれが少ない。

また、消しゴムボタン５０２が押下された状態で、実施例２の手書きモードのようにタッチダウンイベントの直後に電子黒板２がストローク５０４を消去し、その後、ジェスチャモードであると判定された場合を考える。この場合、一度、ページデータ記憶部３００から消去された座標を復活させることが困難になる。

以上のような理由から、ワンタッチ入力ボタン５０１又は消しゴムボタン５０２が押下された場合、ジェスチャモードでないことが確定した後に（タイムアウトした後に）、電子黒板２がデザイン文字５０３を表示したり、ストローク５０４を消去したりすることが好ましい。以下、このような処理を説明する。なお、以下では、ワンタッチ入力ボタン５０１又は消しゴムボタン５０２が押下された状態の動作モードを「スタンプモード」という。

＜タッチダウンイベント＞
図１８は、タッチダウンイベントが検出された場合にモード判定部２５２が行う処理を示すフローチャート図の一例である。なお、図１８では実施例２の図１５との違いを主に説明する。

ステップＳ２０でタイマー２５５をスタートさせると、モード判定部２５２はスタンプモードか否かを判定する（Ｓ３５）。すなわち、ワンタッチ入力ボタン５０１又は消しゴムボタン５０２が押下されたか否かを判定する。

スタンプモードでない場合（Ｓ３５のＮｏ）、実施例２と同様にモード判定部２５２は座標をストローク処理部３２に送出する（Ｓ４０）。これにより、ストローク処理部３２はストローク描画することができる。一定時間が経過する前からストローク描画を開始するので、ユーザがディスプレイ３に触れた直後から電子黒板２がストローク描画を行うことができる。

スタンプモードであった場合（Ｓ３５のＹｅｓ）、モード判定部２５２は座標をＲＡＭ１０３などに記憶しておく（Ｓ５０）。座標を記憶しておくことで、一定時間の経過後に座標が示す位置にストローク処理部３２がデザイン文字５０３を表示したり、ストローク５０４を消去したりすることができる。

＜タイムアウト処理＞
図１９は、タイムアウト時にモード判定部２５２が行う処理を示すフローチャート図の一例である。図１９では図１２との違いを主に説明する。

ステップＳ２０でモード判定部２５２がタイムアウトフラグ２５３にＴｒｕｅを設定すると、スタンプモードか否かを判定する（Ｓ３０）。

スタンプモードでない場合（Ｓ３０のＮｏ）、図１９の処理は終了する。すなわち、座標はストロークとして描画されているのでタイムアウト時にはモード判定部２５２は何もしない。

スタンプモードである場合（Ｓ３０のＹｅｓ）、モード判定部２５２はＲＡＭ１０３に記憶されている座標をストローク処理部３２に送出し、スタンプモードに応じた処理を要求する（Ｓ４０）。したがって、ストローク処理部３２はＲＡＭ１０３の最後に記憶されている座標にデザイン文字５０３を表示するか、又は、ＲＡＭ１０３に記憶されている座標のストロークを消去する。すなわち、タイマー２５５がタイムアウトした直後に、スタンプモードに応じた処理が可能になる。

そして、ＲＡＭ１０３に記憶されている座標は不要になるので、モード判定部２５２はＲＡＭ１０３に記憶されている座標を消去する（Ｓ５０）。したがって、ＲＡＭ１０３が圧迫されることを抑制できる。

こうすることで、タイムアウトした直後に、ストローク処理部３２はＲＡＭ１０３に記憶されている座標に基づいてスタンプモードに応じた処理を行うことができる。

＜タッチムーブイベント＞
図２０は、タッチムーブイベントが検出された場合にストローク処理部３２が行う処理を示すフローチャート図の一例である。なお、図２０では実施例２の図１６との違いを主に説明する。

ステップＳ５０でジェスチャモードでないと判定されると、モード判定部２５２はスタンプモードか否かを判定する（Ｓ５５）。

スタンプモードでない場合（Ｓ５５のＮｏ）、すでにジェスチャモードでないと判定されているので、モード判定部２５２は手書きモードであると判定する（Ｓ７０）。

スタンプモードである場合（Ｓ５５のＹｅｓ）、モード判定部２５２はタイムアウトしたか否かを判定する（Ｓ１１０）。タイムアウトするまではジェスチャモードかどうか確定しないためである。

ステップＳ１１０の判定がＹｅｓの場合、すでにタイムアウトしているので、ストローク処理部３２は座標検知部２２が検知した座標にデザイン文字５０３を表示するか、又は、座標検知部２２が検知した座標のストロークを消去する（Ｓ１２０）。すなわち、図２０はタッチムーブイベントの処理なので座標が変化していることになり、ストローク処理部３２はすでに表示しているデザイン文字５０３の位置を座標に応じて変更する。あるいは、ストローク処理部３２はストロークを座標に応じて消去する。したがって、タイムアウトの直後に行ったスタンプモードに応じた処理を電子黒板２が継続して行うことができる。

ステップＳ１１０の判定がＮｏの場合、タイムアウトしていないのでモード判定部２５２はＲＡＭ１０３に座標を記憶していく（Ｓ１３０）。したがって、電子黒板２はタイムアウトした場合に、ＲＡＭ１０３に記憶されている座標に基づきスタンプモードに応じた処理を行うことができる。

このように、タッチムーブイベントにおいてもタイムアウトしたかどうかによりスタンプモードに対し適切な処理が可能になる。

＜タッチアップイベント＞
図２１は、タッチアップイベントが検出された場合にモード判定部２５２が行う処理を示すフローチャート図の一例である。図２１では主に図１４との違いを説明する。

ステップＳ１０でタイマー２５５をストップさせると、モード判定部２５２はスタンプモードか否かを判定する（Ｓ１２）。

スタンプモードでない場合（Ｓ１２のＮｏ）、実施例１と同様に処理はステップＳ２０に進む。

スタンプモードである場合（Ｓ１２のＹｅｓ）、モード判定部２５２はタイムアウトフラグ２５３がＴｒｕｅか否かを判定する（Ｓ１４）。

タイムアウトフラグ２５３がＴｒｕｅの場合、タイムアウト時の処理でスタンプモードに応じた処理が行われているので処理はステップＳ２０に進む。

タイムアウトフラグ２５３がＦａｌｓｅの場合、スタンプモードに応じた処理が行われていないので、モード判定部２５２はＲＡＭ１０３に記憶されている座標を消去すると判定する（Ｓ１６）。この処理は図１６のステップＳ９０と同じである。したがって、タイムアップの前にタッチアップイベントが検出されても電子黒板２はスタンプモードに応じた処理を行うことができる。

そして、ＲＡＭ１０３に記憶されている座標は不要になるので、モード判定部２５２はＲＡＭ１０３に記憶されている座標を消去する（Ｓ１８）。

このように、本実施例の電子黒板２は、実施例１，２の効果に加え、手書きモードとジェスチャモードの他に別のモードがある場合、ユーザの違和感が少ないように別のモードに応じた処理することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では電子黒板２の入力モードについて説明したが、タッチパネルを有し手書きモードとジェスチャモードを切り替えるタブレット端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ＰＣ、デジタルサイネージ、ゲーム機など、情報処理装置に広く適用できる。

また、電子黒板２は、電子情報ボード又は電子ホワイトボード等どのように呼ばれているかは問わない。

また、本実施形態では、主に２本の指でユーザがジェスチャ操作する例を説明したが、義手やロボットなどの指のようにジェスチャ操作できる人工物でジェスチャ操作してもよい。２本の電子ペン４でジェスチャ操作してもよい。

また、１本の指で操作する動作モードは必ずしも手書きモードでなくてもよく、２本以上の指で操作する動作モードは必ずしもジェスチャモードでなくてもよい。例えば、１本の指でストローク画像をスクロールさせる動作モードとなり、２本の指で太線を描画する動作モードと判定することが考えられる。

また、図３〜５の構成例は、電子黒板２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子黒板２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、ストローク画像（Ｂ）は可視情報の一例であり、手書きモードは第一の動作モードの一例であり、ジェスチャモードは第二の動作モードの一例である。座標検知部２２は座標検出手段の一例であり、イベント振分部２５は数検出手段の一例であり、タイマー２５５は時間測定手段の一例であり、モード判定部２５２はモード判定手段の一例である。ストローク処理部３２は情報表示手段の一例である。操作処理部２６はモード受付手段の一例である。スタンプモードは第三の動作モードの一例である。手Ｈ又は電子ペン４は物体の一例である。タイマー２５５が測定する時間は所定時間の一例である。本実施形態の電子黒板２が行う処理は情報表示方法の一例である。ＲＡＭ１０３は記憶手段の一例である。

本国際出願は、２０１５年９月３０日に出願した日本国特許出願第２０１５−１９４９９１号に基づく優先権を主張するものであり、当該出願の全内容を本国際出願に援用する。

１ 画像処理システム
２ 電子黒板
４ 電子ペン
２０ クライアント部
２２ 座標検知部
２５ イベント振分部
２６ 操作処理部
２７ ジェスチャ処理部
３２ ストローク処理部
２５１ イベント判定部
２５２ モード判定部
２５３ タイムアウトフラグ
２５４ ジェスチャ中フラグ
２５５ タイマー

特開2013-012134号公報

Claims (15)

1. 可視情報の表示部を有する電子黒板であって、
   前記表示部における物体の座標を検出する座標検出手段と、
   前記座標検出手段により検出された物体の前記座標に基づき、前記表示部の物体の数を検出する数検出手段と、
   前記数検出手段が１つめの物体を検出した場合に所定時間の測定を開始する時間測定手段と、
   前記時間測定手段が前記所定時間を測定しても前記数検出手段が２つめの物体を検出しない場合、前記座標に基づき可視情報を表示する手書きモードであると判定し、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出した場合、前記可視情報に対する操作を受け付けるジェスチャモードであると判定するモード判定手段と、を有し、
   前記モード判定手段は、手書きモードであると判定すると前記座標を手書きに用い、ジェスチャモードであると判定すると前記座標を操作の受け付けに用いることを特徴とする電子黒板。
2. 前記数検出手段が１つめの物体を検出した場合、前記モード判定手段は前記手書きモードであると仮判定し、
   前記時間測定手段が前記所定時間を測定する前から、前記座標検出手段が検出した１つめの物体の前記座標に基づき前記表示部に前記可視情報を表示する情報表示手段を有する請求項１に記載の電子黒板。
3. 前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出した場合、前記時間測定手段が前記所定時間を測定する前に前記情報表示手段が前記表示部に表示した前記可視情報を消去する請求項２に記載の電子黒板。
4. 前記数検出手段が１つめの物体を検出した場合、前記座標検出手段が検出した１つめの物体の前記座標を記憶手段に記憶しておき、
   前記時間測定手段が前記所定時間を測定しても前記数検出手段が２つめの物体を検出しない場合、前記記憶手段に記憶されている前記座標に基づき前記表示部に前記可視情報を表示する情報表示手段を有する請求項１に記載の電子黒板。
5. 更に、１つの物体の前記座標に基づく処理を行う所定の動作モードの作動を受け付けるモード受付手段を有し、
   前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記数検出手段が１つめの物体を検出した場合、前記モード判定手段は前記座標検出手段が検出した１つめの物体の前記座標を記憶手段に記憶しておくが、前記時間測定手段が前記所定時間を測定するまで前記情報表示手段は前記記憶手段に記憶された前記座標に基づく処理を行うことなく、
   前記モード受付手段が前記所定の動作モードの作動を受け付けていない状態で、前記数検出手段が１つめの物体を検出した場合、前記座標検出手段が検出した１つめの物体の座標に基づき前記情報表示手段は前記表示部に前記可視情報を表示する請求項２に記載の電子黒板。
6. 前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出しない場合、前記時間測定手段が前記所定時間を測定するまで、前記モード判定手段は前記座標検出手段が検出した１つめの物体の前記座標を前記記憶手段に記憶することを継続する請求項５に記載の電子黒板。
7. 前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記時間測定手段が前記所定時間を測定した場合、
   前記情報表示手段は前記記憶手段に記憶されている１つめの物体の前記座標に対する前記所定の動作モードの処理を行い、
   前記記憶手段に記憶されている１つめの物体の前記座標を消去する請求項６に記載の電子黒板。
8. 前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出しない場合、
   前記時間測定手段が前記所定時間を測定し終わった後、前記情報表示手段は前記座標検出手段が検出した１つめの物体の前記座標に対する前記所定の動作モードの処理を継続する請求項７に記載の電子黒板。
9. 前記所定の動作モードの処理は、１つめの物体の前記座標に前記モード受付手段が受け付けた記号を前記情報表示手段が表示する処理、又は、前記表示部に表示されている前記可視情報を前記表示部から消去する処理である請求項５に記載の電子黒板。
10. 更に、１つの物体の前記座標に基づく処理を行う所定の動作モードの作動を受け付けるモード受付手段を有し、
    前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記数検出手段が１つめの物体を検出した場合、前記モード判定手段は前記座標検出手段が検出した１つめの物体の前記座標を記憶手段に記憶しておくが、前記時間測定手段が前記所定時間を測定するまで前記情報表示手段は前記記憶手段に記憶された前記座標に基づく処理を行うことなく、
    前記モード受付手段が前記所定の動作モードの作動を受け付けていない状態で、前記数検出手段が１つめの物体を検出した場合、前記座標検出手段が検出した１つめの物体の座標に基づき前記情報表示手段は前記表示部に前記可視情報を表示する請求項３に記載の電子黒板。
11. 前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出しない場合、前記時間測定手段が前記所定時間を測定するまで、前記モード判定手段は前記座標検出手段が検出した１つめの物体の前記座標を前記記憶手段に記憶することを継続する請求項１０に記載の電子黒板。
12. 前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記時間測定手段が前記所定時間を測定した場合、
    前記情報表示手段は前記記憶手段に記憶されている１つめの物体の前記座標に対する前記所定の動作モードの処理を行い、
    前記記憶手段に記憶されている１つめの物体の前記座標を消去する請求項１１に記載の電子黒板。
13. 前記モード受付手段が前記所定の動作モードの作動を受け付けている状態で、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出しない場合、
    前記時間測定手段が前記所定時間を測定し終わった後、前記情報表示手段は前記座標検出手段が検出した１つめの物体の前記座標に対する前記所定の動作モードの処理を継続する請求項１２に記載の電子黒板。
14. 可視情報の表示部を有する電子黒板を、
    前記表示部における物体の座標を検出する座標検出手段と、
    前記座標検出手段により検出された物体の前記座標に基づき、前記表示部の物体の数を検出する数検出手段と、
    前記数検出手段が１つめの物体を検出した場合に所定時間の測定を開始する時間測定手段と、
    前記時間測定手段が前記所定時間を測定しても前記数検出手段が２つめの物体を検出しない場合、前記座標に基づき可視情報を表示する手書きモードであると判定し、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出した場合、前記可視情報に対する操作を受け付けるジェスチャモードであると判定するモード判定手段、として機能させるためのプログラムであって、
    前記モード判定手段は、手書きモードであると判定すると前記座標を手書きに用い、ジェスチャモードであると判定すると前記座標を操作の受け付けに用いるプログラムを格納した、コンピュータ読み取り可能な記録媒体。
15. 可視情報の表示部を有する電子黒板が行う情報表示方法であって、
    座標検出手段が、前記表示部における物体の座標を検出するステップと、
    数検出手段が、前記座標検出手段により検出された物体の前記座標に基づき、前記表示部の物体の数を検出するステップと、
    時間測定手段が、前記数検出手段が１つめの物体を検出した場合に所定時間の測定を開始するステップと、
    前記時間測定手段が前記所定時間を測定しても前記数検出手段が２つめの物体を検出しない場合、モード判定手段が、前記座標に基づき可視情報を表示する手書きモードであると判定し、前記時間測定手段が前記所定時間を測定する前に前記数検出手段が２つめの物体を検出した場合、前記可視情報に対する操作を受け付けるジェスチャモードであると判定するステップと、
    手書きモードであると判定すると前記座標を手書きに用い、ジェスチャモードであると判定すると前記座標を操作の受け付けに用いるステップと、
    を有する情報表示方法。

Images