JP5109279B2 - 情報処理システム - Google Patents

Description

本発明は、情報処理システムに係り、特にオペレータがクライアント装置に表示されている画像に重ねて線画等を書き込むことが可能な情報処理システムに関する。

現在、コンピュータの分野において、ホスト装置とクライアント装置とで構成されたホストベース型情報システムがある。多くのホストベース型情報システムは、オペレータがクライアント装置を操作して情報処理を指示し、この指示がクライアント装置からホスト装置に送られる。また、ホスト装置は、指示にしたがって情報処理し、この結果をクライアント装置側に通知している。

このようなホストベース型情報システムの従来例として、例えば、特許文献１が挙げられる。特許文献１に記載された発明は、クライアントコンピュータとサーバコンピュータとでシステムを構成し、クライアントコンピュータとサーバコンピュータとの間でプログラムの終了や実行状態にかかる情報を通信することによってプログラムの実行結果を監視している。

ところで、近年、紙と略同様に扱える程度に薄い液晶表示画面を備えた電子データの表示媒体が実用化されている。このような表示媒体は、電子ペーパとも呼ばれている。現在、電子ペーパをクライアント装置としてホスト装置となるコンピュータ等に接続してホストベース型情報システムを構成することも考えられている。
このようなシステムは、電子ペーパにおける画像表示の制御をホスト装置側で実行できるので、電子ペーパ側に高機能の画像表示制御部を備える必要がなくなる。したがって、電子ペーパをホスト・クライアントシステム化することは、電子ペーパを紙と同様に扱うために電子ペーパ自身を大型化することを避けたいという要請に適うものであるといえる。

また、電子ペーパでホスト・クライアントのシステムを構成する技術は、クライアント装置を簡易化するばかりでなく、１つのホスト装置によって複数のクライアントを制御することによってシステムに必要なホスト装置の数をも低減することができる。
特開２００３−１５７１８４号公報

ところで、電子ペーパでは、電子ペーパに表示されている画像上でオペレータがペンを操作し、画像に書込みをすることができるものが提案されている。このような電子ペーパを特許文献１のホスト・クライアントシステムに適用した場合、ホスト装置がペンの軌跡等を検出し、検出された軌跡に沿って描画された線等を描画する画像を生成する。そして、生成された画像を電子ペーパによって表示される画像のデータに合成して電子ペーパに送る。

合成された画像は、電子ペーパの側で表示される。この結果、オペレータの目には、先に電子ペーパに表示されていた画像の上に自身が線を描画したように認識される。
しかしながら、上記した構成は、ペンの移動等の都度合成しなおした画像をホスト装置からクライアントに送信するといった過剰な処理負荷と通信負荷を要求し、クライアントやホスト装置の小型化や低コスト化を阻害する。また、オペレータがペンを操作するタイミングと合成画像の表示タイミングとの間にずれを生じやすい。このずれは、電子ペーパの操作性と紙等に通常のペンで書き込みする場合の感覚の相違をオペレータに生じさせ、電子ペーパの操作性を低下する一因になり得る。

本発明は、このような点に鑑みてなされたものであり、クライアント側で生成された画像をクライアント装置で表示するホスト・クライアント型の情報処理システムにおいて、クライアント側でオペレータがタッチ操作等によって指定した位置に基づいて独自に画像を描画することによって速やかに操作が画像に反映できる操作性の高い情報処理システムを提供することを目的とする。

以上の課題を解決するため、本発明の情報処理システムは、ホスト装置と、該ホスト装置の制御によって画像を表示するディスプレイを備えたクライアント装置と、前記ホスト装置と前記クライアント装置との間で信号を送受信する通信手段と、を備える情報処理システムであって、前記ホスト装置は、画像を表示するための画像データを生成する画像データ生成手段を備え、該画像データ生成手段によって生成された画像データを前記通信手段によって前記クライアント装置に送信し、前記クライアント装置は、前記ディスプレイ上で指定された位置を検出する位置検出手段と、前記位置検出手段によって検出された位置に基づいて画像を描画するクライアント側画像描画手段と、前記クライアント側画像描画手段によって描画された画像と前記通信手段によって送信された画像データに基づく画像とを重ねて前記ディスプレイに表示するクライアント側画像合成手段と、を備えることを特徴とする。

このような発明によれば、ホスト装置は、画像を表示するための画像データを生成することができる。また、生成された画像データを通信手段によってクライアント装置に送信することができる。
そして、クライアント装置は、ディスプレイ上で指定された位置を検出し、検出された位置に基づいて画像を描画することができる。さらに、描画された画像と送信されてきた画像データに基づく画像とを重ねてディスプレイに表示することができる。また、本発明の情報処理システムは、クライアント装置が独自にポインタ等を表示し、オペレータ等がディスプレイ上にタッチして指示した軌跡に沿って移動することができる。

したがって、本発明は、ホスト・クライアント型の情報処理システムにおいて、クライアント側でオペレータがタッチ操作等によって指定した位置に基づいて独自に画像を描画することによって速やかに操作が画像に反映できる操作性の高い情報処理システムを提供することができる。
また、本発明の情報処理システムは、前記画像合成手段が、前記クライアント側画像描画手段によって描画された画像のレイヤと前記通信手段によって送信された画像データに基づく画像のレイヤとを前記ディスプレイに重ねて表示することを特徴とする。

このような発明によれば、１つのレイヤ上で画像を合成するよりも簡易に合成画像を生成することができる。このため、オペレータにとっては紙にペン等で書き込みする場合に近い操作性を与えることができる。また、比較的簡易かつ小型の画像処理装置によってクライアント側で合成画像を生成することができるので、クライアント置側を小型、軽量、低コスト化することに有利である。

また、本発明の画像処理システムは、前記ホスト装置が、ディスプレイ上で指定された位置に基づいて画像を描画するホスト側画像描画手段と、前記ホスト側画像描画手段によって描画された画像と前記通信手段によって送信される画像データに基づく画像とを合成した合成画像を生成するホスト側画像合成手段と、前記ホスト側画像合成手段によって生成された合成画像を、前記レイヤ画像が表示された後、レイヤ画像に代えて前記ディスプレイに表示させる表示制御手段と、を備えることを特徴とする。

このような発明によれば、ホスト装置がクライアント装置のディスプレイ上で指定された位置に基づいて画像を描画し、クライアント装置の側に送信される画像データと合成して合成画像データを生成することができる。そして、生成された合成画像データをクライアント装置に送信し、クライアント装置の側で生成された合成画像に代えて表示することができる。

ホスト装置は、一般にクライアント装置に比べて装置構成の大型化や高コスト化が許される。このため、ホスト装置ではクライアント装置よりも高い画像品質の合成画像を生成することが可能である。ホスト装置で生成された高品質の合成画像のデータをクライアント装置に送信し、先にクライアント装置が独自に生成した合成画像に代えて表示することにより、本実施形態は、オペレータがタッチ等の操作中はタッチに即して線画を描画し、描画後は画像をより高い品質の画像を得ることを可能にする。

また、本発明のクライアント装置は、ホスト装置から画像を表示するための画像データを受信し、受信された画像データに基づく画像をディスプレイに表示するクライアント装置であって、ディスプレイ上で指定された位置を検出する位置検出手段と、前記位置検出手段によって検出された位置に基づいて画像を描画するクライアント側画像描画手段と、前記クライアント側画像描画手段によって描画された画像と前記通信手段によって送信された画像データに基づく画像とを重ねてディスプレイに表示するクライアント側画像合成手段と、を備えることを特徴とする。

このような発明によれば、クライアント装置は、ホスト装置を介することなく、ディスプレイ上で指定された位置を検出し、検出された位置に基づいて画像を描画することができる。さらに、描画された画像と送信されてきた画像データに基づく画像とを重ねてディスプレイに表示することができる。また、クライアント装置が独自にポインタ等を表示し、オペレータ等がディスプレイ上にタッチして指示した軌跡に沿って移動することができる。したがって、ホスト・クライアント型の情報処理システムにおいて、クライアント側でオペレータがタッチ操作等によって指定した位置に基づいて独自に画像を描画可能であることから速やかに操作が画像に反映でき、操作性の高いクライアント装置を提供することができる。

また、本発明のクライアント装置は、前記ディスプレイが、表示されている画像を電力の供給を受けることなく維持できる記憶性表示体を用いたことを特徴とする。
このような発明によれば、本発明のクライアント装置を所謂電子ペーパに適した構成とすることができる。
また、本発明の情報処理方法をコンピュータに実行させるためのプログラムは、ホスト装置の制御によって画像を表示するクライアント装置における情報処理方法をコンピュータに実行させるためのプログラムであって、ディスプレイ上で指定された位置を取得する位置取得ステップと、前記位置取得ステップにおいて取得された位置に基づいて画像を描画する画像描画ステップと、前記画像描画ステップにおいて描画された画像と外部から取得した他の画像データに基づく画像とを重ねてディスプレイに表示する画像合成ステップと、を含むことを特徴とする。

このような発明によれば、ホスト・クライアント型の情報処理システムにおいて、クライアント側でオペレータがタッチ操作等によって指定した位置に基づいて独自に画像を描画することによって速やかに操作が画像に反映できる操作性の高い情報処理方法をコンピュータに実行させるためのプログラムを提供することができる。

以下、本発明の情報処理システムについて説明する。本実施形態の情報処理システムは、ホスト装置と、このホスト装置の制御によって画像を表示するクライアント装置と、ホスト装置と前記クライアント装置との間で信号を送受信する通信手段と、を備える情報処理システムである。

図１は、本発明の一実施形態の情報処理システムを説明するための図である。図示した構成は、ホスト装置３と、このホスト装置３の処理結果の表示と操作に供されるクライアント装置１とでなる。なお、本実施形態では、ホスト装置３とクライアント装置１とは操作に伴って接続可能とされていて、クライアント装置１は、複数のものを交互に用いることができる。ホスト装置３では、クライアント装置１への操作に伴うイベント駆動型により処理が進められる。

また、本実施形態は、前記ホスト装置３と前記クライアント装置１との間で信号を送受信する通信手段を備えている。本実施形態の通信手段は、操作ボタン１０９ａ、１０９ｂ、１０９ｃと、ホスト装置３側に無線または有線によって設けられ、操作ボタン１０９ａ〜１０９ｃに接触する接触部材であるペン２と、クライアント装置１の後述する通信処理部１０８とによって構成される。通信処理部１０８は、操作ボタン１０９ａ、１０９ｂ、１０９ｃと接触する際に接触した操作ボタンに対応する通信情報を出力する。

なお、本実施形態では、ペン２と操作ボタン１０９ａ、１０９ｂ、１０９ｃとが接触（タッチ）する場合にクライアント装置１とホスト装置３との間で通信がされるよう構成した。しかし、本実施形態はタッチによって通信するものに限定されるものでなく、ごく短い所定の距離以上に両者が近接することによって通信が確保される構成であってもよい。
また、クライアント装置１とホスト装置３との通信は、操作ボタン１０９ａ〜１０９ｃ及びペン２を介するものに限定されるものでなく、通信ケーブルで両者を結合する、あるいは無線ＬＡＮ等を使って常時両者を通信可能にするものであってもよい。
以下、クライアント装置１、ホスト装置３について各々説明する。

（クライアント装置）
クライアント装置１は、薄型のディスプレイと、このディスプレイに画像（文字及び図画を含む）を表示するための比較的簡易な装置とで構成される。ディスプレイと装置とでなる構成を、本実施形態では以降電子ペーパと記す。

クライアント装置１は、ディスプレイとして機能する記憶性表示体１０１を備えている。記憶性表示体１０１は、例えばＡ４サイズ、高画素密度の表示装置であって、表示実行部１０８の制御によって画素データを表示する。記憶性表示体１０１は、いったん表示された画像を書き換える場合にのみ電力を消費するという特性があって、電子ペーパに多く採用される部材である。

なお、記憶性表示体１０１としては、例えば、電気泳動ディスプレイ、コレステリック液晶、帯電トナーを利用したディスプレイ、ツイストボールを利用したディスプレイあるいはエレクトロデポジションディスプレイ等が採用可能である。
さらに、本実施形態は、記憶性表示体１０１に透明タッチパネル１８０が設けられている。透明タッチパネル１８０としては、例えば、記憶性表示体１０１上に格子電極を設け、オペレータがタッチした点における通電によって生じる電気抵抗の変化を検出する抵抗膜方式の構成を採用することが考えられる。

また、タッチパネル１８０には、記憶性表示体１０１上で超音波や赤外光を発生する発生部と、透明タッチパネル１８０にペン２等がタッチあるいは近接したことによって生じる超音波や赤外光の変化を検知する検知部とを設け、オペレータによって指定された点を超音波や赤外光の遮蔽によって検出する超音波表面弾性波方式や赤外線遮光方式を利用することも考えられる。さらに、オペレータが記憶性表示体１０１に指でタッチしたときに生じる静電容量の変化によってタッチを検出する静電容量方式等を採用することができる。

なお、本実施形態では、透明タッチパネル１８０に検出された位置を示す点を以降タッチ点と記す。
このような透明タッチパネル１８０は、本実施形態の記憶性表示体１０１上で指定された位置を検出する、クライアント装置１の位置検出手段として機能する。なお、本実施形態でいう、ディスプレイ上で指定された位置とは、記憶性表示体１０１上で直接指定された点に限定されるものでなく、記憶性表示体１０１と別体であって、かつ記憶性表示体１０１上の座標と対応する座標が設定されたタッチパネルによって指定された位置をも含む。

また、本実施形態の位置検出手段は、上記したいずれの透明タッチパネルと異なる構成の透明タッチパネルを用いることも可能である。ただし、クライアント装置１側における位置検出には特に高い精度が要求されるものではない。したがって、透明タッチパネルの方式については、検出精度と装置の大きさ、コスト、軽量化等をも併せて検討すべきである。
一方、クライアント装置１の操作ボタン１０９ａ、１０９ｂ、１０９ｃは、クライアント装置１に対するオペレータの操作の種別に対応して設けられている。操作の種別とは、例えば、記憶性表示体１０１に表示されている画面の書換え（ページ捲り）等をいう。

操作ボタン１０９ａ〜１０９ｃは、また、後述するホスト装置３のペン２と共にクライアント装置１とホスト装置３との間の通信インターフェースになる。この操作ボタン１０９ａ〜ｃとペン２との局所的な通信方式としては、赤外線等の光による方式や、電磁波による方式、電磁誘導による方式等が考えられる。本実施例では、光による方式に基づいて説明する。図２は、操作ボタン１０９ａ〜１０９ｃとペン２との間で行われる通信について説明するための図である。
すなわち、操作ボタン１０９ａ〜１０９ｃは、赤外線受発光部を備える光通信モジュール２０４を備えている。また、ペン２は、赤外線を照射する赤外照射部２０５、照射された赤外線の反射光を受光する赤外線受信部２０６、反射光を赤外線受信部２０６に結像する撮像光学系２０７を備えている。

また、操作ボタン１０９ａ〜１０９ｃ及びペン２は、コイル（給電のための電磁カプリング部（送電部２０８、受電部２０３）を備えている。ペン２を操作ボタン１０９ａ〜１０９ｃ上に軽く押圧させる（タッチする）ことによって両者のアンテナコイルが電磁的に結合し、ペン２およびホスト装置３側から、クライアント装置１に電力が供給される。次いで、操作ボタン１０９ａ〜１０９ｃの光通信モジュール２０４と、ペン２の赤外線照射部２０５および赤外線受信部２０６とが、通信可能状態となり、タッチした操作ボタンを特定するための信号が発生する。本実施形態では、通信処理部１０８が発生した信号に対応する通信情報を生成し、ペン２を経て通信情報がホスト装置３に送達するものとした。

クライアント装置１とホスト装置３との間の情報入出力を赤外線で行うようにした本実施形態は、電磁誘導による場合に比べて低消費電力であって、かつ高速(１６Ｍｂｐｓ等)な通信が可能になる。また、電磁カプリングを設けてクライアント装置１へ給電する場合の通信への影響を抑えることができる。
なお、本実施形態では、操作ボタン１０９ａ〜１０９ｃのタッチによって通信可能状態となる一方、操作ボタン１０９ａ〜１０９ｃ以外のクライアント装置１上のタッチではホスト・クライアント間の通信が開始されない。このようなクライアント装置１の記憶性表示体１０１上の任意位置のタッチでは、位置検出とその結果の保存のみが行われる。

すなわち本実施形態では、記憶性表示体１０１に座標パターン（位置情報コード）を予め設定しておき、パターンを赤外照射部２０５で照明すると共に赤外線受信部２０６によって記憶性表示体１０１の座標パターンを光学的に読み取ることができる。このような構成によれば、本実施形態は、ペン２によりタッチした記憶性表示体１０１上の座標をホスト装置３において読み取ることができる。

また、クライアント装置１は、表示データ等を記憶し表示実行するための構成として、不揮発性記憶部１０２、処理部１０３を備えている。不揮発性記憶部１０２は、表示データ１０４の他に、文書データ１０５、処理状態データ１０６、反応マップ１１１を備えることができる。表示データ１０４は、ホスト装置３が文書データ１０５を処理した結果表示すべきデータであり、ホスト装置３から受信されて記憶性表示体１０１に表示される。処理状態データ１０６は、この際、ホスト装置３において行われた文書データ１０５の処理を記録したデータであり、処理の継続の際に参照されるべき処理コンテキスト情報等を含んでいる。さらには、反応マップ１１１は、操作ボタン１０９ａ、１０９ｂ、１０９ｃに対応づけられているコマンドや、記憶性表示体１０１の各座標に表示されている文書要素や対話要素（文字列、画像、リンク情報、実行指図）を示すマップであり、操作に対応して行うべき反応を、ホスト装置３の処理状態を再現せずともクライアント装置１が抽出して、ホスト装置３に実行指示できるように設けられている。なお、反応マップ１１１は、操作ボタン１０９ａ〜１０９ｃに割当てられた所定の指示に関する反応マップと、文書要素の抽出に関する反応マップの二種類を含んでいる。所定の指示に関する反応マップは、所定の動作の実行を指示するものであって、一方、文書要素の抽出に関する反応マップは記憶性表示体１０１の各座標位置に割当てられた文書要素や対話要素（文字列、画像、リンク情報、実行指図）を抽出するためのものである。

クライアント装置１の処理部１０３は、表示実行部１０８、反応抽出部１１２を備えている。表示実行部１０８は、不揮発性記憶部１０２に記憶されている表示データ１０４の更新に応じて記憶性表示体１０１を直接制御し、更新された表示データ１０４を記憶性表示体１０１に表示させる。具体的には、表示実行部１０８は、表示データ１０４を参照し、記憶性表示体１０１のＸドライバ及びＹドライバを駆動することによって記憶性表示体１０１にラスタ画像を表示させる。

なお、本実施形態では、ドライバの駆動方式として、例えば、パッシブマトリクス駆動方式、ＴＦＴ（Thin Film Transistor）方式、Ｄ−ＴＦＤ（Digital Thin Film Diode）方式が採用可能である。
反応抽出部１１２は、操作ボタン１０９ａ、１０９ｂ、１０９ｃのいずれかが操作されたか、あるいはペン２がタッチした点の座標を反応マップ１１１に対照し、コマンドや記憶性表示体１０１に表示されている文書要素や対話要素のデータを抽出する。そして、抽出結果をペン２及び操作ボタン１０９ａ〜１０９ｃを介してホスト装置３の文書処理部１６０（後述）に出力する。

さらに、本実施形態のクライアント装置１は、表示制御部１４０を備えている。表示制御部１４０は、透明タッチパネル１８０によって検出された位置に基づいて画像を描画する軌跡処理部１４２、軌跡処理部１４２によって描画された画像とペン２及び操作ボタン１０９ａ〜１０９ｃからなる通信インターフェースを介して送信された画像データである表示データ１０４に基づく画像とを重ねてディスプレイに表示する合成・分離部１４１とを備えている。
以上の構成において、軌跡処理部１４２はクライアント側画像描画手段、合成・分離部１４１はクライアント側画像合成手段として機能する。

軌跡処理部１４２は、透明タッチパネル１８０によって検出されたタッチ点に相当する記憶性表示体の画素を描画色に変更することによって線等を描画する。描画された線等の画像（線画）は、表示制御部１４０において不揮発性記憶部１０２の表示データ１０４とは別のレイヤの画像（レイヤ画像）として管理される。合成・分離部１４１は、クライアント装置１による線画のレイヤ画像とホスト装置３による表示データ１０４のレイヤ画像とを重ねて記憶性表示体１０１に表示することによって線画のレイヤ画像と表示データ１０４のレイヤ画像とを合成する。

また、重ねて表示されているクライアント装置１による線画のレイヤ画像とホスト装置３による表示データ１０４のレイヤ画像とのいずれか一方を表示しないことによって両者を分離することができる。
線画のレイヤ画像と表示データ１０４のレイヤ画像とを重ねて表示することにより、本実施形態は、例えば、ホスト装置３による表示データ１０４上にマーカや注釈等を追記するような操作感をオペレータに与えることが可能になる。

なお、軌跡処理部１４２は、透明タッチパネル１８０と記憶性表示体１０１との位置合わせのための補正情報を持つものであってもよい。また、合成・分離部１４１は、例えば連続した軌跡の入力終了確定後、後述するホスト装置３による合成画像の確定の際に軌跡処理部１４２によって描画された線図をクリアすることが望ましい。しかしながら、この機能は必須ではなく、ホスト装置３による合成画像の更新まで残ったままとするものでもよい。

また、軌跡処理部１４２は、透明タッチパネル１８０によって検出された位置に基づいて線画を描画する構成に限定されるものでなく、ポインタ等の画像を描画するものであってもよい。このような構成によれば、電子ペーパにおいてもオペレータが目視している位置やコマンドの実行範囲を速やかに示し、情報処理システムの操作性を高めることができる。
さらに、クライアント装置１は、二次電池１３１、操作部１３２を備えている。二次電池１３１は、以上述べた各構成に電力を供給するための電池であって、操作部１３２は、ホスト装置３を介することなくクライアント装置１に直接入力される指示を入力するための構成である。

（ホスト装置）
ホスト装置３は、電源１９０、文書処理部１６０、情報サービス部３０４を備えている。ホスト装置３は、文書処理部１６０によって表示データ１０４を生成し、生成された表示データ１０４をペン２及び操作ボタン１０９ａ〜１０９ｃによってクライアント装置１に送信する構成である。

文書処理部１６０は、情報処理システム全体を制御する構成である。このため、文書処理部１６０は文書応用プログラム１６１を備え、ペン２及び操作ボタン１０９ａ〜１０９ｃを介して取得した各種の処理の指示に従って予め記憶されている指示に対応する処理ルーチンを読み出して実行する。文書応用プログラム１６１は、指示内容の判断、内容に対応する処理ルーチンの読出し、実行にかかるプログラムである。

具体的には、例えば、記憶性表示体１０１に表示中の画像の次ページを表示する指示（ページ捲り）が発生した場合、文書応用プログラム１６１は、記憶性表示体１０１に現在表示されているページに関する情報である処理状態データ１０６と文書データ１０５とをペン２及び操作ボタン１０９ａ〜１０９ｃを介して不揮発性記憶部１０２から取得する。そして、処理状態データ１０６と文書データ１０５とに基づいて次ページのレイアウト処理を実行し、次ページの表示データ１０４と反応マップ１１１とを生成する。さらに、ペン２及び操作ボタン１０９ａ〜１０９ｃを介して不揮発性記憶部１０２に記憶させる、という一連の処理ルーチンを実行する。

情報サービス部３０４は、クライアント装置１に送信可能な文書データや他のネットワーク資源を利用するための構成である。
また、ホスト装置３は、位置検出部１５０を備えている。位置検出部１５０は、観測部１５１、演算部１５２を有し、観測部１５１は、ペン２から送信される赤外線受信部２０６の受光結果に基づいてペン２がタッチしている点の座標パターンを検出する。検出された座標パターンは、演算部１５２に出力される。演算部１５２は、座標パターンに対して情報図形をデコードする等の演算をしてタッチ点の座標を特定し、座標を文書処理部１６０に送出する。

文書処理部１６０では、位置検出部１５０から得たタッチ点の座標を、文書応用プログラム１６１の処理指示に応じて処理する。この処理は動作する文書応用プログラムによって多様であるが、例えば、タッチ点に相当する軌跡を、文書データ１０５に追記する処理を行う等が考えられる。この場合、文書処理部１６０は、まず順次得られるタッチ点の座標を一時メモリに蓄え、オペレータによる指示操作に備える。オペレータがクライアント装置１上の合成画像を見ながら一連の軌跡を描いた後に、その軌跡を反映させる確定の操作に対応する操作ボタン１０９をタッチすると、ホスト装置３では、当該操作が行われたことが判定され、対応する文書応用プログラム１６１が呼び出されて、文書処理部１６０では蓄えられた座標データ列が処理される。この際、文書処理部１６０では、文書応用プログラム１６１での指示に基づき、例えば、タッチ点に相当する軌跡を追記した結果の表示データが生成し、クライアント装置１側で生成されたレイヤ画像に代えて表示するよう指示すると共に、クライアント装置１に送信する。

ホスト装置３の側で生成された合成画像は、一般的にレイヤ画像を重ねて生成される合成画像よりも高い画像品質を得ることができる。このため、本実施形態は、オペレータの操作性の観点からペン２のタッチに即して速やかに線画等を記憶性表示体１０１に表示しながら、表示された画像を後により高い画像品質の合成画像に置き換えることができる。
なお、ホスト装置３で生成された合成画像の画像品質がクライアント装置１側で生成された合成画像の画像品質よりも高くできる理由は、ホスト装置側３においては位置検出や画像処理のための構成をより小型、軽量化する要請がクライアント装置１よりも低いことが挙げられる。

以上の構成において、文書処理部１６０は、ホスト側画像描画手段、描画された画像と前記通信手段によって送信される画像データに基づく画像とを合成した合成画像を生成するホスト側画像合成手段、合成画像を、クライアント装置１の側でレイヤ画像が表示された後、レイヤ画像に代えて記憶性表示体１０１に表示させる表示制御手段として機能する。

次に、本発明の実施形態の情報処理システムの動作について説明する。
図３は、以上述べた本実施形態の情報処理システムの基本的な動作を説明するためのフローチャートである。
ホスト装置３のペン２が操作ボタン１０９ａ〜１０９ｃにタッチすると（Ｓ３１１）、ホスト装置３、クライアント装置１は共に活性化し、通信可能な状態になる（Ｓ３１２、Ｓ３０１）。

ホスト装置３では、オペレータがペン２を使ってタッチした操作ボタン１０９ａ〜１０９ｃを識別する（Ｓ３１３）。操作ボタンの識別は、タッチされた操作ボタンが出力した信号を、ペン２を介して取得することによって可能である。操作ボタンの識別後、ホスト装置３、クライアント装置１は、操作ボタンに対応する処理の要求、応答の情報を互いに授受する（Ｓ３０２、Ｓ３１４）。

ホスト装置３の文書処理部１６０は、クライアント装置１により指示抽出された処理を実行する（Ｓ３１５）。なお、例えば、操作ボタンが出力した信号がページ捲りを指示するものであった場合、対応する処理とは、現在記憶性表示体１０１に表示されている画像の次のページにあたる画像の表示データを生成し、クライアント装置１に送信する処理を指す。

さらに、ホスト装置３は、実行した処理が完了したか否か判断する（Ｓ３１６）。完了していない場合（Ｓ３１６：Ｎｏ）、クライアント装置１による処理要求の取得を継続する。また、処理が完了したと判断された場合（Ｓ３１６：Ｙｅｓ）、さらに処理が画像の表示や反応（指示された処理）の更新であった場合（Ｓ３１７：Ｙｅｓ）、表示データまたは反応マップ１１１を更新し（Ｓ３１８）、この処理によって、ホスト装置３によって生成された表示データ１０４および反応マップ１１１がクライアント装置１に送信・保持されて、記憶性表示体１０１上への表示、およびこれ以降の操作に伴う実行指示や文書要素の抽出といった操作反応に反映される。表示データ１０４および反応マップ１１１がクライアント装置１に送達すると、ホスト装置３は、オペレータに切断可能を通知し（Ｓ３１９）、オペレータは指示を終了することができる（Ｓ３２０）。

一方、処理が表示データまたは反応マップ１１１の更新を伴わない場合（Ｓ３１７：Ｎｏ）は、表示データまたは反応マップ１１１を更新することなく、切断可能が通知され（Ｓ３１９）。オペレータは指示を終了する（Ｓ３２０）。
この間、クライアント装置１は、ホスト装置３から送信された表示データ１０４を記憶性表示体１０１に表示する（Ｓ３０４）。

以上の動作の後、クライアント装置１の記憶性表示体１０１は、指示の終了に伴い給電が停止されても表示データ１０４に基づく画像を表示し続けることができる。いったん画像を表示した電子ペーパは、その後他のユーザが操作する等して複数のクライアント装置によって利用されることが想定される。
本実施形態の情報処理システムによれば、このような場合にも先に行われた処理における指示がクライアント装置１の反応マップ１１１に残っている。このため、ホスト装置３が反応マップ１１１にある情報に基づいて先にされた指示の内容を抽出することができる。ホスト装置３の文書処理部１６０は、抽出された指示、さらにクライアント装置１の側の不揮発性記憶部１０２処理状態データ１０６や文書データ１０５を参照しながら回帰的に後の処理をすることができる。

図４は、実施形態で述べた情報処理システムの本実施形態に特有の動作を説明するためのフローチャートである。図４（ａ）は、クライアント装置１の側で行われる動作を示したものであり、（ｂ）は、ホスト装置３の側で行われる動作を示したものである。例えば、オペレータが記憶性表示体１０１に表示されている画像にマーカ機能等を使って電子的に書き込みする場合、オペレータがペン２等によって記憶性表示体１０１上にタッチする。クライアント装置１では、タッチされたことによって透明タッチパネル１８０が活性化する（Ｓ４０１）。

一方、クライアント装置１は、透明タッチパネル１８０が活性化したことによってタッチ点の位置を検出し、軌跡処理部１４２が、検出されたタッチ点に沿う軌跡に従って線画の描画を開始する（Ｓ４０３）。そして、線画描画の指示が終了したか否か判断し（Ｓ４０４）、終了したと判断された場合には（Ｓ４０４：Ｙｅｓ）、描画を終了する（Ｓ４０５）。また、描画の指示が終了していない場合には（Ｓ４０４：Ｎｏ）、軌跡処理部１４２は描画を継続する。

一方、上記したクライアント装置１と略並行し、ホスト装置３は、ペン２が操作ボタン１０９ａ〜１０９ｃ以外のクライアント装置１の部分にタッチしたことを検出する（Ｓ４１１）。そして、位置検出部１５０は、観測部１５１によって赤外線の受光信号の観測に基づいてタッチ点の位置を検出し、演算部１５２によって位置に座標を検出する（Ｓ４１２）。検出された座標は、タッチ点の軌跡を示すデータとして図示しないバッファ等に一時的に蓄えられる（Ｓ４１３）。

以上の処理の後、オペレータが描画の確定を指示すると、ホスト装置３は、文書処理部１６０によって蓄積された軌跡のデータを用いて所定の処理を行う。所定処理としては、例えば軌跡データを文書に追記することが考えられる。そして、追記の結果得られる新たな表示データ１０４をクライアント装置１に送信する。クライアント装置１は、送信された表示データ１０４を反映した画像を記憶性表示体１０１に表示する。なお、この際、処理内容によっては、反応マップ１１１が更新される場合もあり、その場合には更新された反応マップ１１１もクライアント装置１に送信される。なお、クライアント装置１は、確定のタイミング、あるいは新たな描画の表示が行われるタイミングで先に描画された軌跡をクリアするよう動作する。
また、以上述べた構成において、ホスト装置３がクライアント装置１の表示データ１０４や反応マップ１１１を更新する際、変更部分のみをホスト装置３からクライアント装置に送信するようにすれば、通信のデータ量が低減できる。

なお、なお、以上述べたクライアント装置１の側で行われる動作をコンピュータに実行させるためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、本実施形態のドット位置検出方法をコンピュータに実行させるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
さらに、コンピュータで読み取り可能なＲＯＭ、フラッシュメモリ、メモリカード、ＵＳＢ接続型フラッシュメモリ等のメモリデバイスに記録されて提供してもよい。

本発明の一実施形態の情報処理システムを説明するための図である。 図１に示した操作ボタンとペンとの間で行われる通信について説明するための図である。 本発明の一実施形態の情報処理システムの基本的な動作を説明するためのフローチャートである。 本発明の一実施形態で述べた情報処理システムの本実施形態に特有の動作を説明するためのフローチャートである。

符号の説明

１ クライアント装置、３ ホスト装置、１０１ 記憶性表示体、１０２ 不揮発性記憶部、１０３ 処理部、１０４ 表示データ、１０５ 文書データ、１０６ 処理状態データ、１０８ 表示実行部、１０９ａ〜１０９ｃ操作ボタン、１１１ 反応マップ、１１２ 反応抽出部、１３１ 二次電池、１３２ 操作部、１４０ 表示制御部、１４１ 合成・分離部、１４２ 軌跡処理部、１５０ 位置検出部、１５１ 観測部、１５２ 演算部、１６０ 文書処理部、１６１ 文書応用プログラム、１８０ 透明タッチパネル、１９０ 電源、２０３ 受電部、２０４ 光通信モジュール、２０５ 赤外照射部、２０６ 赤外線受信部、２０７ 撮像光学系、２０８ 送電部

Claims (1)

1. ホスト装置と、該ホスト装置の制御によって画像を表示するディスプレイを備えたクライアント装置と、前記ホスト装置と前記クライアント装置との間で信号を送受信する通信手段と、を備える情報処理システムであって、
   前記ホスト装置は、
   画像を表示するための画像データを生成する画像データ生成手段を備え、該画像データ生成手段によって生成された画像データを前記通信手段によって前記クライアント装置に送信し、
   前記クライアント装置は、
   前記ディスプレイ上で指定された位置を検出する位置検出手段と、
   前記位置検出手段によって検出された位置に基づいて線画画像を描画するクライアント側画像描画手段と、
   前記クライアント側画像描画手段によって描画された線画画像のレイヤと前記通信手段によって送信された画像データに基づく画像のレイヤとを前記ディスプレイに重ねて表示するクライアント側画像合成手段と、を備え、
   前記ホスト装置は、さらに、
   前記ディスプレイ上で指定された位置に基づいて線画画像を描画するホスト側画像描画手段と、
   前記ホスト側画像描画手段によって描画された線画画像と、前記画像データ生成手段によって生成された画像データに基づく画像とを合成した合成画像を生成するホスト側画像合成手段と、
   前記クライアント側画像合成手段によって重ねて表示された画像のレイヤが前記クライアント装置の前記ディスプレイに表示された後、当該重ねて表示された画像のレイヤに代えて、前記ホスト側画像合成手段によって生成された合成画像を、前記ディスプレイに表示させる表示制御手段と、
   を備えることを特徴とする情報処理システム。

Images