JP4021249B2 - 情報処理装置及び情報処理方法 - Google Patents
情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP4021249B2 JP4021249B2 JP2002163050A JP2002163050A JP4021249B2 JP 4021249 B2 JP4021249 B2 JP 4021249B2 JP 2002163050 A JP2002163050 A JP 2002163050A JP 2002163050 A JP2002163050 A JP 2002163050A JP 4021249 B2 JP4021249 B2 JP 4021249B2
- Authority
- JP
- Japan
- Prior art keywords
- window
- display
- document
- data
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Document Processing Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置及び情報処理方法に関する。
【０００２】
【従来の技術】
コンピュータ等のディスプレイ上にコンテンツ（文書・Ｗｅｂページ等）を表示するアプリケーションとしては、Ｍｉｃｒｏｓｏｆｔ社製のＷｏｒｄ（商標）のような「文書作成ソフト」・Ａｄｏｂｅ Ｓｙｓｔｅｍｓ社製のＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）のような「文書管理ソフト」・Ｎｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ社製のＮｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｏｒ（商標）のような「Ｗｅｂブラウザ」等が知られている。
【０００３】
このようなコンテンツがディスプレイ上に表示されている場合に、当該コンテンツ上のオブジェクト（テキスト・イメージ等）を注釈するための注釈オブジェクト（注釈テキスト・注釈イメージ等）を、当該コンテンツに添付する技術がいくつか知られている。例えば、当該コンテンツ上に重ねて透明スクリーンをディスプレイ上に表示して、タッチパネル上での手書き操作やカット＆ペースト操作等により、操作者が透明スクリーン上に注釈オブジェクトを描画して、これをコンテンツに添付された注釈オブジェクトとする「透明スクリーン方式」が知られている。
【０００４】
このような注釈オブジェクトを記録したり送信したりする場合に、注釈オブジェクトの位置に関する情報を、どのように取り扱うかが問題となる。記録・送信された注釈オブジェクトをディスプレイ上に再表示する場合に、注釈オブジェクトをディスプレイ上のどの位置に再表示するかが問題となるからである。
【０００５】
例えば、ディスプレイ上でスクロール表示されるコンテンツに関しては、スクロールにより、注釈オブジェクトの再表示時におけるコンテンツの表示位置が、スクロール分だけ注釈オブジェクトの記録時・送信時と異なっている場合があり、そのときは、再表示時における注釈オブジェクトの表示位置を、スクロール分だけ記録時・送信時から移動する必要がある。
【０００６】
さらに、ディスプレイ上のウィンドウ内に表示されるコンテンツに関しては、ウィンドウの移動等により、注釈オブジェクトの再表示時におけるコンテンツの表示位置が、ウィンドウの移動分だけ注釈オブジェクトの記録時・送信時と異なっている場合があり、そのときは、再表示時における注釈オブジェクトの表示位置を、ウィンドウの移動分だけ記録時・送信時から移動する必要がある。
【０００７】
特開２００１−１１７６８５・特開２００１−１３４４１５には、透明スクリーン方式の注釈添付方法が記載されている。しかし、注釈オブジェクトの位置に関する情報をどのように取り扱うかについては、何ら記載されていない。
【０００８】
特開平１０−１２４４９４には、注釈イメージ（注釈オブジェクト）が、ディスプレイ上においてコンテンツ上のあるテキスト（オブジェクト）と同じ位置に表示されているときに、当該注釈イメージを、そのテキストと対応付けて記録する注釈添付方法が記載されている。この方法では、注釈イメージの再表示時において、コンテンツの編集等によりコンテンツ上のテキストの表示位置が記録時と異なっているときでも、注釈イメージを、対応付けられたテキストと同じ表示位置に再表示することができる。
【０００９】
特開２０００−２５０９０３には、注釈イメージ（注釈オブジェクト）が、ディスプレイ上においてコンテンツ上のあるテキスト（オブジェクト）を指定するように表示されているときに、当該注釈イメージを、そのテキストと対応付けて記録する注釈添付方法が記載されている。この方法では、注釈イメージの再表示時において、コンテンツの編集等によりコンテンツ上のテキストの表示位置が記録時と異なっているときでも、注釈イメージを、対応付けられたテキストを指定するように再表示することができる。
【００１０】
【発明が解決しようとする課題】
従来の方法では、注釈イメージ（注釈オブジェクト）をコンテンツ上のテキスト（オブジェクト）と対応付けて記録する。
【００１１】
そのため、従来の方法では、当該コンテンツに関するアプリケーションの実行プロセス（アプリケーション・プロセス）にアクションを起こさせて、当該コンテンツ上のテキストに係るテキストデータにアクセスしなければ、注釈イメージの位置を記録することができないという欠点があった。
【００１２】
さらには、従来の方法では、当該コンテンツに関するアプリケーションの実行プロセスにアクションを起こさせる必要上、当該注釈添付方法を実現するためのソフトウェア・ハードウェアを開発する開発者が、当該コンテンツに関するアプリケーションのプログラム仕様等を理解する手間を要求されるという欠点があった。特に、対象となるアプリケーションの種類が増えれば増えるほど、この手間は増加してしまうものであった。
【００１３】
したがって、本発明は、透明スクリーン上に形成された注釈オブジェクトその他のオブジェクトに関して、コンテンツに関するアプリケーションの実行プロセスにアクションを起こさせずに、当該オブジェクトの位置を管理（記録時：描画位置の記録、送信時：描画位置の送信、再表示時：再表示位置の決定、など）することを課題とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、情報処理装置であって、この情報処理装置は、ディスプレイと、描画オブジェクトを処理対象のウィンドウ（以下、「トップウィンドウ」と言う。）内に重畳表示する重畳描画プロセスと、前記ディスプレイに表示されているトップウィンドウについて前記ディスプレイにおける前記トップウィンドウの表示位置と前記トップウィンドウの大きさと前記トップウィンドウにて実行されているアプリケーションのアプリケーション名と該アプリケーションにて実行されている文書ファイルのファイル名とを含むウィンドウに係る情報をウィンドウ属性情報として取得するウィンドウマネージャと、前記トップウィンドウのビットマップ画像を取得し該ビットマップ画像に基づいて前記トップウィンドウ内に表示されている文書データの前記文書ファイルにおける位置を文書データの表示位置として取得し該取得した文書データの表示位置を文書データ表示位置情報として前記重畳描画プロセスに渡す認識プロセスと、を制御する制御手段と、前記描画オブジェクトを、トップウィンドウ生成時、トップウィンドウ移動時、又はトップウィンドウの大きさの変更時に、前記文書データ表示位置情報を含む前記ウィンドウ属性情報（以下、「記憶時ウィンドウ属性情報」と言う。）と対応付けて記憶する記憶手段と、を備え、
前記重畳描画プロセスは、描画オブジェクトの表示の指示を受け付けると、前記ウィンドウマネージャ及び前記認識プロセスから、前記指示を受け付けた時のトップウィンドウ（以下、「指示時ウィンドウ」と言う。）のウィンドウ属性情報（以下、「指示時ウィンドウ属性情報」と言う。）を取得し、前記指示時ウィンドウ属性情報に基づいて、前記記憶手段から前記指示時ウィンドウに重畳表示すべき描画オブジェクトと該描画オブジェクトに対応付けられた前記記憶時ウイィンドウ属性情報を読み出し、前記指示時ウィンドウ属性情報と前記記憶時ウィンドウ属性情報とに基づいて、前記読み出した描画オブジェクトを、前記記憶時ウィンドウ属性情報を記憶した時のトップウィンドウ（以下、「記憶時ウィンドウ」と言う。）における表示位置と対応する位置となる指示時ウィンドウにおける位置に、重畳して表示するものである。
【００１６】
請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記認識プロセスにおいて取得される前記文書データの表示位置は、トップウィンドウにおける文書のスクロール位置に対応し、前記文書データのスクロール位置は、前記トップウィンドウのビットマップ画像から抽出したスクロールバーにおける 1 の端部からスクロールボックスまでの画素数と他の端部からスクロールボックスまでの画素数とに基づいて決定されることを特徴とする。
【００１８】
請求項３に記載の発明は、請求項１又は２に記載の情報処理装において、前記重畳描画プロセスは、記憶時ウィンドウ属性情報に含まれるトップウィンドウの大きさと指示時ウィンドウ属性情報に含まれるトップウィンドウの大きさ（以下、「指示時ウィンドウの大きさ」と言う。）とに基づいて記憶時ウィンドウ属性情報を記憶した時と指示時ウィンドウ属性情報を取得した時におけるトップウィンドウの大きさの変化の割合を取得し、該取得した変化の割合に基づいて前記記憶時ウィンドウ属性情報に含まれる文書データ表示位置情報を変更し、前記描画オブジェクトを前記変更された記憶時ウィンドウにおける表示位置と対応する位置関係となる指示時ウィンドウにおける位置に重畳して表示することを特徴とする。
【００２０】
請求項４に記載の発明は、請求項１又は２に記載の情報処理装置において、前記記憶時ウィンドウ属性情報は、さらに、トップウィンドウ内における文書のページ番号と文書の表示倍率とを有し、前記認識プロセスは、さらに、前記記憶手段を参照して、前記ビットマップ画像からページ番号と表示倍率が含まれる領域を抽出し、該抽出した領域からページ番号と表示倍率とを認識し、該認識したページ番号と表示倍率とを表示属性として、前記描画オブジェクトと対応付けて前記記憶手段に記憶することを特徴とする。
【００２２】
請求項５に記載の発明は、情報処理方法であって、ディスプレイと、描画オブジェクトを処理対象のウィンドウ（以下、「トップウィンドウ」と言う。）内に重畳表示する重畳描画プロセスと、前記ディスプレイに表示されているトップウィンドウについて前記ディスプレイにおける前記トップウィンドウの表示位置と前記トップウィンドウの大きさと前記トップウィンドウにて実行されているアプリケーションのアプリケーション名と該アプリケーションにて実行されている文書ファイルのファイル名とを含むウィンドウに係る情報をウィンドウ属性情報として取得するウィンドウマネージャと、前記トップウィンドウのビットマップ画像を取得し該ビットマップ画像に基づいて前記トップウィンドウ内に表示されている文書データの前記文書ファイルにおける位置を文書データの表示位置として取得し該取得した文書データの表示位置を文書データ表示位置情報として前記重畳描画プロセスに渡す認識プロセスと、を制御する制御手段と、前記描画オブジェクトを、トップウィンドウ生成時、トップウィンドウ移動時、又はトップウィンドウの大きさの変更時に、前記文書データ表示位置情報を含む前記ウィンドウ属性情報（以下、「記憶時ウィンドウ属性情報」と言う。）と対応付けて記憶する記憶手段と、を備えた情報処理装置における情報処理方法であって、前記重畳描画プロセスは、描画オブジェクトの表示の指示を受け付けると、前記ウィンドウマネージャ及び前記認識プロセスから、前記指示を受け付けた時のトップウィンドウ（以下、「指示時ウィンドウ」と言う。）のウィンドウ属性情報（以下、「指示時ウィンドウ属性情報」と言う。）を取得し、前記指示時ウィンドウ属性情報に基づいて、前記記憶手段から前記指示時ウィンドウに重畳表示すべき描画オブジェクトと該描画オブジェクトに対応付けられた前記記憶時ウイィンドウ属性情報を読み出し、前記指示時ウィンドウ属性情報と前記記憶時ウィンドウ属性情報とに基づいて、前記読み出した描画オブジェクトを、前記記憶時ウィンドウ属性情報を記憶した時のトップウィンドウ（以下、「記憶時ウィンドウ」と言う。）における表示位置と対応する位置となる指示時ウィンドウにおける位置に、重畳して表示することを特徴とする。
【００２４】
請求項６に記載の発明は、請求項５に記載の情報処理方法において、前記認識プロセスにおいて取得される前記文書データの表示位置は、トップウィンドウにおける文書のスクロール位置に対応し、前記文書データのスクロール位置は、前記トップウィンドウのビットマップ画像から抽出したスクロールバーにおける 1 の端部からスクロールボックスまでの画素数と他の端部からスクロールボックスまでの画素数とに基づいて決定されることを特徴とする。
【００２６】
請求項７に記載の発明は、請求項５又は６に記載の情報処理方法において、前記重畳描画プロセスは、記憶時ウィンドウ属性情報に含まれるトップウィンドウの大きさと指示時ウィンドウ属性情報に含まれるトップウィンドウの大きさとに基づいて記憶時ウィンドウ属性情報を記憶した時と指示時ウィンドウ属性情報を取得した時におけるトップウィンドウの大きさの変化の割合を取得し、該取得した変化の割合に基づいて前記記憶時ウィンドウ属性情報に含まれる文書データ表示位置情報を変更し、前記描画オブジェクトを前記変更された記憶時ウィンドウにおける表示位置と対応する位置関係となる指示時ウィンドウにおける位置に重畳して表示することを特徴とする。
【００２８】
請求項８に記載の発明は、請求項５又は６に記載の情報処理方法において、前記記憶時ウィンドウ属性情報は、さらに、トップウィンドウ内における文書のページ番号と文書の表示倍率とを有し、前記認識プロセスはさらに、前記記憶手段を参照して、前記ビットマップ画像からページ番号と表示倍率が含まれる領域を抽出し、該抽出した領域からページ番号と表示倍率とを認識し、該認識したページ番号と表示倍率とを表示属性として、前記描画オブジェクトと対応付けて前記記憶手段に記憶することを特徴とする。
【００３４】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００３５】
（本発明の実施の形態の例）
（１）本実施形態の構成
図１は、本発明の実施の形態の例であるペン入力装置の外部構成を示す。ペン入力装置１には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１６と、ＬＣＤ１６に重ね合わせて付着されたタッチパネル１８が備えられている。タッチパネル１８上でのタッチ入力操作には、タッチペン２を使用する。
【００３６】
図２は、本発明の実施の形態の例であるペン入力装置の内部構成および付属機器の接続構成を示す。ペン入力装置１は、タッチペン２の他に適宜、キーボード３、マウス４、ＰＣカード５、着脱可能な電源ケーブル６と共に使用される。
【００３７】
本実施形態のペン入力装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、クロック１１、メインメモリ１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１４、ＬＣＤ表示コントローラ１５、ＬＣＤ１６、タッチパネルコントローラ１７、タッチパネル１８、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）コントローラ１９、ハードディスク２０、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コントローラ▲１▼２１、ＵＳＢ・Ｉ／Ｆ▲１▼２２、ＵＳＢコントローラ▲２▼２３、ＵＳＢ・Ｉ／Ｆ▲２▼２４、ＰＣカードコントローラ２５、カードＩ／Ｆ２６、システムバス２７、バッテリ２８、ＤＣ−ＤＣコンバータ２９、充電回路３０等から構成される。
【００３８】
ＣＰＵ１０は、ＲＯＭ１３に記憶された制御処理プログラムや、ハードディスク２０からメインメモリ１２に読み出されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種のアプリケーションプログラムを実行・処理する。クロック１１は、水晶発振子と分周回路から構成されており、ＣＰＵ１０やシステムバス２７の動作タイミングを制御するためのクロックを生成している。メインメモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）より構成されており、ＣＰＵ１０のワークエリア等で使用される。ＲＯＭ１３は、システム全体の制御を行うためのプログラムが予め書き込まれている。ＲＴＣ１４は、日付時計であり、専用バッテリ（図示を省略）によりバックアップされている。
【００３９】
ＬＣＤ表示コントローラ１５は、文字やグラフィックデータ等の表示データをＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換すると共に、これらのデータをＬＣＤ１６に表示するための制御を行う。タッチパネルコントローラ１７は、タッチパネル１８上でタッチペン２のペン先が接触した部分を検出し、その位置情報を出力するとともに、タッチパネル１８上での接触持続時間を計測し、その計測時間が所定の値以上の場合には接触解除を監視して、接触解除を検出した場合にはペンアップ通知データを出力する。ＨＤコントローラ１９は、ハードディスク２０にデータを書き込んだり、ハードディスク２０からデータを読み出すための制御を行う。
【００４０】
ＵＳＢコントローラ▲１▼２１とＵＳＢコントローラ▲２▼２３は、ＵＳＢ規格に準拠したデータ転送を実行・制御する。ＰＣカードコントローラ２５は、カードＩ／Ｆ２６に装着されたＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）規格に準拠したＰＣカード５との間のデータ転送を実行・制御する。ＰＣカード５は、ＰＣＭＣＩＡ規格に準拠したカードであり、例えば、ＩＥＥＥ８０２．１１規格に準拠した無線ＬＡＮカードが使用される。
【００４１】
バッテリ２８は、充電が可能な例えばリチウムイオンバッテリ等である。ＤＣ−ＤＣコンバータ２９は、電源ケーブル６またはバッテリ２８から供給される電源を、所定の電圧に変換してペン入力装置１内部に供給すると共に、電源ケーブル６からの電源供給がない場合は、バッテリ２８からの電源供給に切り換える。充電回路３０は、電源ケーブル６から電源が供給されているときに、バッテリ２８を充電する。電源ケーブル６は、ＡＣアダプタ３１と一体化されており、ＡＣアダプタ３１は内蔵されたＡＣ−ＤＣコンバータにより、交流電源を所定の電圧の直流に変換する。
【００４２】
ここで、タッチパネル１８上にタッチ入力された位置を表す「タッチ入力座標」と、ＬＣＤ１６上に表示された位置を表す「表示座標」について説明する。
【００４３】
タッチペン２がタッチパネル１８に接触すると、タッチパネルコントローラ１７はこの接触を検出し、ＣＰＵ１０に割り込みを発生させる。ＣＰＵ１０はこの割り込みにより、タッチパネルコントローラ１７から座標値を得る。このタッチ入力座標は、ＬＣＤ１６の表示領域の左上の角を原点として、右方向をＸ軸の正の方向・下方向をＹ軸の正の方向として表現する。
【００４４】
ＬＣＤ１６上に表示された表示物の表示座標は、ＬＣＤ１６の表示領域の左上の角にある画素を原点として、右方向をＸ軸の正の方向・下方向をＹ軸の正の方向として画素単位で表現する。すなわち、（表示座標）＝（原点からのＸ軸方向の画素数，原点からのＹ軸方向の画素数）である。
【００４５】
説明を簡単にするために、タッチ入力座標の座標単位もＬＣＤ１６の画素間隔に等しいものとする。すなわち、タッチ入力座標の座標軸・座標単位と、表示座標の座標軸・座標単位は、一致しているものとする。
【００４６】
なお、ＬＣＤ１６の表示領域の左上の角をタッチ入力座標の原点とするには、キャリブレーションを実行する。キャリブレーションは、表示座標とタッチ入力座標との対応付けを行うための操作であり、従来から広く知られた技術であるため、その説明は省略する。
【００４７】
（２）本実施形態の操作
本実施形態において、ユーザは、所定のアプリケーションを使用してＬＣＤ１６上に文書を表示させて、キーボード３やマウス４を使用して文書上に文字を書いたり画像を描いたりすることができる。この文書ファイルは、ハードディスク２０に保存することができる。
【００４８】
本実施形態において、ユーザはさらに、ＬＣＤ１６上に文書を表示させて、その上に重ねて透明スクリーンを表示させて、透明スクリーン上に文字を書いたり画像を描いたりすることができる。透明スクリーンは、文書より小さくても大きくてもよい。また、上述の文字・画像の描画方法としては、タッチパネル１８上に手書きされた画像を取り込む方法・ＬＣＤ１６上に表示された画像を貼り付ける方法・キーボード３に入力された文字を取り込む方法等がある。
【００４９】
（２．１）表示された画像の貼り付け
まず、ＬＣＤ１６上に表示された画像（ビットマップデータ）を透明スクリーン上に貼り付ける場合について説明する。図３は、あるアプリケーションＡ５３が文書Ａ５４を、別のアプリケーションＢ５５が文書Ｂ５６を、デスクトップ画面５７上に表示させている状態を表す。例えば、アプリケーションＡはＡｄｏｂｅ Ｓｙｓｔｅｍｓ社製のＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）で、アプリケーションＢはＮｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ社製のＮｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｏｒ（商標）である。図３中、点線で囲まれた領域は、表示データの凍結（フリーズ）が可能なフリーズ領域５０を示しており、各アプリケーションのウィンドウは、この領域内に表示されるようになっている。
【００５０】
以下具体的に、アプリケーションＡの表示文書Ａの上に重ねられた仮想的な透明スクリーン（以下、単に透明スクリーンと記す）上の任意の位置に、アプリケーションＢの表示文書Ｂ中の写真Ａのビットマップデータをコピーする方法について説明する。
【００５１】
まず第１に、ユーザが画面に表示された「フリーズ」ボタン４０をタッチペン２でタッチすると、フリーズ領域５０の表示データがフリーズされる。すなわち、アプリケーションＡやアプリケーションＢのウィンドウの操作ができない状態となる。なお、表示データのフリーズと共に、「フリーズ」ボタン４０はリバース表示になる。
【００５２】
続いて第２に、画面に表示された矩形領域指定アイコン４１がタッチされると、表示データの矩形領域設定モードとなる。このモードにある場合、タッチペン２がタッチパネル１８に接触された（ペンダウン）点が矩形の左上角となり、タッチパネル１８から離された（ペンアップ）点が矩形の右下角となる。ここで、ユーザが写真Ａを囲んだ領域（矩形領域）を指定すると、ＬＣＤ表示コントローラ１５中の表示画面バッファにあるこの領域のビットマップデータを、メインメモリ１２へコピーする。
【００５３】
続いて第３に、ユーザが「フリーズ」ボタン４０をタッチすると、フリーズ領域５０の表示データのフリーズが解除される。なお、表示データのフリーズ解除と共に、「フリーズ」ボタン４０は正常表示に戻る。
【００５４】
続いて第４に、ユーザがアプリケーションＢのウィンドウを閉じた後、ユーザが「切換」ボタン４２を押すと、先に示したフリーズ領域５０と同じ領域を重畳描画可能領域５１とする透明スクリーンが重畳され、重畳描画モードとなる。このとき、図４のように、「フリーズ」ボタン４０・矩形領域指定アイコン４１の表示を画面上から消し、代わりに、「保存」ボタン４３・「読出」ボタン４４・「手書き」ボタン４５を画面上に表示させる。
【００５５】
続いて第５に、ユーザが重畳描画可能領域５１内の任意の位置をタッチすると、先にメインメモリ１２へコピーした写真Ａのビットマップデータが、ＬＣＤ表示コントローラ１５中の表示画面バッファの指定された位置へコピーされて、ユーザが指定した位置に写真Ａが表示される。このときの表示画面例が図４に示されている。
【００５６】
なお、このときの表示画面バッファにある表示データを、論理的なプレーンに階層化して表したものを図５に示す。図５に示すように、表示データはデスクトップ画面５７（ＬＣＤ１６の表示画面全体の大きさを持つ）・文書Ａ５４・アプリケーションＡ５３のウィンドウ５８・透明スクリーン５９に階層化されている。なお、文書Ａ５４は、アプリケーションＡ５３のウィンドウ５８内に表示できる部分のみを図示している。また、透明スクリーン５９は、後述するように、実際にはＬＣＤ１６の表示画面領域よりも大きな領域を持つことが多い。
【００５７】
写真ＡのビットマップデータがＬＣＤ表示コントローラ１５中の表示画面バッファにコピーされる前に、表示画面バッファ中のコピーされる領域にあるビットマップデータをメインメモリ１２へコピー（退避）しておく。そして、透明スクリーンが除かれた場合に、この退避されたビットマップデータを表示画面バッファ中の元の位置へコピーして、表示画面を透明スクリーンが重畳された前の状態に戻す。
【００５８】
透明スクリーン上のデータの管理は重畳描画プロセスが行い、このプロセスの実行はＣＰＵ１０が行う。重畳描画プロセスは、透明スクリーン上の矩形領域のビットマップデータや後述する手書き描画データ（重畳データ）の位置を、そのときのトップウィンドウ（最も上に重ねて表示されたウィンドウ）に表示された文書の表示位置に基づいて管理する。当該管理については後述する。
【００５９】
（２．２）手書きされた画像の取り込み
次に、タッチパネル１８上に手書きされた画像（手書き描画データ）を透明スクリーン上に取り込む場合について説明する。アプリケーションＡが文書ＡをＬＣＤ１６上に表示させている状態で、ユーザが「切換」ボタン４２を押すと、図４で示したのと同じ領域（透明スクリーン領域５１）に対して透明スクリーンが重畳され「重畳描画モード」となり、さらに、ユーザが「手書き」ボタン４５を押すと、図６のように「重畳手書き描画モード」となる。このとき、「手書き」ボタン４５はリバース表示になり、また、線種を選択するための「線種」ボタン４６・矩形を描画するための「矩形」ボタン４７・描画線を消去するための「消ゴム」ボタン４８が表示される。
【００６０】
重畳描画プロセスは、重畳手書き描画モードにおいて、タッチパネルコントローラ１７から得られる各座標値が透明スクリーン領域５１にあるか否かを判断し、２つの連続した座標値がこの領域にあり、かつ、ペンダウン状態（ペンダウンからペンアップまでの期間）である場合には、各座標値間を直線で結んでＬＣＤ１６に表示させるための描画コマンドを、ＬＣＤ表示コントローラ１５へ出す。ＬＣＤ表示コントローラ１５は、この描画コマンドに従った描画を行い、手書きの描画線がＬＣＤ１６上に表示される。
【００６１】
重畳描画プロセスはまた、タッチパネルコントローラ１７から得たペンダウンからペンアップまでの座標列を、ストロークデータとしてメインメモリ１２に記憶する。このストロークデータの位置は、そのときの文書の表示位置に基づいて記憶される。当該記憶（管理）については後述する。
【００６２】
なお、タッチペン２をタッチパネル１８に接触させることによって手書き描画する代わりに、マウス４の左ボタンを押すことによって手書き描画することも可能である。この場合、重畳描画プロセスは、マウス４の左ボタンＯＮのイベント受信によりペンダウンを、マウス４の左ボタンＯＦＦのイベント受信によりペンアップを、それぞれ検出する。
【００６３】
（３）本実施形態における位置の取り扱い
（３．１）概略
本実施形態における、文書に対して重畳された矩形領域のビットマップデータや手書き描画データ（重畳データ）の記憶方法について説明する。
【００６４】
本実施形態においては、透明スクリーンに重畳データが描画されると、その重畳データを、トップウィンドウのアプリケーション名・トップウィンドウの表示位置・トップウィンドウに表示された文書のファイル名・文書のページ番号・文書のスクロール位置・文書の表示倍率等と対応付けて記憶する。重畳データの再表示時において、文書の表示位置が変化していても、文書に対する重畳データの添付位置を記録時と同一にして、重畳データを画面上に再表示するためである。
【００６５】
ここで、アプリケーション名・ウィンドウの表示位置・ウィンドウの大きさは、ウィンドウ生成時、ウィンドウ移動時、またはウィンドウの大きさの変更時に、ウィンドウマネージャがウィンドウ属性としてメインメモリ１２に記憶し、重畳描画プロセスがこの情報を参照する。このウィンドウマネージャは、デスクトップ画面にプルダウンメニューによる実行可能なアプリケーションの一覧表示を行い、選択されたアプリケーションの起動処理も行う。また、アプリケーション起動用のアイコンが表示・登録されている場合には、そのアイコンが選択されたときにアプリケーションの起動処理も行う。
【００６６】
ウィンドウマネージャは、アプリケーションのウィンドウに付加しているタイトルバーの中に、そのアプリケーションから受け取った文書のファイル名を表示するが、ウィンドウマネージャは、その文書のファイル名もウィンドウ属性としてメインメモリ１２に記憶する。
【００６７】
（３．２）意義
本実施形態では、上述したように、文書のスクロール位置と対応付けて重畳データを記憶する。このように、文書の表示位置に基づいて透明スクリーン上の画像の位置を管理する意義について概念的に説明する。
【００６８】
図７Ａには、画面と、画面上の文書と、文書上の透明スクリーンと、透明スクリーン上の画像が示されている。
【００６９】
ここで、画面上において文書が表示されている位置（文書の表示位置）は、「文書上の固定点Ｓ」の「画面上の固定点Ｄ」に対する位置によって表される。例えば、図７Ａのように、点Ｓの点Ｄに対する座標（Ｓｘ，Ｓｙ）で表される。ここでは、点Ｓ・点Ｄはそれぞれ文書・画面の左上の角にとったが、これに限られるものではない。また、点Ｓは、文書に対して位置が固定された点であれば、文書内にとられたものも文書外にとられたものも、「文書上の固定点」に該当する。点Ｄについても同様である。
【００７０】
同様に、画面上において画像が表示されている位置（画像の表示位置）は、「画像上の固定点Ｉ」の「画面上の固定点Ｄ」に対する位置によって表される。例えば、図７Ａのように、点Ｉの点Ｄに対する座標（Ｉｘ，Ｉｙ）で表される。
【００７１】
また、文書に対して画像が添付されている位置（画像の添付位置）は、「画像上の固定点Ｉ」の「文書上の固定点Ｓ」に対する位置によって表される。例えば、図７Ａのように、点Ｉの点Ｓに対する座標（Ｘ，Ｙ）＝（Ｉｘ−Ｓｘ，Ｉｙ−Ｓｙ）で表される。なお、透明スクリーンの文書に対する位置が固定されている場合においては（例えば、「透明スクリーンの左上角」が、常に「文書の左上角」の上に位置するようにする）、文書に対して画像が添付されている位置（画像の添付位置）は、透明スクリーン上において画像が描画されている位置（画像の描画位置）と言い換えられる。
【００７２】
さて、図７Ａのように、文書の表示位置・画像の表示位置がそれぞれ（Ｓｘ，Ｓｙ）・（Ｉｘ，Ｉｙ）であるときに画像を記録しておき、図７Ｂのように、文書の表示位置が（Ｓｘ´，Ｓｙ´）であるときに画像を再表示するために、画像の再表示位置（Ｉｘ´，Ｉｙ´）を決定する場面にあるとする。
【００７３】
図より、記録時（図７Ａ）の文書は画面上で上の方に表示されているが、再表示時（図７Ｂ）の文書は画面上で下の方に表示されていることが解る。このような文書の表示位置の変更は、例えば、文書のスクロールやウィンドウの移動によって生じる。
【００７４】
ここで、本実施形態においては、再表示時における画像の添付位置（Ｉｘ´−Ｓｘ´，Ｉｙ´−Ｓｙ´）を、記録時における画像の添付位置（Ｉｘ−Ｓｘ，Ｉｙ−Ｓｙ）＝（Ｘ，Ｙ）と同一としたいのだから、「Ｉｘ´−Ｓｘ´＝Ｉｘ−Ｓｘ＝Ｘ」「Ｉｙ´−Ｓｙ´＝Ｉｙ−Ｓｙ＝Ｙ」が成立することになる。よって、再表示時における画像の表示位置（Ｉｘ´，Ｉｙ´）は、（Ｉｘ−Ｓｘ＋Ｓｘ´，Ｉｙ−Ｓｙ＋Ｓｙ´）または（Ｘ＋Ｓｘ´，Ｙ＋Ｓｙ´）として決定される。
【００７５】
このことから、以下の例のように、文書の表示位置に基づいて透明スクリーン上の画像の位置を管理することが考えられる。
【００７６】
記録時においては、所定の方法（後述の「位置抽出」等）で文書の表示位置（Ｓｘ，Ｓｙ）を入手して、入手した文書の表示位置（Ｓｘ，Ｓｙ）と画像の表示位置（Ｉｘ，Ｉｙ）を記録する。または、入手した文書の表示位置（Ｓｘ，Ｓｙ）と画像の表示位置（Ｉｘ，Ｉｙ）から、画像の添付位置（Ｘ，Ｙ）を導出して、導出した画像の添付位置（Ｘ，Ｙ）を記録する。
【００７７】
再表示時においても、所定の方法（後述の「位置抽出」等）で文書の表示位置（Ｓｘ´，Ｓｙ´）を入手する。そして、記録された（Ｓｘ，Ｓｙ）および（Ｉｘ，Ｉｙ）と、入手した（Ｓｘ´，Ｓｙ´）とに基づいて、再表示時における画像の表示位置（Ｉｘ´，Ｉｙ´）を決定する。または、記録された（Ｘ，Ｙ）と、入手した（Ｓｘ´，Ｓｙ´）とに基づいて、再表示時における画像の表示位置（Ｉｘ´，Ｉｙ´）を決定する。
【００７８】
このように、文書の表示位置（Ｓｘ，Ｓｙ）に基づいて画像の表示位置・添付位置を記録すること、文書の表示位置（Ｓｘ´，Ｓｙ´）に基づいて画像の再表示位置を決定すること等、文書の表示位置に基づいて透明スクリーン上の画像の位置を管理することには、再表示時における画像の添付位置を、記録時における画像の添付位置と同一にすることを可能とするという点で意義がある。
【００７９】
なお、文書がウィンドウ内に表示される場合については、上述の「画面」を「ウィンドウ」に読み替えてもよい。これは、文書・画像の表示位置を、画面上の固定点から見た表示位置ではなく、ウィンドウ上の固定点から見た表示位置とすることを意味する。両表示位置に関して、一方から他方への変換は、ウィンドウ上の固定点の画面上の固定点に対する位置（（画面上の固定点から見た）ウィンドウの表示位置）が解っていれば、容易に計算できる。なお、本実施形態においては、このためもあって、上述したように、ウィンドウの表示位置とも対応付けて重畳データを記憶している。
【００８０】
本実施形態ではさらに、上述したように、文書の表示属性（文書のページ番号・文書の表示倍率等）と対応付けて重畳データを記憶する。
【００８１】
このように、文書の表示倍率に基づいて透明スクリーン上の画像の位置を管理することについては、例えば、再表示時における文書の表示倍率が、記録時における文書の表示倍率と変化している場合であっても、再表示時における画像の添付位置を、記録時における画像の添付位置と同一にすることを可能とするという点で意義がある。例えば、表示倍率が１００％から５０％に変化している場合は、記録時における画像の描画位置の値の１／２を、再表示時における画像の描画位置の値とする。
【００８２】
また、文書のページ番号に基づいて透明スクリーン上の画像の位置を管理することには、例えば、透明スクリーン上の画像の位置をページごとに管理することを可能とするという点で意義がある。
【００８３】
なお、本実施形態においては、抽出手段により、文書の表示位置等の表示データから文書の表示位置等を「抽出」し、管理手段により、これに基づいて画像の位置等を「管理」する。当該抽出・管理については、詳細に後述する。
【００８４】
（４）本実施形態における文書の表示位置等の抽出
（４．１）文書の表示属性の抽出
本実施形態において、文書を表示させているアプリケーション・プロセスを使用せずに、文書のページ番号・文書の表示倍率を得る方法について説明する。これらは、文書のページ番号・文書の表示倍率をＬＣＤ１６上に表示させるためのデータ（これを「表示データ」と呼ぶ）、すなわち、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたデータから抽出される。
【００８５】
文書のページ番号と表示倍率はアプリケーションによって異なった位置に表示される。例えば、Ｍｉｃｒｏｓｏｆｔ社製のＯＳであるＷｉｎｄｏｗｓ（登録商標）上で、Ａｄｏｂｅ Ｓｙｓｔｅｍｓ社製のＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）を起動して、Ａｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）のウィンドウ内に文書を表示させている例を、図８に示す。
【００８６】
この場合、文書のページ番号と表示倍率はウィンドウの左下部の所定の位置に表示されている。これらの表示データはＬＣＤ表示コントローラ１５中の表示画面バッファにビットマップデータとして存在しているため、以下のように、このビットマップデータから数字を識別する（これを、「認識機能」と呼ぶ）。
【００８７】
認識プロセス（ＣＰＵ１０が実行）は、ＬＣＤ表示コントローラ１５中の表示画面バッファにあるビットマップデータの中で文書のページ番号を含んだ領域を切り出して、メインメモリ１２にコピーする（領域の切り出し方法については後述する）。この切り出されたビットマップデータはカラー表示用のＲＧＢ形式であるため、これを変換式「Ｙ＝０．３１Ｒ＋０．５９Ｇ＋０．１１Ｂ」を用いて輝度データ（Ｙ）に変換し、この輝度データについて２値化する。これは、ＲＧＢ信号からＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ ＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）テレビジョン方式における輝度信号Ｙに変換する式である。
【００８８】
そして、この２値化されたビットマップデータについて文字認識を行い、文字をテキストデータとして出力する。図８の例では、ページ番号のテキストデータとして「２／５」が出力される。
【００８９】
認識プロセスは、ＬＣＤ１６に表示された表示倍率についても同様な処理を行い、図８の例では、表示倍率のテキストデータとして「１００％」が出力される。
【００９０】
認識プロセスは、これらのテキストデータを重畳描画プロセスへ渡し、重畳描画プロセスはこれらのテキストデータから、現在のページ番号が「２ページ目」で表示倍率が「１００％」であると判断する。
【００９１】
なお、文書を表示させているアプリケーションのウィンドウ内におけるページ番号と表示倍率の表示位置と表示領域は、そのアプリケーションに対応付けてシステムファイルとして予めハードディスク２０に記憶しておく。
【００９２】
このページ番号と表示倍率の表示位置と表示領域は、例えば装置のシステム設定モード時に、タッチペン２を用いてそれらの表示データを矩形で囲むことで指定する。この矩形の対角の２点の座標は、アプリケーションのウィンドウの左下の角の座標からの相対座標で表す。
【００９３】
図９は、表示倍率の表示領域を示す点Ａ１と点Ａ２、ページ番号の表示領域を示す点Ｂ１と点Ｂ２、およびアプリケーションのウィンドウの左下の角の点Ｗを示している。点Ｗからの相対座標で表された点Ａ１・点Ａ２・点Ｂ１・点Ｂ２の座標値を、アプリケーションに対応付けてシステムファイルとしてハードディスク２０に記憶する。
【００９４】
そして、ウィンドウマネージャがウィンドウ生成時に、アプリケーション名やウィンドウの大きさと表示位置等の情報とともに、点Ａ１・点Ａ２・点Ｂ１・点Ｂ２の座標値（点Ｗからの相対座標）をウィンドウ属性としてメインメモリ１２に記憶する。
【００９５】
重畳描画プロセスは、重畳描画モードへ切り替わったときに、メインメモリ１２に記憶されたウィンドウ属性を参照して、表示倍率とページ番号の領域を示す点Ａ１・点Ａ２・点Ｂ１・点Ｂ２のＬＣＤ１６の表示領域全体に対する絶対座標を求める。
【００９６】
ウィンドウ属性には、ウィンドウの表示位置であるウィンドウの左上の角の座標と、ウィンドウの横方向の大きさ（Ｘ軸方向の画素数）と縦方向の大きさ（Ｙ軸方向の画素数）が含まれているため、ウィンドウの左下の角（点Ｗ）の座標（０，ウィンドウの縦方向の大きさ）から、それぞれ相対座標を加算して、点Ａ１・点Ａ２・点Ｂ１・点Ｂ２の絶対座標が求まる。
【００９７】
そして、重畳描画プロセスは、認識プロセスに対して、点Ａ１と点Ａ２の絶対座標を渡すことにより表示倍率のテキストデータを得、また点Ｂ１と点Ｂ２の絶対座標を渡すことによりページ番号のテキストデータを得ることができる。
【００９８】
（４．２）文書の表示位置の抽出
本実施形態において、文書を表示させているアプリケーション・プロセスを使用せずに、スクロールされた文書の表示位置を得る方法について説明する。スクロールされた文書の表示位置は、文書表示ウィンドウの右辺に沿って表示された「垂直スクロールバー」と、文書表示ウィンドウの下辺に沿って表示された「水平スクロールバー」と、それらのスクロールバー中に表示された「スクロールボックス」をＬＣＤ１６上に表示させるためのデータ（「表示データ」）から抽出される。
【００９９】
まず、文書の縦方向の表示位置を特定する方法について説明する。
【０１００】
垂直スクロールバー中に表示されたスクロールボックス（図８を参照）の位置は、そのウィンドウに文書を表示させているアプリケーションによって、文書の縦方向の表示位置と対応付けられている。そこで、スクロールボックスの位置から文書の縦方向の表示位置を特定できるようにする。
【０１０１】
スクロールボックスの位置は、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたデータを利用して特定する。ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたビットマップデータから垂直スクロールバー全体を含む矩形領域を切り出し、この矩形領域のデータからスクロールボックスの位置を特定する。
【０１０２】
縦方向のスクロールバーとそれを含むウィンドウの右端部分を図１０に示す。垂直スクロールバーの上辺とこのスクロールバーを含むウィンドウの上辺との間の表示画素数ｎと、垂直スクロールバーの下辺とこのスクロールバーを含むウィンドウの下辺との間の表示画素数ｍは、このウィンドウの大きさに無関係に一定であるため、ウィンドウの大きさと表示位置の情報から、垂直スクロールバー全体を含む矩形領域を切り出すことができる。
【０１０３】
ここで、表示画素数ｎと表示画素数ｍの値を特定する方法について説明する。
【０１０４】
装置のシステム設定モード時に、ユーザにより設定項目の１つである「垂直スクロールバーの位置取得」が選択されると、まずシステムファイル中に予め登録されたアプリケーション名の一覧リストを表示し、この中から１つを選択させる。
【０１０５】
次に、垂直スクロールバーとウィンドウの右上角と右下角を含めた矩形領域をユーザに指定させ、ユーザにより指定されると、この矩形領域に該当するＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたビットマップデータを、メインメモリ１２にコピーする。ユーザによるこの矩形領域の指定例を図１１に示す。
【０１０６】
そして、このビットマップデータについてパターン認識プロセスを使用して、垂直スクロールバーの上辺とウィンドウの上辺との間の表示画素数ｎと、垂直スクロールバーの下辺とウィンドウの下辺との間の表示画素数ｍを調べる。
【０１０７】
パターン認識プロセスは、ウィンドウの外枠線とスクロールボタンのマークを参照情報として垂直スクロールバーの矩形を特定して、垂直スクロールバーの上辺とウィンドウの上辺との間の表示画素数ｎと、垂直スクロールバーの下辺とウィンドウの下辺との間の表示画素数ｍを特定する。
【０１０８】
なお、パターン認識プロセスの認識精度を向上させるためには、図１１に示した矩形領域の表示データを含んだＬＣＤ１６の表示画面のハードコピーを得て、このハードコピーをスキャナで読み込んで得られたビットマップデータを、パターン参照用データとして利用してもよい。
【０１０９】
ＬＣＤ１６の表示画面のハードコピーは、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたビットマップデータをＰＣカード５にコピーし、このＰＣカード５に記憶されたビットマップデータを、パーソナルコンピュータを用いてプリンタに印刷することによって得ることができる。
【０１１０】
このようにして、ウィンドウ内における垂直スクロールバーの表示位置が特定される。得られた表示画素数ｎと表示画素数ｍの値はウィンドウ属性としてメインメモリ１２に記憶しておく。
【０１１１】
次に、パターン認識プロセスを使用して、垂直スクロールバー内のスクロールボックスの位置を特定する。パターン認識プロセスは既に垂直スクロールバーを特定しているため、この中からスクロールボックスを認識する。そして、垂直スクロールバーの上辺とスクロールボックスの上辺との間の表示画素数ｋを調べて、スクロールボックスの位置を特定する。文書の縦方向の表示位置は、スクロールボックスの位置を示す垂直スクロールバーの上辺とスクロールボックスの上辺との間の表示画素数ｋで特定する。
【０１１２】
なお、上記の表示画素数ｎと表示画素数ｍの値を特定するための動作は、デフォルトのウィンドウサイズで実行する。そして、ウィンドウサイズが縦方向に縮小された場合、現在の文書の縦方向の表示位置は、垂直スクロールバーの上辺とスクロールボックスの上辺との間の表示画素数「ｋ」を「ｋ×縮小率（％）／１００」の値で置き換えて、この置き換わった表示画素数ｋで特定する。
【０１１３】
得られた表示画素数ｋの値はウィンドウ属性としてメインメモリ１２に記憶しておく。
【０１１４】
表示画素数ｋは文書の先頭からの表示位置を特定しているため、次に、現在表示されている文書ページの先頭からの相対位置（１つのページにおける先頭からの位置割合：％で表記）を特定する。垂直スクロールバーの縦方向の表示画素数をＬ、表示文書のページ数をＴ、現在表示されているページ番号をＰとすると、文書ページの先頭から現在の表示位置の先頭までの縦方向の相対位置ＲｅｌＰｏｓ（ｖ）［％］は、
【０１１５】
【数１】
により求まる。例えば、文書ページが縦方向の中央から表示されている場合、ＲｅｌＰｏｓ（ｖ）＝５０［％］となる。
【０１１６】
次に、文書の横方向の表示位置を特定する方法について説明する。
【０１１７】
文書の横方向の表示位置は、水平スクロールバー内のスクロールボックスの表示位置により特定する。水平スクロールバーの表示位置と水平スクロールバー内のスクロールボックスの位置については、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたデータを利用して、垂直スクロールバーの表示位置と垂直スクロールバー内のスクロールボックスの位置を特定した上記の処理と同様にして特定する。図１２は、文書の横方向の表示位置を特定する水平スクロールバーの左辺とスクロールボックスの左辺との間の表示画素数ｊを示している。
【０１１８】
なお、ウィンドウサイズがデフォルトのサイズから横方向に縮小された場合、現在の文書の横方向の表示位置は、水平スクロールバーの左辺とスクロールボックスの左辺との間の表示画素数「ｊ」を「ｊ×縮小率（％）／１００」の値で置き換えて、この置き換わった表示画素数ｊで特定する。
【０１１９】
得られた表示画素数ｊの値はウィンドウ属性としてメインメモリ１２に記憶しておく。
【０１２０】
表示画素数ｊを使用して文書ページの左端からの表示位置を特定する。水平スクロールバーの横方向の表示画素数をＷとすると、文書ページの左端から現在の表示位置の左端までの横方向の相対位置ＲｅｌＰｏｓ（ｈ）［％］は、
【０１２１】
【数２】
により求まる。
【０１２２】
このようにして、本実施形態は、文書を表示させているアプリケーション・プロセスを使用せずに、スクロールされた文書の表示位置を特定することができる。
【０１２３】
（５）本実施形態における画像の位置等の管理
本実施形態において、上述のように求められた相対位置ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）に基づいて、画像の位置を管理する方法について説明する。
【０１２４】
まず、文書ページとウィンドウ内での表示領域との関係、および、文書ページと透明スクリーンとの関係について、図１３を用いて説明する。図１３では、文書ページの上部の領域（斜線で図示）が、ＬＣＤ１６の表示画面のウィンドウ内に表示されている。透明スクリーンは、文書の外側にも画像を添付することができるように、ＬＣＤ１６の表示画面領域よりも大きな領域を持つようにしている。図中、点線で囲まれた領域はＬＣＤ１６の表示画面領域を示している。
【０１２５】
本実施形態においては、透明スクリーン上の画像の位置を、文書ページの左上角を原点とした座標で表す。これを、１つの文書ページに対する「透明スクリーン用絶対座標」と呼ぶこととする。これは、「３．２ 意義」で記述した内容と関連されると、画像上の固定点の文書上の固定点に対する位置（画像の添付位置）に相当する。透明スクリーン用絶対座標の座標間隔（座標の最小単位）はＬＣＤ１６の表示画素間隔に等しくとる。
【０１２６】
（５．１）表示された画像を貼り付けた場合
まず、表示文書に対して矩形領域のビットマップデータを重畳させる場合の例として、図４に示したように、アプリケーションＡが表示している文書Ａに写真Ａを重畳させる場合について説明する。
【０１２７】
図１４には、図４の表示画面内容について、表示されている文書ページ全体の領域、文書の表示領域、ＬＣＤ１６の表示画面領域、透明スクリーンの領域が示されている。文書の表示領域には、文書ページの先頭からのデータが表示されている。図のように、透明スクリーン用絶対座標原点の表示座標は（ａ，ｂ）である。
【０１２８】
写真Ａの位置は、左上角の点Ｔ（「３．２ 意義」でいう「画像上の固定点」）で特定できる。この点Ｔの透明スクリーン用絶対座標を（Ｘｓ，Ｙｓ）、表示座標を（Ｘｄ，Ｙｄ）とすると
【０１２９】
【数３】
【０１３０】
【数４】
の関係式が成立する。
【０１３１】
この絶対座標（Ｘｓ，Ｙｓ）を記録しておけば、再表示時において、文書のスクロールにより絶対座標の原点（ａ，ｂ）が変わってしまったとしても、関係式（３）（４）により写真Ａの表示座標を決定できる。
【０１３２】
このように、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）に基づけば、写真Ａの再表示位置を決定することができるが、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）の値の精度等が原因で、この再表示位置には、画素単位でのずれが生じてしまう場合がある。
【０１３３】
そこで、本実施形態においては、透明スクリーン上の画像を矩形の文書データ領域（ある文書データ（文書に係る表示データ）がＬＣＤ１６上に表示させる領域）と対応づけるため、透明スクリーン上の画像の位置を、その文書データ領域の左上角を原点とした座標でも表す。これを、近隣の文書データ領域に対する「透明スクリーン用相対座標」と呼ぶこととする。
【０１３４】
ここで、図１４の写真Ａとその近隣の文書データ領域との位置関係を求める。写真Ａに対応した文書データ領域を図１５に示す。写真Ａとその近隣の文書データ領域とを対応付けるため、この文書データ領域の左上角の点Ｕに対する点Ｔの透明スクリーン用相対座標を求める。
【０１３５】
そして、点Ｔにおける上記の２種類の座標（透明スクリーン用絶対座標と透明スクリーン用相対座標）と、写真Ａの近隣の文書データ領域の「ビットマップデータ」「その領域の縦方向と横方向の画素数」を、写真Ａの位置情報データとしてメインメモリ１２に記憶しておく。
【０１３６】
その後、「保存」ボタン４３がタッチされると、重畳描画プロセスは写真Ａの表示データ（ビットマップデータ）を、「透明スクリーン用絶対座標」「透明スクリーン用相対座標」と、写真Ａの近隣の文書データ領域の「ビットマップデータ」「その領域の縦方向の画素数と横方向の画素数」に対応させて、さらに、現在の文書のページ番号に対応付けてハードディスク２０に書き込み、保存する。このとき、表示データをページごとに保存するようにすると、表示データの位置の管理が容易になる。
【０１３７】
図１６に、重畳描画プロセスにおける上記の重畳描画モードでの動作フローを示す。重畳描画モードになると、ウィンドウ属性として記憶されたアプリケーション名、アプリケーションのウィンドウの大きさと表示位置、文書のファイル名を参照し（Ｓ１）、システムファイルを参照して、アプリケーション名に対応したページ番号と表示倍率の表示位置と表示領域を得て（Ｓ２）、認識プロセスを利用して、画面の表示データからページ番号と表示倍率のテキストデータを得て（Ｓ３）、画面の表示データからスクロールバー中のスクロールボックスの位置を特定し、文書データの表示位置を特定する（Ｓ４）。次に、ビットマップデータが重畳されると、重畳されたビットマップデータ領域の左上角の点Ｔにおける透明スクリーン用絶対座標と近隣の文書データ領域に対する相対座標を求め（Ｓ５）、点Ｔにおける２種類の座標と、近隣の文書データ領域の表示データ及びその領域の縦方向と横方向の画素数を重畳されたビットマップの位置情報として記憶しておく（Ｓ６）。そして、さらにビットマップデータが重畳されると再びＳ５・Ｓ６の処理を実行し、保存ボタンが押されると、重畳されたビットマップデータを点Ｔにおける２種類の座標と、近隣の文書データ領域の表示データ及びその領域の縦方向の画素数と横方向の画素数に対応させて、さらに、現在の表示ページに対応付けてハードディスク２０に保存して（Ｓ７）、終了する。
【０１３８】
（５．２）手書きされた描画データを取り込んだ場合
次に、文書が表示されている時に透明スクリーンへ手書き描画した場合のＬＣＤ１６の表示例を図１７に示す。図１７では、透明スクリーン領域５１（手書き描画が可能な領域）内にて、「直す」「ＯＫ」の文字や「矢印」「囲み円」「括弧書き」の図形が、文書に対するコメントとして手書き描画されている。
【０１３９】
図１８には、図１７の表示画面内容について、表示されている文書ページ全体の領域、文書の表示領域、ＬＣＤ１６の表示画面領域、透明スクリーンの領域が示されている。文書の表示領域には、文書ページの先頭からのデータが表示されている。図のように、透明スクリーン用絶対座標原点の表示座標は（ｃ，ｄ）である。
【０１４０】
手書きされた画像の位置は、写真のときと同様に、当該画像上の固定点で特定できる。この固定点の透明スクリーン用絶対座標を（Ｘｓ，Ｙｓ）、表示座標を（Ｘｄ，Ｙｄ）とすると
【０１４１】
【数５】
【０１４２】
【数６】
の関係式が成立する。
【０１４３】
この絶対座標（Ｘｓ，Ｙｓ）を記録しておけば、再表示時において、文書のスクロールにより絶対座標の原点（ｃ，ｄ）が変わってしまったとしても、関係式（５）（６）により画像の表示座標を決定できる。
【０１４４】
重畳描画プロセスは、手書き入力によりタッチパネルコントローラ１７から得た各座標値（表示座標と同じ）を、ＬＣＤ表示コントローラ１５に対してはそのまま渡すが、関係式（５）（６）により、透明スクリーン用絶対座標にも変換し、この変換された座標データをメインメモリ１２に記憶しておく。
【０１４５】
また、本実施形態においては、透明スクリーン用絶対座標値に変換された手書きデータを、それらの位置関係からグループ化し、各グループを１つのオブジェクトとして扱う。図１８に示した手書きデータをオブジェクト化した例を図１９に示す。文字「ＯＫ」と図形「括弧書き」は点線で示す「オブジェクト１」、文字「直す」と図形「矢印」「囲み線」は点線で示す「オブジェクト２」として、オブジェクト化されている。
【０１４６】
図１９はまた、手書き描画オブジェクトと対応付けられた文書データの表示領域（後述）も示している。「オブジェクト１」はその近隣の文書データ領域である「手書き描画オブジェクト１用文書データ領域」、「オブジェクト２」はその近隣の文書データ領域である「手書き描画オブジェクト２用文書データ領域」に対応付けている。
【０１４７】
手書きデータのグループ化（オブジェクト化）は、手書きのストロークデータ（ペンダウンからペンアップまでの座標列）の位置関係から判断する。すなわち、２つのストローク間で最も距離が短くなるような各ストローク中の座標データを見つけ、これらの座標間の距離が所定の値以下であるか否かをチェックする。この距離が所定の値以下の場合には、これらのストロークをグループ化する。
【０１４８】
さて、上述のように、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）に基づけば、手書き描画オブジェクトの表示位置を決定することができるが、写真の場合と同様に、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）の精度等が原因で、この再表示位置には、画素単位でのずれが生じてしまう場合がある。
【０１４９】
そこで、写真の場合と同様に、透明スクリーン上の画像を文書データ領域（矩形領域）と対応づけるため、透明スクリーン上の画像の位置を、その文書データ領域の左上角を原点とした座標でも表す。これは、写真の場合の説明で述べたように、近隣の文書データ領域に対する「透明スクリーン用相対座標」と呼ばれる。
【０１５０】
表示された文書データの中で、手書き描画オブジェクトの一部あるいは全てを含む所定の大きさの矩形領域に含まれる文書データ（ビットマップデータ）を、前記の手書き描画オブジェクトと対応付けてメインメモリ１２に記憶しておく。また、前記の文書データ（ビットマップデータ）とともに、「その矩形領域の縦方向の画素数と横方向の画素数」「その矩形領域の左上角からの透明スクリーン用相対座標」も記憶しておく。なお、図２０のオブジェクト３「ここはよく検討する」のように、文書表示領域にない手書き描画オブジェクトについては、図中の「手書き描画オブジェクト３用文書データ領域」のように、この手書き描画オブジェクトの横にある文書データ領域を対応付ける。
【０１５１】
図１７および図１８に示した手書き描画データが重畳表示された文書が上方へスクロールされた場合における、文書ページ全体の領域、文書の表示領域、ＬＣＤ１６の表示画面領域、透明スクリーンの領域の関係を図２１に示す。
【０１５２】
図２１では、図１７に示した手書き描画データの一部（図１９の手書き描画オブジェクト２）が表示されている。図２１に示した例では、文書表示領域より上側に存在する手書き描画データの表示は行わないようにしている。
【０１５３】
文書のスクロール操作は重畳手書き描画モードがオフの状態で行われるため、重畳手書き描画モードがオンになると、重畳描画プロセスは式（１）の計算を行い、文書ページの現在の表示位置を得る。
【０１５４】
そして、先に保存した手書き描画オブジェクト用文書データ領域の中から現在の表示データ中にあるものを推測し、すなわち、手書き描画オブジェクト２用文書データ領域を推測し、この推測された領域の表示データが現在の表示データ中にあるか否かをチェックする。図２１の場合においては、現在の表示データ中にこの手書き描画オブジェクト２用文書データ領域が含まれていると判断されることになる。
【０１５５】
手書き描画オブジェクト２用文書データ領域の左上角の透明スクリーン用絶対座標と、その矩形領域の縦方向の画素数は既に保存されているため、この矩形領域の左下角（点Ｓ）の透明スクリーン用絶対座標を求めることは可能である。
【０１５６】
そして、文書表示領域の左上点Ｒと点Ｓとの間の縦方向の画素数から、文書表示領域の左上点Ｒの透明スクリーン用絶対座標が求まる。図２１では、この座標を（０，β）で示している。
【０１５７】
その後、図２１の文書表示状態において手書き画像が入力されると、それらの座標データとして点Ｒからの相対座標を基にして、当該手書き画像の透明スクリーン用絶対座標が求まる。すなわち、関係式（５）（６）に従って、タッチパネルコントローラ１７から得たＸ座標値（表示座標）からｃを減算し、Ｙ座標値（表示座標）からｄ−βを減算する。例えば、図２２は、図２１の表示文書中にある表に対して新たに「不要」が手書き描画された場合を示しているが、この手書き画像の透明スクリーン用絶対座標は、そのように求められる。
【０１５８】
上記の例では、スクロール前の画面データとスクロール後の画面データとに表示が重複した文書データがあり、かつ、その重複領域中に手書き描画オブジェクト用文書データ領域のデータが含まれている場合を示したが、その重複領域中に手書き描画オブジェクト用文書データ領域のデータが含まれていない場合や、スクロール前とスクロール後の画面データに重複した文書データがない場合は、本実施形態においては、手書き入力データの座標として近隣の文書データ領域に対する相対座標のみが存在し、１つのページに対する絶対座標は存在しない（この場合、例えば、座標値が１６ビットのデータ型で定義されている場合、ＯｘＦＦＦＦがセットされる）。
【０１５９】
以上では、縦方向のスクロールについて説明したが、横方向のスクロールについても同様である。
【０１６０】
図１８および図２２に示した手書き描画が行われ、ＬＣＤ１６の表示画面の右上にある「保存」ボタン４３が選択されると、重畳描画プロセスは手書き入力データを、「透明スクリーン用絶対座標」「透明スクリーン用相対座標」の２種類の座標と、近隣の文書データ領域の「ビットマップデータ」「その矩形領域の縦方向の画素数と横方向の画素数」に対応させて、さらに、現在の文書のページ番号に対応付けてハードディスク２０に書き込み、保存する。このとき、手書き入力データをページごとに保存するようにすると、手書き入力データの位置の管理が容易になる。
【０１６１】
図２３に、重畳描画プロセスにおける上記の重畳手書き描画モードでの動作フローを示す。重畳描画プロセスにおいて、手書き入力があると、入力座標（表示座標と同じ）間を直線描画し（Ｓ１）、入力座標から近隣の文書データ領域に対する相対座標と透明スクリーン用絶対座標を得て、これらのデータを近隣の文書データ領域の表示データ及びその領域の縦方向と横方向の画素数とともに記憶しておく（Ｓ２）。そして、手書き入力があると再びＳ１・Ｓ２の処理を実行し、保存ボタンが押されると、手書き描画部分の近隣データ領域に対する相対座標と透明スクリーン用絶対座標、及び近隣の文書データ領域の表示データとその領域の縦方向と横方向の画素数を現在の表示ページに対応付けてハードディスク２０に保存して（Ｓ３）、終了する。
【０１６２】
その後、別のページを表示させたり、表示されている文書を閉じたりするために、「手書き」ボタン４５が押されて重畳手書き描画モードが解除され、続いて「切換」ボタン４２が押されて重畳描画モードが解除されると、重畳描画プロセスは表示画面に重畳された仮想的な透明スクリーンを取り除いて、表示画面を透明スクリーンが重畳された前の状態に戻す（退避されたビットマップデータを表示画面バッファ中の元の位置へ戻す）。また、ウィンドウマネージャは、手書き描画表示と「切換」ボタン４２の上部に表示された各種ボタンを消去して、「フリーズ」ボタン４０と矩形領域指定アイコン４１を表示するための再描画を行う。
【０１６３】
（５．３）保存された画像を重畳表示させた場合
次に、文書が表示されている状態にて、重畳描画モードでない場合に重畳描画モードに切り替えて、保存された写真等のビットマップデータを文書データと重畳して再表示させる動作について説明する。
【０１６４】
ＬＣＤ１６に表示された「切換」ボタン４２がタッチされて重畳描画モードに切り替わるときに、重畳描画プロセスは、メインメモリ１２に記憶されたウィンドウ属性であるアプリケーション名・アプリケーションのウィンドウの大きさ・アプリケーションのウィンドウの表示位置・文書のファイル名を参照する。
【０１６５】
そして、文書のページ番号・文書の表示倍率は、上述したように認識プロセスを使用して識別される。また、重畳描画プロセスは、文書を表示させているアプリケーションのウィンドウ内に表示された文書の表示位置を、スクロールボックスの表示位置を利用した上述の方法を用いて、その文書を表示させているアプリケーション・プロセスに問い合わせを行わずに特定する。
【０１６６】
そして、ＬＣＤ１６の表示画面の右上にある「読出」ボタン４４が選択されると、保存したビットマップデータの中で現在のページ番号と対応して管理されたビットマップデータを、文書の表示位置に対応させて表示させる。
【０１６７】
例えば、文書の２ページ目の先頭からの領域が表示されている場合に「読出」ボタン４４が選択されると、重畳描画プロセスは、ビットマップデータの付属情報である透明スクリーン用絶対座標から関係式（３）（４）を使用して表示座標に変換し、この位置にビットマップデータを表示する。すなわち、図４に示した文書の場合には、写真Ａが重畳して再表示される。
【０１６８】
もし、他のページがページの途中から表示されており、そこに重畳表示させるビットマップデータの透明スクリーン用絶対座標が存在していない場合には、スクロールボックスの表示位置から特定される現在の表示データのページ中における表示位置情報を基に、現在の表示データ中に、重畳するビットマップデータに対応付けて保存された文書データ領域が有るか否かをチェックする。
【０１６９】
そして、表示領域中にその文書データ領域が含まれていると判断した場合には、その文書データ領域に対応付けて保存されたビットマップデータをその文書データ領域に対する相対座標位置に重畳表示する。この時、ビットマップデータは、文書データ領域に対する相対座標を表示座標に変換した後に表示する。なお、本実施形態における表示座標は、「１ 本実施形態の構成」で説明したように、ＬＣＤの表示領域の左上の角にある画素を原点としているが、例えば、ウィンドウの表示領域の左上の角にある画素を原点としてもよい。
【０１７０】
（５．４）保存された手書き描画データを重畳表示させた場合
次に、文書が表示されている状態にて、重畳手書き描画モードでない場合に重畳手書き描画モードに切り替えて、保存された手書き描画データを文書データと重畳して表示させる動作について説明する。
【０１７１】
重畳描画モードでない場合にＬＣＤ１６に表示された「切換」ボタン４２がタッチされて重畳描画モードに切り替わるときに、重畳描画プロセスは、メインメモリ１２に記憶されたウィンドウ属性であるアプリケーション名・アプリケーションのウィンドウの大きさ・アプリケーションのウィンドウの表示位置・文書のファイル名を参照する。
【０１７２】
そして、文書のページ番号・文書の表示倍率は、上述したように認識プロセスを使用して識別される。また、重畳描画プロセスは、文書を表示させているアプリケーションのウィンドウ内に表示された文書の表示位置を、スクロールボックスの表示位置を利用した上述の方法を用いて、その文書を表示させているアプリケーション・プロセスに問い合わせを行わずに特定する。
【０１７３】
そして、「手書き」ボタン４５がタッチされて重畳手書き描画モードに切り替わり、ＬＣＤ１６の表示画面の右上にある「読出」ボタン４４が選択されると、保存した手書き描画データの中で現在のページ番号と対応して管理された手書き描画データを、文書の表示位置に対応させて表示させる。
【０１７４】
例えば、文書の２ページ目の先頭からの領域が表示されている場合に「読出」ボタン４４が選択されると、重畳描画プロセスは、手書き入力データ中に透明スクリーン用絶対座標が存在していることを確認し、透明スクリーン用絶対座標から関係式（５）（６）を使用して表示座標に変換し、この位置に手書き描画線を表示する。
【０１７５】
もし、他のページがページの途中から表示されており、そこに重畳表示させる手書きデータの透明スクリーン用絶対座標が存在していない場合には、スクロールボックスの表示位置から特定される現在の表示データのページ中における表示位置情報を基に、現在の表示データ中に、手書き描画オブジェクトと対応付けて保存された文書データ領域が有るか否かをチェックする。
【０１７６】
そして、表示領域中にその文書データ領域が含まれていると判断した場合には、その文書データ領域に対応付けて保存された手書き入力データを、文書データ領域に対する相対座標から表示座標に変換し、この位置に手書き描画線を表示する。なお、本実施形態における表示座標は、「１ 本実施形態の構成」で説明したように、ＬＣＤの表示領域の左上の角にある画素を原点としているが、例えば、ウィンドウの表示領域の左上の角にある画素を原点としてもよい。
【０１７７】
（５．５）ビットマップデータが重畳表示されているときに、文書の表示倍率が変更された場合
次に、文書ページとそれに対応した重畳ビットマップデータが表示されている場合に、文書の表示倍率が変更された場合について説明する。
【０１７８】
重畳描画モードが解除された状態で文書の表示倍率が変更され、「切換」ボタン４２が押されて再び重畳描画モードに切り替わると、重畳描画プロセスは上述した一連のチェック処理を実行して文書の表示倍率を識別する。
【０１７９】
まず、文書データがページの先頭から表示されている場合について説明する。「読出」ボタン４４が押されると、ページの先頭（ページの左上角）と透明スクリーン用絶対座標原点は一致しているため、透明スクリーン用絶対座標に座標変換された重畳ビットマップデータを、原点を中心として文書と同じ倍率の拡大または縮小処理を実行してＬＣＤ１６に表示させる。なお、重畳ビットマップデータの拡大処理として例えばデータの補間処理を使用し、縮小処理として例えばデータの間引き処理を使用する。
【０１８０】
なお、文書データが既に拡大または縮小されて表示されているときにビットマップデータの重畳が行われた場合は、ビットマップデータの重畳後にこのビットマップ領域（矩形領域）の大きさを適宜ユーザが電子ペン２を使用して変更する。この領域変更時の動作は、まず、ユーザが重畳表示しているビットマップ領域内を電子ペン２でタッチすると、この領域の縁を強調線表示する。そして、ユーザがこの矩形の右下角（対角点）を電子ペン２でタッチし、そのままタッチパネル１８上をなぞると、領域の縁である矩形の右下角が電子ペン２の接触位置となるように矩形の大きさを変えて表示する。そして、ユーザが電子ペン２をタッチパネル１８から離す（ペンアップ）と、そのペンアップされた点が重畳表示するビットマップ領域の新たな対角点となるように、ビットマップデータを拡大または縮小して表示する。
【０１８１】
文書データがページの先頭から表示されていない場合には、表示倍率の変更前の表示位置情報を利用することができないため、表示倍率の変更前に表示データに対応付けて保存された重畳ビットマップデータを、表示倍率変更後の表示データと対応付けて表示させることはできない。
【０１８２】
そこで、重畳表示しているビットマップ領域（重畳ビットマップ領域）の左上角（図１５の点Ｔ）における透明スクリーン用絶対座標とその近隣の文書データ領域に対する相対座標、また、重畳ビットマップ領域の近隣の文書データ領域のビットマップデータ及びその領域の縦方向と横方向の画素数を重畳ビットマップの位置情報データとして、文書の表示倍率のデータとともにメインメモリ１２に記憶しておく。
【０１８３】
そして、「保存」ボタン４３がタッチされると、重畳描画プロセスは重畳ビットマップデータを、先にメインメモリ１２に記憶した重畳ビットマップ領域の左上角の透明スクリーン用絶対座標、その近隣の文書データ領域に対する相対座標、重畳ビットマップ領域の近隣の文書データ領域のビットマップデータ及びその領域の縦方向と横方向の画素数、文書の表示倍率に対応させて、さらに、現在の文書のページ番号に対応付けてハードディスク２０に書き込み、保存する。
【０１８４】
そして、その後、これらの保存された重畳ビットマップデータを表示させる場合、その時の文書の表示倍率に対応した表示位置からその倍率に対応したビットマップデータを表示させる。
【０１８５】
（５．６）手書き描画データが重畳表示されているときに、文書の表示倍率が変更された場合
次に、文書ページとそれに対応した手書き描画データが表示されている場合に、文書の表示倍率が変更された場合について説明する。
【０１８６】
重畳手書き描画モード及び重畳描画モードが解除された状態で文書の表示倍率が変更され、「切換」ボタン４２が押されて再び重畳描画モードに切り替わると、重畳描画プロセスは上述した一連のチェック処理を実行して文書の表示倍率を識別する。そして、「手書き」ボタン４５が押されると重畳手書き描画モードとなる。
【０１８７】
まず、文書データがページの先頭から表示されている場合について説明する。「読出」ボタン４４が押されると、ページの先頭（ページの左上角）と透明スクリーン用絶対座標原点は一致しているため、透明スクリーン用絶対座標に座標変換された手書き描画データを、原点を中心として文書と同じ倍率の拡大または縮小処理を実行してＬＣＤ１６に表示させる。なお、手書き描画データの拡大処理として例えば座標データの補間処理を使用し、縮小処理として例えば座標データの間引き処理を使用する。
【０１８８】
なお、文書データが既に拡大または縮小されて表示されているときに手書き入力が行われた場合は、重畳描画プロセスは、手書き入力によりタッチパネルコントローラ１７から得た各座標値（表示座標と同じ）をＬＣＤ表示コントローラ１５へはそのまま渡し、また透明スクリーン用の絶対座標にも変換し、この変換された座標データをメインメモリ１２に記憶しておく。
【０１８９】
文書データがページの先頭から表示されていない場合には、表示倍率の変更前の情報を利用することができないため、表示倍率の変更前に表示データに対応付けて保存された手書き描画データを、表示倍率変更後の表示データと対応付けて表示させることはできない。
【０１９０】
そこで、上記の図１８・図１９・図２０を参照しながら説明した、手書き描画オブジェクトとそのオブジェクトに対応付けられた領域の文書データを用いて手書きデータの表示位置を特定する方法を、表示倍率毎に実行させる。
【０１９１】
そして、手書き入力データを近隣の文書データ領域に対する相対座標として、また透明スクリーン用の絶対座標に変換して保存する場合、文書の表示倍率のデータもいっしょに保存する。そして、その後これらの保存された手書き入力データを再表示させる場合、そのときの文書の表示倍率に対応したものを表示させる。
【０１９２】
（６）本実施形態におけるその他の情報処理
（６．１）背景を白とする情報処理
文書を表示させているアプリケーションの表示ウィンドウの外側で手書き描画が行われた場合、手書き描画データを見やすくするために、その背景を白とする場合について説明する。
【０１９３】
重畳手書き描画モードにある場合、重畳描画プロセスはメインメモリ１２に記憶されたウィンドウ属性を参照することで、文書を表示させているアプリケーションのウィンドウの大きさと表示位置の情報を得ている。従って、タッチパネル１８上で手書き入力され、タッチパネルコントローラ１７から得られる各座標データ（表示座標と同じ）について、文書表示ウィンドウの内側の領域であるか否かを判断する。
【０１９４】
そして、その座標データが文書表示ウィンドウの外側であり、かつタッチパネルコントローラ１７からペンアップ通知データを受信した場合には、文書表示ウィンドウの外側にある各座標データを調べ、それらが全て含まれるような所定の大きさの矩形領域を白色で塗りつぶす描画コマンドを、ＬＣＤ表示コントローラ１５へ出し、続いて、その矩形領域内の座標データ間を直線で結んで描画する描画コマンドを、ＬＣＤ表示コントローラ１５へ出す。
【０１９５】
このようにして、文書表示ウィンドウの外側で手書き描画が行われた場合、その背景部分が白く表示される。この表示例を図２４に示す。図２４では、文書表示ウィンドウ外の手書き描画が可能な領域の背景をグレーで表示させている。
【０１９６】
なお、タッチパネルコントローラ１７から得られる座標データのチェック時に文書表示ウィンドウの外側であると判断された座標データは、座標間の直線描画コマンドに入れてＬＣＤ表示コントローラ１５へ渡すとともに、キューにも入れておく。このキューはプログラム中に定義された配列である。そして、このキューにある座標データから背景を白色で塗りつぶす矩形領域を判断する。
【０１９７】
以上のように、文書を表示させているアプリケーションのウィンドウの外側において、透明スクリーン上に手書き画像が描画された場合、その背景を白とすることで、描画線が見やすくなり、利便性が向上する。なお、ここではウィンドウの外側となったときに「白」としているが、文書の外側となったときに「白」となるようにしてもよい。
【０１９８】
（６．２）Ｗｅｂページに関する情報処理
ＷｅｂブラウザがＷｅｂページを表示させている場合の情報処理について説明する。Ｗｅｂブラウザの表示例を図２５に示す。
【０１９９】
重畳描画モードになるとき、重畳描画プロセスはメインメモリ１２に記憶されたウィンドウ属性の１つである文書を表示させているアプリケーション名を参照して、Ｗｅｂブラウザであるか否かを判断する。
【０２００】
そして、Ｗｅｂブラウザであると判断した場合、Ｗｅｂページの表示属性であるＵＲＬを、ＵＲＬの表示データから識別する。この識別は、先に説明したＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）のウィンドウ内の表示データから表示倍率やページ番号を識別する方法と同様に、認識機能によって識別する方法を用いる。
【０２０１】
認識プロセスは、ＬＣＤ表示コントローラ１５中の表示画面バッファにあるビットマップデータの中でＵＲＬを含んだ領域を切り出して文字認識を行い、認識された文字列（テキストデータ）を重畳描画プロセスへ渡す。
【０２０２】
Ｗｅｂページは、ページ番号の代わりにＵＲＬで識別されるため、Ｗｅｂページ上で重畳して描画される写真等のビットマップデータや、重畳手書き描画モード時にＷｅｂページ上で重畳して描画される手書き描画データは、テキストデータとして得たＵＲＬと対応付けて管理される。
【０２０３】
Ｗｅｂページが表示されている場合における重畳描画モード時または重畳手書き描画モード時の情報処理は、ページ識別情報としてページ番号の代わりにＵＲＬを利用する点を除いては、Ａｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）を例にとって説明した前述の情報処理と同様にすることができる。
【０２０４】
（６．３）ウィンドウが複数存在する場合の情報処理
文書を表示しているウィンドウが複数存在する場合には、重畳描画モード時に重畳された写真等のビットマップデータや、重畳手書き描画モード時に入力された手書き描画データは、現在のフォーカスウィンドウ（アクティブになっているウィンドウ）に表示された文書ページに対して管理する。また、重畳データとして保存されたビットマップデータや手書き描画データを再表示する場合も、現在のフォーカスウィンドウに表示された文書ページに対応したものを再表示させる。
【０２０５】
（本発明の実施の形態のその他の例）
（Ａ）電子黒板
先述した実施形態においては、表示装置としてＬＣＤを用いたが、代わりにＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等の大画面ディスプレイを用い、大画面ディスプレイの表示面にタッチパネル等の座標入力手段を付加し、表示面に対して手書き描画することが可能ないわゆる「電子黒板」とすることができる。
【０２０６】
この場合、電子黒板上の文書等の上に手書き描画線等を表示したとき、当該文書に関するアプリケーションの実行プロセスにアクションを起こさせずに、当該手書き描画線等の位置を管理することができるので、会議や教育での利便性が向上する。
【０２０７】
（Ｂ）データ会議システム
先述した実施形態のペン入力装置にＬＡＮ（イーサネット（登録商標））用のＰＣカードを挿入して、ネットワークを介して遠隔地にあるペン入力装置とデータ会議を実行する場合について説明する。なお、会話は電話等の音声通信機器を使用して行うものとする。
【０２０８】
データ会議用に形成されたネットワークに接続している１つの端末の表示画面を、他の全ての端末が共有するための仕様が、ＩＴＵ−Ｔ勧告Ｔ．１２０シリーズとして標準化されている。そこで、先述したペン入力装置を複数個、データ会議用ネットワークに接続し、各ペン入力装置が画面共有機能を実行させることが可能である。
【０２０９】
この場合、各人が各画面上の資料等に重畳表示した手書き描画線等は、他の全員の画面上にも表示されることになるが、当該資料等に関するアプリケーションの実行プロセスにアクションを起こさせずに、当該描画線等の位置を管理することができるので、描画線等の保管が容易になるなど、会議での利便性が向上する。
【０２１０】
また、教育現場において、教師のペン入力装置と生徒のペン入力装置との間で画面共有機能を実行させれば、画面上の教科書等にメモ書き等を添付しながら授業する際に役立つなど、教育での利便性が向上する。
【０２１１】
（Ｃ）サーバ／クライアント型会議システム
ここでは、本発明の実施の形態の例として、サーバに記憶された会議資料文書を複数のクライアントが閲覧・編集しながら会議を行う電子会議システムを例にとって説明する。
【０２１２】
まず、サーバ／クライアントシステムのシステム構成例を図２６に示す。本システムはサーバ６０と、それに接続された大型ディスプレイ装置６１と、各会議参加者が使用するクライアント６２〜６５から構成されており、これらの機器は無線ＬＡＮ（例えばＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ｂ）で接続されている。
【０２１３】
サーバ６０は、例えばＰＣ−ＡＴ（Ｔｈｅ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ ｆｏｒ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ）アーキテクチャ（ＩＢＭ社が１９８４年に発表）のコンピュータであり、そのＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｒｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスに接続されたＰＣＩアダプタボードを介して、無線ＬＡＮ用ＰＣカードが装着されている。なお、図２６中、サーバ６０に接続されたキーボードの図示は省略している。
【０２１４】
大型ディスプレイ装置６１は、例えばＰＤＰの表示面にタッチパネルが付着されており、ＶＧＡケーブルとＲＳ−２３２Ｃケーブルによってサーバ６０と接続され、サーバ６０の表示装置として機能するとともに、サーバ６０のタッチ入力装置として機能する。なお、ＶＧＡケーブルはサーバ６０からＰＤＰへ画面表示信号を出力し、ＲＳ−２３２Ｃケーブルはタッチパネルが検出したタッチ入力座標データをサーバ６０へ入力する。また、サーバ６０は、入力されるタッチ入力座標データをマウス入力データと同様に処理する。
【０２１５】
クライアント６２〜６５は、先述した実施形態のペン入力装置であり、無線ＬＡＮ用ＰＣカードが装着されている。また、クライアント６２〜６５には、電子ペン６６〜６９が付属されている。
【０２１６】
次に、サーバ６０にある画面データがクライアント６２〜６５へ送信され、クライアント６２〜６５からサーバ６０へはユーザの入力データが送信されるサーバ／クライアントソフトウェアの動作について説明する。
【０２１７】
このサーバ／クライアントソフトウェアとして、ＡＴ＆Ｔ社が開発・提供しているＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）を使用した場合について説明する。
【０２１８】
サーバ６０に存在するＶＮＣサーバプロセス（以降、ＶＮＣサーバと記載）は、その起動時に１つの画面バッファを生成し、クライアント６２〜６５に存在するＶＮＣクライアントプロセス（以降、ＶＮＣクライアントと記載）は、この画面バッファにある画面データを、自装置のディスプレイ（ＬＣＤ１６）に表示する。
【０２１９】
ＶＮＣサーバは、画面バッファに同時に複数のクライアントがアタッチできる共有モードか、１つのクライアントのみがアタッチする個別モードのいずれかのモードで動作するように起動されるが、今、ＶＮＣサーバは共有モードで動作している。
【０２２０】
サーバ６０はＶＮＣサーバが生成した画面バッファにある画面データを大型ディスプレイ装置６１にも表示するため、大型ディスプレイ装置６１とクライアント６２〜６５のディスプレイの表示が全て同じとなる。
【０２２１】
ＶＮＣサーバからＶＮＣクライアントへ送信される画面データ、および、ＶＮＣクライアントからＶＮＣサーバへ送信されるユーザの入力データは、ＲＦＢ（Ｒｅｍｏｔｅ Ｆｒａｍｅ Ｂｕｆｆｅｒ）プロトコルを使用して転送される。ＲＦＢプロトコルは、１画面のデータを小領域（矩形）に分割し、さらにこの小領域の画像データを圧縮して送信する機能を持っている。この小領域の最小ブロックはタイルと呼ばれ、１６×１６画素である。
【０２２２】
なお、サーバ６０に存在するＶＮＣサーバプロセスと、クライアント６２〜６５に存在するＶＮＣクライアントプロセスとは、ソケットにより通信できるようになっている。
【０２２３】
ＶＮＣサーバは、ＶＮＣクライアントから受信したユーザの入力データを、キーイベントまたはポインタイベントとしてアプリケーションへ渡す。アプリケーションは、これらのイベントに従った処理を実行し、画面への描画処理を実行する。そして、ＶＮＣサーバはこの更新された画面データをＲＦＢプロトコルを使用してクライアント６２〜６５へ送信し、クライアント６２〜６５は受信した画面データを自装置のディスプレイ（ＬＣＤ１６）に表示する。
【０２２４】
したがって、クライアント６２〜６５あるいは大型ディスプレイ装置６１の表示面上で入力された手書き描画データは、大型ディスプレイ装置６１およびクライアント６２〜６５の全てのディスプレイに表示される。
【０２２５】
本実施形態を会議に用いる場合、各画面上の資料等に添付した手書き描画線等は、他の画面上にも表示されることになるが、当該資料等に関するアプリケーションの実行プロセスにアクションを起こさせずに、当該描画線等の位置を管理することができるので、描画線等の保管が容易になるなど、会議での利便性が向上する。
【０２２６】
【発明の効果】
このように、本発明では、コンテンツの表示位置を表す表示データからコンテンツの表示位置を抽出し、これに基づいてオブジェクトの位置を管理（記録時：描画位置の記録、送信時：描画位置の送信、再表示時：再表示位置の決定、など）することにより、コンテンツに関するアプリケーションの実行プロセスにアクションを起こさせずに、オブジェクトの位置を管理することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の例であるペン入力装置の外部構成を示す。
【図２】本発明の実施の形態の例であるペン入力装置の内部構成を示す。
【図３】本実施形態の操作を説明する図である。
【図４】本実施形態の操作を説明する図である。
【図５】本実施形態の操作を説明する図である。
【図６】本実施形態の操作を説明する図である。
【図７】本実施形態における位置の取り扱いを説明する図である。
【図８】本実施形態における抽出を説明する図である。
【図９】本実施形態における抽出を説明する図である。
【図１０】本実施形態における抽出を説明する図である。
【図１１】本実施形態における抽出を説明する図である。
【図１２】本実施形態における抽出を説明する図である。
【図１３】本実施形態における管理を説明する図である。
【図１４】本実施形態における管理を説明する図である。
【図１５】本実施形態における管理を説明する図である。
【図１６】本実施形態における管理を説明する図である。
【図１７】本実施形態における管理を説明する図である。
【図１８】本実施形態における管理を説明する図である。
【図１９】本実施形態における管理を説明する図である。
【図２０】本実施形態における管理を説明する図である。
【図２１】本実施形態における管理を説明する図である。
【図２２】本実施形態における管理を説明する図である。
【図２３】本実施形態における管理を説明する図である。
【図２４】本実施形態における背景を白とする情報処理を説明する図である。
【図２５】本実施形態におけるＷｅｂページに関する情報処理を説明する図である。
【図２６】サーバ／クライアントシステムのシステム構成例を示す。
【符号の説明】
１ ペン入力装置
２ タッチペン
３ キーボード
４ マウス
５ ＰＣカード
６ 電源ケーブル
１０ ＣＰＵ
１１ クロック
１２ メインメモリ
１３ ＲＯＭ
１４ ＲＴＣ
１５ ＬＣＤ表示コントローラ
１６ ＬＣＤ
１７ タッチパネルコントローラ
１８ タッチパネル
１９ ＨＤコントローラ
２０ ハードディスク
２１ ＵＳＢコントローラ▲１▼
２２ ＵＳＢ・Ｉ／Ｆ▲１▼
２３ ＵＳＢコントローラ▲２▼
２４ ＵＳＢ・Ｉ／Ｆ▲２▼
２５ ＰＣカードコントローラ
２６ カードＩ／Ｆ
２７ システムバス
２８ バッテリ
２９ ＤＣ−ＤＣコンバータ
３０ 充電回路
３１ ＡＣアダプタ
４０ フリーズボタン
４１ 矩形領域指定アイコン
４２ 切換ボタン
４３ 保存ボタン
４４ 読出ボタン
４５ 手書きボタン
４６ 線種ボタン
４７ 矩形ボタン
４８ 消ゴムボタン
５０ フリーズ領域
５１ 重畳描画可能領域（透明スクリーン領域）
５３ アプリケーションＡ
５４ 文書Ａ
５５ アプリケーションＢ
５６ 文書Ｂ
５７ デスクトップ画面
５８ アプリケーションＡのウィンドウ
５９ 透明スクリーン
６０ サーバ
６１ 大型ディスプレイ装置
６２・６３・６４・６５ クライアント
６６・６７・６８・６９ 電子ペン
【発明の属する技術分野】
本発明は、情報処理装置及び情報処理方法に関する。
【０００２】
【従来の技術】
コンピュータ等のディスプレイ上にコンテンツ（文書・Ｗｅｂページ等）を表示するアプリケーションとしては、Ｍｉｃｒｏｓｏｆｔ社製のＷｏｒｄ（商標）のような「文書作成ソフト」・Ａｄｏｂｅ Ｓｙｓｔｅｍｓ社製のＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）のような「文書管理ソフト」・Ｎｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ社製のＮｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｏｒ（商標）のような「Ｗｅｂブラウザ」等が知られている。
【０００３】
このようなコンテンツがディスプレイ上に表示されている場合に、当該コンテンツ上のオブジェクト（テキスト・イメージ等）を注釈するための注釈オブジェクト（注釈テキスト・注釈イメージ等）を、当該コンテンツに添付する技術がいくつか知られている。例えば、当該コンテンツ上に重ねて透明スクリーンをディスプレイ上に表示して、タッチパネル上での手書き操作やカット＆ペースト操作等により、操作者が透明スクリーン上に注釈オブジェクトを描画して、これをコンテンツに添付された注釈オブジェクトとする「透明スクリーン方式」が知られている。
【０００４】
このような注釈オブジェクトを記録したり送信したりする場合に、注釈オブジェクトの位置に関する情報を、どのように取り扱うかが問題となる。記録・送信された注釈オブジェクトをディスプレイ上に再表示する場合に、注釈オブジェクトをディスプレイ上のどの位置に再表示するかが問題となるからである。
【０００５】
例えば、ディスプレイ上でスクロール表示されるコンテンツに関しては、スクロールにより、注釈オブジェクトの再表示時におけるコンテンツの表示位置が、スクロール分だけ注釈オブジェクトの記録時・送信時と異なっている場合があり、そのときは、再表示時における注釈オブジェクトの表示位置を、スクロール分だけ記録時・送信時から移動する必要がある。
【０００６】
さらに、ディスプレイ上のウィンドウ内に表示されるコンテンツに関しては、ウィンドウの移動等により、注釈オブジェクトの再表示時におけるコンテンツの表示位置が、ウィンドウの移動分だけ注釈オブジェクトの記録時・送信時と異なっている場合があり、そのときは、再表示時における注釈オブジェクトの表示位置を、ウィンドウの移動分だけ記録時・送信時から移動する必要がある。
【０００７】
特開２００１−１１７６８５・特開２００１−１３４４１５には、透明スクリーン方式の注釈添付方法が記載されている。しかし、注釈オブジェクトの位置に関する情報をどのように取り扱うかについては、何ら記載されていない。
【０００８】
特開平１０−１２４４９４には、注釈イメージ（注釈オブジェクト）が、ディスプレイ上においてコンテンツ上のあるテキスト（オブジェクト）と同じ位置に表示されているときに、当該注釈イメージを、そのテキストと対応付けて記録する注釈添付方法が記載されている。この方法では、注釈イメージの再表示時において、コンテンツの編集等によりコンテンツ上のテキストの表示位置が記録時と異なっているときでも、注釈イメージを、対応付けられたテキストと同じ表示位置に再表示することができる。
【０００９】
特開２０００−２５０９０３には、注釈イメージ（注釈オブジェクト）が、ディスプレイ上においてコンテンツ上のあるテキスト（オブジェクト）を指定するように表示されているときに、当該注釈イメージを、そのテキストと対応付けて記録する注釈添付方法が記載されている。この方法では、注釈イメージの再表示時において、コンテンツの編集等によりコンテンツ上のテキストの表示位置が記録時と異なっているときでも、注釈イメージを、対応付けられたテキストを指定するように再表示することができる。
【００１０】
【発明が解決しようとする課題】
従来の方法では、注釈イメージ（注釈オブジェクト）をコンテンツ上のテキスト（オブジェクト）と対応付けて記録する。
【００１１】
そのため、従来の方法では、当該コンテンツに関するアプリケーションの実行プロセス（アプリケーション・プロセス）にアクションを起こさせて、当該コンテンツ上のテキストに係るテキストデータにアクセスしなければ、注釈イメージの位置を記録することができないという欠点があった。
【００１２】
さらには、従来の方法では、当該コンテンツに関するアプリケーションの実行プロセスにアクションを起こさせる必要上、当該注釈添付方法を実現するためのソフトウェア・ハードウェアを開発する開発者が、当該コンテンツに関するアプリケーションのプログラム仕様等を理解する手間を要求されるという欠点があった。特に、対象となるアプリケーションの種類が増えれば増えるほど、この手間は増加してしまうものであった。
【００１３】
したがって、本発明は、透明スクリーン上に形成された注釈オブジェクトその他のオブジェクトに関して、コンテンツに関するアプリケーションの実行プロセスにアクションを起こさせずに、当該オブジェクトの位置を管理（記録時：描画位置の記録、送信時：描画位置の送信、再表示時：再表示位置の決定、など）することを課題とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、情報処理装置であって、この情報処理装置は、ディスプレイと、描画オブジェクトを処理対象のウィンドウ（以下、「トップウィンドウ」と言う。）内に重畳表示する重畳描画プロセスと、前記ディスプレイに表示されているトップウィンドウについて前記ディスプレイにおける前記トップウィンドウの表示位置と前記トップウィンドウの大きさと前記トップウィンドウにて実行されているアプリケーションのアプリケーション名と該アプリケーションにて実行されている文書ファイルのファイル名とを含むウィンドウに係る情報をウィンドウ属性情報として取得するウィンドウマネージャと、前記トップウィンドウのビットマップ画像を取得し該ビットマップ画像に基づいて前記トップウィンドウ内に表示されている文書データの前記文書ファイルにおける位置を文書データの表示位置として取得し該取得した文書データの表示位置を文書データ表示位置情報として前記重畳描画プロセスに渡す認識プロセスと、を制御する制御手段と、前記描画オブジェクトを、トップウィンドウ生成時、トップウィンドウ移動時、又はトップウィンドウの大きさの変更時に、前記文書データ表示位置情報を含む前記ウィンドウ属性情報（以下、「記憶時ウィンドウ属性情報」と言う。）と対応付けて記憶する記憶手段と、を備え、
前記重畳描画プロセスは、描画オブジェクトの表示の指示を受け付けると、前記ウィンドウマネージャ及び前記認識プロセスから、前記指示を受け付けた時のトップウィンドウ（以下、「指示時ウィンドウ」と言う。）のウィンドウ属性情報（以下、「指示時ウィンドウ属性情報」と言う。）を取得し、前記指示時ウィンドウ属性情報に基づいて、前記記憶手段から前記指示時ウィンドウに重畳表示すべき描画オブジェクトと該描画オブジェクトに対応付けられた前記記憶時ウイィンドウ属性情報を読み出し、前記指示時ウィンドウ属性情報と前記記憶時ウィンドウ属性情報とに基づいて、前記読み出した描画オブジェクトを、前記記憶時ウィンドウ属性情報を記憶した時のトップウィンドウ（以下、「記憶時ウィンドウ」と言う。）における表示位置と対応する位置となる指示時ウィンドウにおける位置に、重畳して表示するものである。
【００１６】
請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記認識プロセスにおいて取得される前記文書データの表示位置は、トップウィンドウにおける文書のスクロール位置に対応し、前記文書データのスクロール位置は、前記トップウィンドウのビットマップ画像から抽出したスクロールバーにおける 1 の端部からスクロールボックスまでの画素数と他の端部からスクロールボックスまでの画素数とに基づいて決定されることを特徴とする。
【００１８】
請求項３に記載の発明は、請求項１又は２に記載の情報処理装において、前記重畳描画プロセスは、記憶時ウィンドウ属性情報に含まれるトップウィンドウの大きさと指示時ウィンドウ属性情報に含まれるトップウィンドウの大きさ（以下、「指示時ウィンドウの大きさ」と言う。）とに基づいて記憶時ウィンドウ属性情報を記憶した時と指示時ウィンドウ属性情報を取得した時におけるトップウィンドウの大きさの変化の割合を取得し、該取得した変化の割合に基づいて前記記憶時ウィンドウ属性情報に含まれる文書データ表示位置情報を変更し、前記描画オブジェクトを前記変更された記憶時ウィンドウにおける表示位置と対応する位置関係となる指示時ウィンドウにおける位置に重畳して表示することを特徴とする。
【００２０】
請求項４に記載の発明は、請求項１又は２に記載の情報処理装置において、前記記憶時ウィンドウ属性情報は、さらに、トップウィンドウ内における文書のページ番号と文書の表示倍率とを有し、前記認識プロセスは、さらに、前記記憶手段を参照して、前記ビットマップ画像からページ番号と表示倍率が含まれる領域を抽出し、該抽出した領域からページ番号と表示倍率とを認識し、該認識したページ番号と表示倍率とを表示属性として、前記描画オブジェクトと対応付けて前記記憶手段に記憶することを特徴とする。
【００２２】
請求項５に記載の発明は、情報処理方法であって、ディスプレイと、描画オブジェクトを処理対象のウィンドウ（以下、「トップウィンドウ」と言う。）内に重畳表示する重畳描画プロセスと、前記ディスプレイに表示されているトップウィンドウについて前記ディスプレイにおける前記トップウィンドウの表示位置と前記トップウィンドウの大きさと前記トップウィンドウにて実行されているアプリケーションのアプリケーション名と該アプリケーションにて実行されている文書ファイルのファイル名とを含むウィンドウに係る情報をウィンドウ属性情報として取得するウィンドウマネージャと、前記トップウィンドウのビットマップ画像を取得し該ビットマップ画像に基づいて前記トップウィンドウ内に表示されている文書データの前記文書ファイルにおける位置を文書データの表示位置として取得し該取得した文書データの表示位置を文書データ表示位置情報として前記重畳描画プロセスに渡す認識プロセスと、を制御する制御手段と、前記描画オブジェクトを、トップウィンドウ生成時、トップウィンドウ移動時、又はトップウィンドウの大きさの変更時に、前記文書データ表示位置情報を含む前記ウィンドウ属性情報（以下、「記憶時ウィンドウ属性情報」と言う。）と対応付けて記憶する記憶手段と、を備えた情報処理装置における情報処理方法であって、前記重畳描画プロセスは、描画オブジェクトの表示の指示を受け付けると、前記ウィンドウマネージャ及び前記認識プロセスから、前記指示を受け付けた時のトップウィンドウ（以下、「指示時ウィンドウ」と言う。）のウィンドウ属性情報（以下、「指示時ウィンドウ属性情報」と言う。）を取得し、前記指示時ウィンドウ属性情報に基づいて、前記記憶手段から前記指示時ウィンドウに重畳表示すべき描画オブジェクトと該描画オブジェクトに対応付けられた前記記憶時ウイィンドウ属性情報を読み出し、前記指示時ウィンドウ属性情報と前記記憶時ウィンドウ属性情報とに基づいて、前記読み出した描画オブジェクトを、前記記憶時ウィンドウ属性情報を記憶した時のトップウィンドウ（以下、「記憶時ウィンドウ」と言う。）における表示位置と対応する位置となる指示時ウィンドウにおける位置に、重畳して表示することを特徴とする。
【００２４】
請求項６に記載の発明は、請求項５に記載の情報処理方法において、前記認識プロセスにおいて取得される前記文書データの表示位置は、トップウィンドウにおける文書のスクロール位置に対応し、前記文書データのスクロール位置は、前記トップウィンドウのビットマップ画像から抽出したスクロールバーにおける 1 の端部からスクロールボックスまでの画素数と他の端部からスクロールボックスまでの画素数とに基づいて決定されることを特徴とする。
【００２６】
請求項７に記載の発明は、請求項５又は６に記載の情報処理方法において、前記重畳描画プロセスは、記憶時ウィンドウ属性情報に含まれるトップウィンドウの大きさと指示時ウィンドウ属性情報に含まれるトップウィンドウの大きさとに基づいて記憶時ウィンドウ属性情報を記憶した時と指示時ウィンドウ属性情報を取得した時におけるトップウィンドウの大きさの変化の割合を取得し、該取得した変化の割合に基づいて前記記憶時ウィンドウ属性情報に含まれる文書データ表示位置情報を変更し、前記描画オブジェクトを前記変更された記憶時ウィンドウにおける表示位置と対応する位置関係となる指示時ウィンドウにおける位置に重畳して表示することを特徴とする。
【００２８】
請求項８に記載の発明は、請求項５又は６に記載の情報処理方法において、前記記憶時ウィンドウ属性情報は、さらに、トップウィンドウ内における文書のページ番号と文書の表示倍率とを有し、前記認識プロセスはさらに、前記記憶手段を参照して、前記ビットマップ画像からページ番号と表示倍率が含まれる領域を抽出し、該抽出した領域からページ番号と表示倍率とを認識し、該認識したページ番号と表示倍率とを表示属性として、前記描画オブジェクトと対応付けて前記記憶手段に記憶することを特徴とする。
【００３４】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００３５】
（本発明の実施の形態の例）
（１）本実施形態の構成
図１は、本発明の実施の形態の例であるペン入力装置の外部構成を示す。ペン入力装置１には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１６と、ＬＣＤ１６に重ね合わせて付着されたタッチパネル１８が備えられている。タッチパネル１８上でのタッチ入力操作には、タッチペン２を使用する。
【００３６】
図２は、本発明の実施の形態の例であるペン入力装置の内部構成および付属機器の接続構成を示す。ペン入力装置１は、タッチペン２の他に適宜、キーボード３、マウス４、ＰＣカード５、着脱可能な電源ケーブル６と共に使用される。
【００３７】
本実施形態のペン入力装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、クロック１１、メインメモリ１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）１４、ＬＣＤ表示コントローラ１５、ＬＣＤ１６、タッチパネルコントローラ１７、タッチパネル１８、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）コントローラ１９、ハードディスク２０、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コントローラ▲１▼２１、ＵＳＢ・Ｉ／Ｆ▲１▼２２、ＵＳＢコントローラ▲２▼２３、ＵＳＢ・Ｉ／Ｆ▲２▼２４、ＰＣカードコントローラ２５、カードＩ／Ｆ２６、システムバス２７、バッテリ２８、ＤＣ−ＤＣコンバータ２９、充電回路３０等から構成される。
【００３８】
ＣＰＵ１０は、ＲＯＭ１３に記憶された制御処理プログラムや、ハードディスク２０からメインメモリ１２に読み出されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種のアプリケーションプログラムを実行・処理する。クロック１１は、水晶発振子と分周回路から構成されており、ＣＰＵ１０やシステムバス２７の動作タイミングを制御するためのクロックを生成している。メインメモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）より構成されており、ＣＰＵ１０のワークエリア等で使用される。ＲＯＭ１３は、システム全体の制御を行うためのプログラムが予め書き込まれている。ＲＴＣ１４は、日付時計であり、専用バッテリ（図示を省略）によりバックアップされている。
【００３９】
ＬＣＤ表示コントローラ１５は、文字やグラフィックデータ等の表示データをＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換すると共に、これらのデータをＬＣＤ１６に表示するための制御を行う。タッチパネルコントローラ１７は、タッチパネル１８上でタッチペン２のペン先が接触した部分を検出し、その位置情報を出力するとともに、タッチパネル１８上での接触持続時間を計測し、その計測時間が所定の値以上の場合には接触解除を監視して、接触解除を検出した場合にはペンアップ通知データを出力する。ＨＤコントローラ１９は、ハードディスク２０にデータを書き込んだり、ハードディスク２０からデータを読み出すための制御を行う。
【００４０】
ＵＳＢコントローラ▲１▼２１とＵＳＢコントローラ▲２▼２３は、ＵＳＢ規格に準拠したデータ転送を実行・制御する。ＰＣカードコントローラ２５は、カードＩ／Ｆ２６に装着されたＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）規格に準拠したＰＣカード５との間のデータ転送を実行・制御する。ＰＣカード５は、ＰＣＭＣＩＡ規格に準拠したカードであり、例えば、ＩＥＥＥ８０２．１１規格に準拠した無線ＬＡＮカードが使用される。
【００４１】
バッテリ２８は、充電が可能な例えばリチウムイオンバッテリ等である。ＤＣ−ＤＣコンバータ２９は、電源ケーブル６またはバッテリ２８から供給される電源を、所定の電圧に変換してペン入力装置１内部に供給すると共に、電源ケーブル６からの電源供給がない場合は、バッテリ２８からの電源供給に切り換える。充電回路３０は、電源ケーブル６から電源が供給されているときに、バッテリ２８を充電する。電源ケーブル６は、ＡＣアダプタ３１と一体化されており、ＡＣアダプタ３１は内蔵されたＡＣ−ＤＣコンバータにより、交流電源を所定の電圧の直流に変換する。
【００４２】
ここで、タッチパネル１８上にタッチ入力された位置を表す「タッチ入力座標」と、ＬＣＤ１６上に表示された位置を表す「表示座標」について説明する。
【００４３】
タッチペン２がタッチパネル１８に接触すると、タッチパネルコントローラ１７はこの接触を検出し、ＣＰＵ１０に割り込みを発生させる。ＣＰＵ１０はこの割り込みにより、タッチパネルコントローラ１７から座標値を得る。このタッチ入力座標は、ＬＣＤ１６の表示領域の左上の角を原点として、右方向をＸ軸の正の方向・下方向をＹ軸の正の方向として表現する。
【００４４】
ＬＣＤ１６上に表示された表示物の表示座標は、ＬＣＤ１６の表示領域の左上の角にある画素を原点として、右方向をＸ軸の正の方向・下方向をＹ軸の正の方向として画素単位で表現する。すなわち、（表示座標）＝（原点からのＸ軸方向の画素数，原点からのＹ軸方向の画素数）である。
【００４５】
説明を簡単にするために、タッチ入力座標の座標単位もＬＣＤ１６の画素間隔に等しいものとする。すなわち、タッチ入力座標の座標軸・座標単位と、表示座標の座標軸・座標単位は、一致しているものとする。
【００４６】
なお、ＬＣＤ１６の表示領域の左上の角をタッチ入力座標の原点とするには、キャリブレーションを実行する。キャリブレーションは、表示座標とタッチ入力座標との対応付けを行うための操作であり、従来から広く知られた技術であるため、その説明は省略する。
【００４７】
（２）本実施形態の操作
本実施形態において、ユーザは、所定のアプリケーションを使用してＬＣＤ１６上に文書を表示させて、キーボード３やマウス４を使用して文書上に文字を書いたり画像を描いたりすることができる。この文書ファイルは、ハードディスク２０に保存することができる。
【００４８】
本実施形態において、ユーザはさらに、ＬＣＤ１６上に文書を表示させて、その上に重ねて透明スクリーンを表示させて、透明スクリーン上に文字を書いたり画像を描いたりすることができる。透明スクリーンは、文書より小さくても大きくてもよい。また、上述の文字・画像の描画方法としては、タッチパネル１８上に手書きされた画像を取り込む方法・ＬＣＤ１６上に表示された画像を貼り付ける方法・キーボード３に入力された文字を取り込む方法等がある。
【００４９】
（２．１）表示された画像の貼り付け
まず、ＬＣＤ１６上に表示された画像（ビットマップデータ）を透明スクリーン上に貼り付ける場合について説明する。図３は、あるアプリケーションＡ５３が文書Ａ５４を、別のアプリケーションＢ５５が文書Ｂ５６を、デスクトップ画面５７上に表示させている状態を表す。例えば、アプリケーションＡはＡｄｏｂｅ Ｓｙｓｔｅｍｓ社製のＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）で、アプリケーションＢはＮｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ社製のＮｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｏｒ（商標）である。図３中、点線で囲まれた領域は、表示データの凍結（フリーズ）が可能なフリーズ領域５０を示しており、各アプリケーションのウィンドウは、この領域内に表示されるようになっている。
【００５０】
以下具体的に、アプリケーションＡの表示文書Ａの上に重ねられた仮想的な透明スクリーン（以下、単に透明スクリーンと記す）上の任意の位置に、アプリケーションＢの表示文書Ｂ中の写真Ａのビットマップデータをコピーする方法について説明する。
【００５１】
まず第１に、ユーザが画面に表示された「フリーズ」ボタン４０をタッチペン２でタッチすると、フリーズ領域５０の表示データがフリーズされる。すなわち、アプリケーションＡやアプリケーションＢのウィンドウの操作ができない状態となる。なお、表示データのフリーズと共に、「フリーズ」ボタン４０はリバース表示になる。
【００５２】
続いて第２に、画面に表示された矩形領域指定アイコン４１がタッチされると、表示データの矩形領域設定モードとなる。このモードにある場合、タッチペン２がタッチパネル１８に接触された（ペンダウン）点が矩形の左上角となり、タッチパネル１８から離された（ペンアップ）点が矩形の右下角となる。ここで、ユーザが写真Ａを囲んだ領域（矩形領域）を指定すると、ＬＣＤ表示コントローラ１５中の表示画面バッファにあるこの領域のビットマップデータを、メインメモリ１２へコピーする。
【００５３】
続いて第３に、ユーザが「フリーズ」ボタン４０をタッチすると、フリーズ領域５０の表示データのフリーズが解除される。なお、表示データのフリーズ解除と共に、「フリーズ」ボタン４０は正常表示に戻る。
【００５４】
続いて第４に、ユーザがアプリケーションＢのウィンドウを閉じた後、ユーザが「切換」ボタン４２を押すと、先に示したフリーズ領域５０と同じ領域を重畳描画可能領域５１とする透明スクリーンが重畳され、重畳描画モードとなる。このとき、図４のように、「フリーズ」ボタン４０・矩形領域指定アイコン４１の表示を画面上から消し、代わりに、「保存」ボタン４３・「読出」ボタン４４・「手書き」ボタン４５を画面上に表示させる。
【００５５】
続いて第５に、ユーザが重畳描画可能領域５１内の任意の位置をタッチすると、先にメインメモリ１２へコピーした写真Ａのビットマップデータが、ＬＣＤ表示コントローラ１５中の表示画面バッファの指定された位置へコピーされて、ユーザが指定した位置に写真Ａが表示される。このときの表示画面例が図４に示されている。
【００５６】
なお、このときの表示画面バッファにある表示データを、論理的なプレーンに階層化して表したものを図５に示す。図５に示すように、表示データはデスクトップ画面５７（ＬＣＤ１６の表示画面全体の大きさを持つ）・文書Ａ５４・アプリケーションＡ５３のウィンドウ５８・透明スクリーン５９に階層化されている。なお、文書Ａ５４は、アプリケーションＡ５３のウィンドウ５８内に表示できる部分のみを図示している。また、透明スクリーン５９は、後述するように、実際にはＬＣＤ１６の表示画面領域よりも大きな領域を持つことが多い。
【００５７】
写真ＡのビットマップデータがＬＣＤ表示コントローラ１５中の表示画面バッファにコピーされる前に、表示画面バッファ中のコピーされる領域にあるビットマップデータをメインメモリ１２へコピー（退避）しておく。そして、透明スクリーンが除かれた場合に、この退避されたビットマップデータを表示画面バッファ中の元の位置へコピーして、表示画面を透明スクリーンが重畳された前の状態に戻す。
【００５８】
透明スクリーン上のデータの管理は重畳描画プロセスが行い、このプロセスの実行はＣＰＵ１０が行う。重畳描画プロセスは、透明スクリーン上の矩形領域のビットマップデータや後述する手書き描画データ（重畳データ）の位置を、そのときのトップウィンドウ（最も上に重ねて表示されたウィンドウ）に表示された文書の表示位置に基づいて管理する。当該管理については後述する。
【００５９】
（２．２）手書きされた画像の取り込み
次に、タッチパネル１８上に手書きされた画像（手書き描画データ）を透明スクリーン上に取り込む場合について説明する。アプリケーションＡが文書ＡをＬＣＤ１６上に表示させている状態で、ユーザが「切換」ボタン４２を押すと、図４で示したのと同じ領域（透明スクリーン領域５１）に対して透明スクリーンが重畳され「重畳描画モード」となり、さらに、ユーザが「手書き」ボタン４５を押すと、図６のように「重畳手書き描画モード」となる。このとき、「手書き」ボタン４５はリバース表示になり、また、線種を選択するための「線種」ボタン４６・矩形を描画するための「矩形」ボタン４７・描画線を消去するための「消ゴム」ボタン４８が表示される。
【００６０】
重畳描画プロセスは、重畳手書き描画モードにおいて、タッチパネルコントローラ１７から得られる各座標値が透明スクリーン領域５１にあるか否かを判断し、２つの連続した座標値がこの領域にあり、かつ、ペンダウン状態（ペンダウンからペンアップまでの期間）である場合には、各座標値間を直線で結んでＬＣＤ１６に表示させるための描画コマンドを、ＬＣＤ表示コントローラ１５へ出す。ＬＣＤ表示コントローラ１５は、この描画コマンドに従った描画を行い、手書きの描画線がＬＣＤ１６上に表示される。
【００６１】
重畳描画プロセスはまた、タッチパネルコントローラ１７から得たペンダウンからペンアップまでの座標列を、ストロークデータとしてメインメモリ１２に記憶する。このストロークデータの位置は、そのときの文書の表示位置に基づいて記憶される。当該記憶（管理）については後述する。
【００６２】
なお、タッチペン２をタッチパネル１８に接触させることによって手書き描画する代わりに、マウス４の左ボタンを押すことによって手書き描画することも可能である。この場合、重畳描画プロセスは、マウス４の左ボタンＯＮのイベント受信によりペンダウンを、マウス４の左ボタンＯＦＦのイベント受信によりペンアップを、それぞれ検出する。
【００６３】
（３）本実施形態における位置の取り扱い
（３．１）概略
本実施形態における、文書に対して重畳された矩形領域のビットマップデータや手書き描画データ（重畳データ）の記憶方法について説明する。
【００６４】
本実施形態においては、透明スクリーンに重畳データが描画されると、その重畳データを、トップウィンドウのアプリケーション名・トップウィンドウの表示位置・トップウィンドウに表示された文書のファイル名・文書のページ番号・文書のスクロール位置・文書の表示倍率等と対応付けて記憶する。重畳データの再表示時において、文書の表示位置が変化していても、文書に対する重畳データの添付位置を記録時と同一にして、重畳データを画面上に再表示するためである。
【００６５】
ここで、アプリケーション名・ウィンドウの表示位置・ウィンドウの大きさは、ウィンドウ生成時、ウィンドウ移動時、またはウィンドウの大きさの変更時に、ウィンドウマネージャがウィンドウ属性としてメインメモリ１２に記憶し、重畳描画プロセスがこの情報を参照する。このウィンドウマネージャは、デスクトップ画面にプルダウンメニューによる実行可能なアプリケーションの一覧表示を行い、選択されたアプリケーションの起動処理も行う。また、アプリケーション起動用のアイコンが表示・登録されている場合には、そのアイコンが選択されたときにアプリケーションの起動処理も行う。
【００６６】
ウィンドウマネージャは、アプリケーションのウィンドウに付加しているタイトルバーの中に、そのアプリケーションから受け取った文書のファイル名を表示するが、ウィンドウマネージャは、その文書のファイル名もウィンドウ属性としてメインメモリ１２に記憶する。
【００６７】
（３．２）意義
本実施形態では、上述したように、文書のスクロール位置と対応付けて重畳データを記憶する。このように、文書の表示位置に基づいて透明スクリーン上の画像の位置を管理する意義について概念的に説明する。
【００６８】
図７Ａには、画面と、画面上の文書と、文書上の透明スクリーンと、透明スクリーン上の画像が示されている。
【００６９】
ここで、画面上において文書が表示されている位置（文書の表示位置）は、「文書上の固定点Ｓ」の「画面上の固定点Ｄ」に対する位置によって表される。例えば、図７Ａのように、点Ｓの点Ｄに対する座標（Ｓｘ，Ｓｙ）で表される。ここでは、点Ｓ・点Ｄはそれぞれ文書・画面の左上の角にとったが、これに限られるものではない。また、点Ｓは、文書に対して位置が固定された点であれば、文書内にとられたものも文書外にとられたものも、「文書上の固定点」に該当する。点Ｄについても同様である。
【００７０】
同様に、画面上において画像が表示されている位置（画像の表示位置）は、「画像上の固定点Ｉ」の「画面上の固定点Ｄ」に対する位置によって表される。例えば、図７Ａのように、点Ｉの点Ｄに対する座標（Ｉｘ，Ｉｙ）で表される。
【００７１】
また、文書に対して画像が添付されている位置（画像の添付位置）は、「画像上の固定点Ｉ」の「文書上の固定点Ｓ」に対する位置によって表される。例えば、図７Ａのように、点Ｉの点Ｓに対する座標（Ｘ，Ｙ）＝（Ｉｘ−Ｓｘ，Ｉｙ−Ｓｙ）で表される。なお、透明スクリーンの文書に対する位置が固定されている場合においては（例えば、「透明スクリーンの左上角」が、常に「文書の左上角」の上に位置するようにする）、文書に対して画像が添付されている位置（画像の添付位置）は、透明スクリーン上において画像が描画されている位置（画像の描画位置）と言い換えられる。
【００７２】
さて、図７Ａのように、文書の表示位置・画像の表示位置がそれぞれ（Ｓｘ，Ｓｙ）・（Ｉｘ，Ｉｙ）であるときに画像を記録しておき、図７Ｂのように、文書の表示位置が（Ｓｘ´，Ｓｙ´）であるときに画像を再表示するために、画像の再表示位置（Ｉｘ´，Ｉｙ´）を決定する場面にあるとする。
【００７３】
図より、記録時（図７Ａ）の文書は画面上で上の方に表示されているが、再表示時（図７Ｂ）の文書は画面上で下の方に表示されていることが解る。このような文書の表示位置の変更は、例えば、文書のスクロールやウィンドウの移動によって生じる。
【００７４】
ここで、本実施形態においては、再表示時における画像の添付位置（Ｉｘ´−Ｓｘ´，Ｉｙ´−Ｓｙ´）を、記録時における画像の添付位置（Ｉｘ−Ｓｘ，Ｉｙ−Ｓｙ）＝（Ｘ，Ｙ）と同一としたいのだから、「Ｉｘ´−Ｓｘ´＝Ｉｘ−Ｓｘ＝Ｘ」「Ｉｙ´−Ｓｙ´＝Ｉｙ−Ｓｙ＝Ｙ」が成立することになる。よって、再表示時における画像の表示位置（Ｉｘ´，Ｉｙ´）は、（Ｉｘ−Ｓｘ＋Ｓｘ´，Ｉｙ−Ｓｙ＋Ｓｙ´）または（Ｘ＋Ｓｘ´，Ｙ＋Ｓｙ´）として決定される。
【００７５】
このことから、以下の例のように、文書の表示位置に基づいて透明スクリーン上の画像の位置を管理することが考えられる。
【００７６】
記録時においては、所定の方法（後述の「位置抽出」等）で文書の表示位置（Ｓｘ，Ｓｙ）を入手して、入手した文書の表示位置（Ｓｘ，Ｓｙ）と画像の表示位置（Ｉｘ，Ｉｙ）を記録する。または、入手した文書の表示位置（Ｓｘ，Ｓｙ）と画像の表示位置（Ｉｘ，Ｉｙ）から、画像の添付位置（Ｘ，Ｙ）を導出して、導出した画像の添付位置（Ｘ，Ｙ）を記録する。
【００７７】
再表示時においても、所定の方法（後述の「位置抽出」等）で文書の表示位置（Ｓｘ´，Ｓｙ´）を入手する。そして、記録された（Ｓｘ，Ｓｙ）および（Ｉｘ，Ｉｙ）と、入手した（Ｓｘ´，Ｓｙ´）とに基づいて、再表示時における画像の表示位置（Ｉｘ´，Ｉｙ´）を決定する。または、記録された（Ｘ，Ｙ）と、入手した（Ｓｘ´，Ｓｙ´）とに基づいて、再表示時における画像の表示位置（Ｉｘ´，Ｉｙ´）を決定する。
【００７８】
このように、文書の表示位置（Ｓｘ，Ｓｙ）に基づいて画像の表示位置・添付位置を記録すること、文書の表示位置（Ｓｘ´，Ｓｙ´）に基づいて画像の再表示位置を決定すること等、文書の表示位置に基づいて透明スクリーン上の画像の位置を管理することには、再表示時における画像の添付位置を、記録時における画像の添付位置と同一にすることを可能とするという点で意義がある。
【００７９】
なお、文書がウィンドウ内に表示される場合については、上述の「画面」を「ウィンドウ」に読み替えてもよい。これは、文書・画像の表示位置を、画面上の固定点から見た表示位置ではなく、ウィンドウ上の固定点から見た表示位置とすることを意味する。両表示位置に関して、一方から他方への変換は、ウィンドウ上の固定点の画面上の固定点に対する位置（（画面上の固定点から見た）ウィンドウの表示位置）が解っていれば、容易に計算できる。なお、本実施形態においては、このためもあって、上述したように、ウィンドウの表示位置とも対応付けて重畳データを記憶している。
【００８０】
本実施形態ではさらに、上述したように、文書の表示属性（文書のページ番号・文書の表示倍率等）と対応付けて重畳データを記憶する。
【００８１】
このように、文書の表示倍率に基づいて透明スクリーン上の画像の位置を管理することについては、例えば、再表示時における文書の表示倍率が、記録時における文書の表示倍率と変化している場合であっても、再表示時における画像の添付位置を、記録時における画像の添付位置と同一にすることを可能とするという点で意義がある。例えば、表示倍率が１００％から５０％に変化している場合は、記録時における画像の描画位置の値の１／２を、再表示時における画像の描画位置の値とする。
【００８２】
また、文書のページ番号に基づいて透明スクリーン上の画像の位置を管理することには、例えば、透明スクリーン上の画像の位置をページごとに管理することを可能とするという点で意義がある。
【００８３】
なお、本実施形態においては、抽出手段により、文書の表示位置等の表示データから文書の表示位置等を「抽出」し、管理手段により、これに基づいて画像の位置等を「管理」する。当該抽出・管理については、詳細に後述する。
【００８４】
（４）本実施形態における文書の表示位置等の抽出
（４．１）文書の表示属性の抽出
本実施形態において、文書を表示させているアプリケーション・プロセスを使用せずに、文書のページ番号・文書の表示倍率を得る方法について説明する。これらは、文書のページ番号・文書の表示倍率をＬＣＤ１６上に表示させるためのデータ（これを「表示データ」と呼ぶ）、すなわち、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたデータから抽出される。
【００８５】
文書のページ番号と表示倍率はアプリケーションによって異なった位置に表示される。例えば、Ｍｉｃｒｏｓｏｆｔ社製のＯＳであるＷｉｎｄｏｗｓ（登録商標）上で、Ａｄｏｂｅ Ｓｙｓｔｅｍｓ社製のＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）を起動して、Ａｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）のウィンドウ内に文書を表示させている例を、図８に示す。
【００８６】
この場合、文書のページ番号と表示倍率はウィンドウの左下部の所定の位置に表示されている。これらの表示データはＬＣＤ表示コントローラ１５中の表示画面バッファにビットマップデータとして存在しているため、以下のように、このビットマップデータから数字を識別する（これを、「認識機能」と呼ぶ）。
【００８７】
認識プロセス（ＣＰＵ１０が実行）は、ＬＣＤ表示コントローラ１５中の表示画面バッファにあるビットマップデータの中で文書のページ番号を含んだ領域を切り出して、メインメモリ１２にコピーする（領域の切り出し方法については後述する）。この切り出されたビットマップデータはカラー表示用のＲＧＢ形式であるため、これを変換式「Ｙ＝０．３１Ｒ＋０．５９Ｇ＋０．１１Ｂ」を用いて輝度データ（Ｙ）に変換し、この輝度データについて２値化する。これは、ＲＧＢ信号からＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ ＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）テレビジョン方式における輝度信号Ｙに変換する式である。
【００８８】
そして、この２値化されたビットマップデータについて文字認識を行い、文字をテキストデータとして出力する。図８の例では、ページ番号のテキストデータとして「２／５」が出力される。
【００８９】
認識プロセスは、ＬＣＤ１６に表示された表示倍率についても同様な処理を行い、図８の例では、表示倍率のテキストデータとして「１００％」が出力される。
【００９０】
認識プロセスは、これらのテキストデータを重畳描画プロセスへ渡し、重畳描画プロセスはこれらのテキストデータから、現在のページ番号が「２ページ目」で表示倍率が「１００％」であると判断する。
【００９１】
なお、文書を表示させているアプリケーションのウィンドウ内におけるページ番号と表示倍率の表示位置と表示領域は、そのアプリケーションに対応付けてシステムファイルとして予めハードディスク２０に記憶しておく。
【００９２】
このページ番号と表示倍率の表示位置と表示領域は、例えば装置のシステム設定モード時に、タッチペン２を用いてそれらの表示データを矩形で囲むことで指定する。この矩形の対角の２点の座標は、アプリケーションのウィンドウの左下の角の座標からの相対座標で表す。
【００９３】
図９は、表示倍率の表示領域を示す点Ａ１と点Ａ２、ページ番号の表示領域を示す点Ｂ１と点Ｂ２、およびアプリケーションのウィンドウの左下の角の点Ｗを示している。点Ｗからの相対座標で表された点Ａ１・点Ａ２・点Ｂ１・点Ｂ２の座標値を、アプリケーションに対応付けてシステムファイルとしてハードディスク２０に記憶する。
【００９４】
そして、ウィンドウマネージャがウィンドウ生成時に、アプリケーション名やウィンドウの大きさと表示位置等の情報とともに、点Ａ１・点Ａ２・点Ｂ１・点Ｂ２の座標値（点Ｗからの相対座標）をウィンドウ属性としてメインメモリ１２に記憶する。
【００９５】
重畳描画プロセスは、重畳描画モードへ切り替わったときに、メインメモリ１２に記憶されたウィンドウ属性を参照して、表示倍率とページ番号の領域を示す点Ａ１・点Ａ２・点Ｂ１・点Ｂ２のＬＣＤ１６の表示領域全体に対する絶対座標を求める。
【００９６】
ウィンドウ属性には、ウィンドウの表示位置であるウィンドウの左上の角の座標と、ウィンドウの横方向の大きさ（Ｘ軸方向の画素数）と縦方向の大きさ（Ｙ軸方向の画素数）が含まれているため、ウィンドウの左下の角（点Ｗ）の座標（０，ウィンドウの縦方向の大きさ）から、それぞれ相対座標を加算して、点Ａ１・点Ａ２・点Ｂ１・点Ｂ２の絶対座標が求まる。
【００９７】
そして、重畳描画プロセスは、認識プロセスに対して、点Ａ１と点Ａ２の絶対座標を渡すことにより表示倍率のテキストデータを得、また点Ｂ１と点Ｂ２の絶対座標を渡すことによりページ番号のテキストデータを得ることができる。
【００９８】
（４．２）文書の表示位置の抽出
本実施形態において、文書を表示させているアプリケーション・プロセスを使用せずに、スクロールされた文書の表示位置を得る方法について説明する。スクロールされた文書の表示位置は、文書表示ウィンドウの右辺に沿って表示された「垂直スクロールバー」と、文書表示ウィンドウの下辺に沿って表示された「水平スクロールバー」と、それらのスクロールバー中に表示された「スクロールボックス」をＬＣＤ１６上に表示させるためのデータ（「表示データ」）から抽出される。
【００９９】
まず、文書の縦方向の表示位置を特定する方法について説明する。
【０１００】
垂直スクロールバー中に表示されたスクロールボックス（図８を参照）の位置は、そのウィンドウに文書を表示させているアプリケーションによって、文書の縦方向の表示位置と対応付けられている。そこで、スクロールボックスの位置から文書の縦方向の表示位置を特定できるようにする。
【０１０１】
スクロールボックスの位置は、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたデータを利用して特定する。ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたビットマップデータから垂直スクロールバー全体を含む矩形領域を切り出し、この矩形領域のデータからスクロールボックスの位置を特定する。
【０１０２】
縦方向のスクロールバーとそれを含むウィンドウの右端部分を図１０に示す。垂直スクロールバーの上辺とこのスクロールバーを含むウィンドウの上辺との間の表示画素数ｎと、垂直スクロールバーの下辺とこのスクロールバーを含むウィンドウの下辺との間の表示画素数ｍは、このウィンドウの大きさに無関係に一定であるため、ウィンドウの大きさと表示位置の情報から、垂直スクロールバー全体を含む矩形領域を切り出すことができる。
【０１０３】
ここで、表示画素数ｎと表示画素数ｍの値を特定する方法について説明する。
【０１０４】
装置のシステム設定モード時に、ユーザにより設定項目の１つである「垂直スクロールバーの位置取得」が選択されると、まずシステムファイル中に予め登録されたアプリケーション名の一覧リストを表示し、この中から１つを選択させる。
【０１０５】
次に、垂直スクロールバーとウィンドウの右上角と右下角を含めた矩形領域をユーザに指定させ、ユーザにより指定されると、この矩形領域に該当するＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたビットマップデータを、メインメモリ１２にコピーする。ユーザによるこの矩形領域の指定例を図１１に示す。
【０１０６】
そして、このビットマップデータについてパターン認識プロセスを使用して、垂直スクロールバーの上辺とウィンドウの上辺との間の表示画素数ｎと、垂直スクロールバーの下辺とウィンドウの下辺との間の表示画素数ｍを調べる。
【０１０７】
パターン認識プロセスは、ウィンドウの外枠線とスクロールボタンのマークを参照情報として垂直スクロールバーの矩形を特定して、垂直スクロールバーの上辺とウィンドウの上辺との間の表示画素数ｎと、垂直スクロールバーの下辺とウィンドウの下辺との間の表示画素数ｍを特定する。
【０１０８】
なお、パターン認識プロセスの認識精度を向上させるためには、図１１に示した矩形領域の表示データを含んだＬＣＤ１６の表示画面のハードコピーを得て、このハードコピーをスキャナで読み込んで得られたビットマップデータを、パターン参照用データとして利用してもよい。
【０１０９】
ＬＣＤ１６の表示画面のハードコピーは、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたビットマップデータをＰＣカード５にコピーし、このＰＣカード５に記憶されたビットマップデータを、パーソナルコンピュータを用いてプリンタに印刷することによって得ることができる。
【０１１０】
このようにして、ウィンドウ内における垂直スクロールバーの表示位置が特定される。得られた表示画素数ｎと表示画素数ｍの値はウィンドウ属性としてメインメモリ１２に記憶しておく。
【０１１１】
次に、パターン認識プロセスを使用して、垂直スクロールバー内のスクロールボックスの位置を特定する。パターン認識プロセスは既に垂直スクロールバーを特定しているため、この中からスクロールボックスを認識する。そして、垂直スクロールバーの上辺とスクロールボックスの上辺との間の表示画素数ｋを調べて、スクロールボックスの位置を特定する。文書の縦方向の表示位置は、スクロールボックスの位置を示す垂直スクロールバーの上辺とスクロールボックスの上辺との間の表示画素数ｋで特定する。
【０１１２】
なお、上記の表示画素数ｎと表示画素数ｍの値を特定するための動作は、デフォルトのウィンドウサイズで実行する。そして、ウィンドウサイズが縦方向に縮小された場合、現在の文書の縦方向の表示位置は、垂直スクロールバーの上辺とスクロールボックスの上辺との間の表示画素数「ｋ」を「ｋ×縮小率（％）／１００」の値で置き換えて、この置き換わった表示画素数ｋで特定する。
【０１１３】
得られた表示画素数ｋの値はウィンドウ属性としてメインメモリ１２に記憶しておく。
【０１１４】
表示画素数ｋは文書の先頭からの表示位置を特定しているため、次に、現在表示されている文書ページの先頭からの相対位置（１つのページにおける先頭からの位置割合：％で表記）を特定する。垂直スクロールバーの縦方向の表示画素数をＬ、表示文書のページ数をＴ、現在表示されているページ番号をＰとすると、文書ページの先頭から現在の表示位置の先頭までの縦方向の相対位置ＲｅｌＰｏｓ（ｖ）［％］は、
【０１１５】
【数１】
【０１１６】
次に、文書の横方向の表示位置を特定する方法について説明する。
【０１１７】
文書の横方向の表示位置は、水平スクロールバー内のスクロールボックスの表示位置により特定する。水平スクロールバーの表示位置と水平スクロールバー内のスクロールボックスの位置については、ＬＣＤ表示コントローラ１５中の表示画面バッファに記憶されたデータを利用して、垂直スクロールバーの表示位置と垂直スクロールバー内のスクロールボックスの位置を特定した上記の処理と同様にして特定する。図１２は、文書の横方向の表示位置を特定する水平スクロールバーの左辺とスクロールボックスの左辺との間の表示画素数ｊを示している。
【０１１８】
なお、ウィンドウサイズがデフォルトのサイズから横方向に縮小された場合、現在の文書の横方向の表示位置は、水平スクロールバーの左辺とスクロールボックスの左辺との間の表示画素数「ｊ」を「ｊ×縮小率（％）／１００」の値で置き換えて、この置き換わった表示画素数ｊで特定する。
【０１１９】
得られた表示画素数ｊの値はウィンドウ属性としてメインメモリ１２に記憶しておく。
【０１２０】
表示画素数ｊを使用して文書ページの左端からの表示位置を特定する。水平スクロールバーの横方向の表示画素数をＷとすると、文書ページの左端から現在の表示位置の左端までの横方向の相対位置ＲｅｌＰｏｓ（ｈ）［％］は、
【０１２１】
【数２】
【０１２２】
このようにして、本実施形態は、文書を表示させているアプリケーション・プロセスを使用せずに、スクロールされた文書の表示位置を特定することができる。
【０１２３】
（５）本実施形態における画像の位置等の管理
本実施形態において、上述のように求められた相対位置ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）に基づいて、画像の位置を管理する方法について説明する。
【０１２４】
まず、文書ページとウィンドウ内での表示領域との関係、および、文書ページと透明スクリーンとの関係について、図１３を用いて説明する。図１３では、文書ページの上部の領域（斜線で図示）が、ＬＣＤ１６の表示画面のウィンドウ内に表示されている。透明スクリーンは、文書の外側にも画像を添付することができるように、ＬＣＤ１６の表示画面領域よりも大きな領域を持つようにしている。図中、点線で囲まれた領域はＬＣＤ１６の表示画面領域を示している。
【０１２５】
本実施形態においては、透明スクリーン上の画像の位置を、文書ページの左上角を原点とした座標で表す。これを、１つの文書ページに対する「透明スクリーン用絶対座標」と呼ぶこととする。これは、「３．２ 意義」で記述した内容と関連されると、画像上の固定点の文書上の固定点に対する位置（画像の添付位置）に相当する。透明スクリーン用絶対座標の座標間隔（座標の最小単位）はＬＣＤ１６の表示画素間隔に等しくとる。
【０１２６】
（５．１）表示された画像を貼り付けた場合
まず、表示文書に対して矩形領域のビットマップデータを重畳させる場合の例として、図４に示したように、アプリケーションＡが表示している文書Ａに写真Ａを重畳させる場合について説明する。
【０１２７】
図１４には、図４の表示画面内容について、表示されている文書ページ全体の領域、文書の表示領域、ＬＣＤ１６の表示画面領域、透明スクリーンの領域が示されている。文書の表示領域には、文書ページの先頭からのデータが表示されている。図のように、透明スクリーン用絶対座標原点の表示座標は（ａ，ｂ）である。
【０１２８】
写真Ａの位置は、左上角の点Ｔ（「３．２ 意義」でいう「画像上の固定点」）で特定できる。この点Ｔの透明スクリーン用絶対座標を（Ｘｓ，Ｙｓ）、表示座標を（Ｘｄ，Ｙｄ）とすると
【０１２９】
【数３】
【数４】
【０１３１】
この絶対座標（Ｘｓ，Ｙｓ）を記録しておけば、再表示時において、文書のスクロールにより絶対座標の原点（ａ，ｂ）が変わってしまったとしても、関係式（３）（４）により写真Ａの表示座標を決定できる。
【０１３２】
このように、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）に基づけば、写真Ａの再表示位置を決定することができるが、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）の値の精度等が原因で、この再表示位置には、画素単位でのずれが生じてしまう場合がある。
【０１３３】
そこで、本実施形態においては、透明スクリーン上の画像を矩形の文書データ領域（ある文書データ（文書に係る表示データ）がＬＣＤ１６上に表示させる領域）と対応づけるため、透明スクリーン上の画像の位置を、その文書データ領域の左上角を原点とした座標でも表す。これを、近隣の文書データ領域に対する「透明スクリーン用相対座標」と呼ぶこととする。
【０１３４】
ここで、図１４の写真Ａとその近隣の文書データ領域との位置関係を求める。写真Ａに対応した文書データ領域を図１５に示す。写真Ａとその近隣の文書データ領域とを対応付けるため、この文書データ領域の左上角の点Ｕに対する点Ｔの透明スクリーン用相対座標を求める。
【０１３５】
そして、点Ｔにおける上記の２種類の座標（透明スクリーン用絶対座標と透明スクリーン用相対座標）と、写真Ａの近隣の文書データ領域の「ビットマップデータ」「その領域の縦方向と横方向の画素数」を、写真Ａの位置情報データとしてメインメモリ１２に記憶しておく。
【０１３６】
その後、「保存」ボタン４３がタッチされると、重畳描画プロセスは写真Ａの表示データ（ビットマップデータ）を、「透明スクリーン用絶対座標」「透明スクリーン用相対座標」と、写真Ａの近隣の文書データ領域の「ビットマップデータ」「その領域の縦方向の画素数と横方向の画素数」に対応させて、さらに、現在の文書のページ番号に対応付けてハードディスク２０に書き込み、保存する。このとき、表示データをページごとに保存するようにすると、表示データの位置の管理が容易になる。
【０１３７】
図１６に、重畳描画プロセスにおける上記の重畳描画モードでの動作フローを示す。重畳描画モードになると、ウィンドウ属性として記憶されたアプリケーション名、アプリケーションのウィンドウの大きさと表示位置、文書のファイル名を参照し（Ｓ１）、システムファイルを参照して、アプリケーション名に対応したページ番号と表示倍率の表示位置と表示領域を得て（Ｓ２）、認識プロセスを利用して、画面の表示データからページ番号と表示倍率のテキストデータを得て（Ｓ３）、画面の表示データからスクロールバー中のスクロールボックスの位置を特定し、文書データの表示位置を特定する（Ｓ４）。次に、ビットマップデータが重畳されると、重畳されたビットマップデータ領域の左上角の点Ｔにおける透明スクリーン用絶対座標と近隣の文書データ領域に対する相対座標を求め（Ｓ５）、点Ｔにおける２種類の座標と、近隣の文書データ領域の表示データ及びその領域の縦方向と横方向の画素数を重畳されたビットマップの位置情報として記憶しておく（Ｓ６）。そして、さらにビットマップデータが重畳されると再びＳ５・Ｓ６の処理を実行し、保存ボタンが押されると、重畳されたビットマップデータを点Ｔにおける２種類の座標と、近隣の文書データ領域の表示データ及びその領域の縦方向の画素数と横方向の画素数に対応させて、さらに、現在の表示ページに対応付けてハードディスク２０に保存して（Ｓ７）、終了する。
【０１３８】
（５．２）手書きされた描画データを取り込んだ場合
次に、文書が表示されている時に透明スクリーンへ手書き描画した場合のＬＣＤ１６の表示例を図１７に示す。図１７では、透明スクリーン領域５１（手書き描画が可能な領域）内にて、「直す」「ＯＫ」の文字や「矢印」「囲み円」「括弧書き」の図形が、文書に対するコメントとして手書き描画されている。
【０１３９】
図１８には、図１７の表示画面内容について、表示されている文書ページ全体の領域、文書の表示領域、ＬＣＤ１６の表示画面領域、透明スクリーンの領域が示されている。文書の表示領域には、文書ページの先頭からのデータが表示されている。図のように、透明スクリーン用絶対座標原点の表示座標は（ｃ，ｄ）である。
【０１４０】
手書きされた画像の位置は、写真のときと同様に、当該画像上の固定点で特定できる。この固定点の透明スクリーン用絶対座標を（Ｘｓ，Ｙｓ）、表示座標を（Ｘｄ，Ｙｄ）とすると
【０１４１】
【数５】
【数６】
【０１４３】
この絶対座標（Ｘｓ，Ｙｓ）を記録しておけば、再表示時において、文書のスクロールにより絶対座標の原点（ｃ，ｄ）が変わってしまったとしても、関係式（５）（６）により画像の表示座標を決定できる。
【０１４４】
重畳描画プロセスは、手書き入力によりタッチパネルコントローラ１７から得た各座標値（表示座標と同じ）を、ＬＣＤ表示コントローラ１５に対してはそのまま渡すが、関係式（５）（６）により、透明スクリーン用絶対座標にも変換し、この変換された座標データをメインメモリ１２に記憶しておく。
【０１４５】
また、本実施形態においては、透明スクリーン用絶対座標値に変換された手書きデータを、それらの位置関係からグループ化し、各グループを１つのオブジェクトとして扱う。図１８に示した手書きデータをオブジェクト化した例を図１９に示す。文字「ＯＫ」と図形「括弧書き」は点線で示す「オブジェクト１」、文字「直す」と図形「矢印」「囲み線」は点線で示す「オブジェクト２」として、オブジェクト化されている。
【０１４６】
図１９はまた、手書き描画オブジェクトと対応付けられた文書データの表示領域（後述）も示している。「オブジェクト１」はその近隣の文書データ領域である「手書き描画オブジェクト１用文書データ領域」、「オブジェクト２」はその近隣の文書データ領域である「手書き描画オブジェクト２用文書データ領域」に対応付けている。
【０１４７】
手書きデータのグループ化（オブジェクト化）は、手書きのストロークデータ（ペンダウンからペンアップまでの座標列）の位置関係から判断する。すなわち、２つのストローク間で最も距離が短くなるような各ストローク中の座標データを見つけ、これらの座標間の距離が所定の値以下であるか否かをチェックする。この距離が所定の値以下の場合には、これらのストロークをグループ化する。
【０１４８】
さて、上述のように、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）に基づけば、手書き描画オブジェクトの表示位置を決定することができるが、写真の場合と同様に、ＲｅｌＰｏｓ（ｖ）・ＲｅｌＰｏｓ（ｈ）の精度等が原因で、この再表示位置には、画素単位でのずれが生じてしまう場合がある。
【０１４９】
そこで、写真の場合と同様に、透明スクリーン上の画像を文書データ領域（矩形領域）と対応づけるため、透明スクリーン上の画像の位置を、その文書データ領域の左上角を原点とした座標でも表す。これは、写真の場合の説明で述べたように、近隣の文書データ領域に対する「透明スクリーン用相対座標」と呼ばれる。
【０１５０】
表示された文書データの中で、手書き描画オブジェクトの一部あるいは全てを含む所定の大きさの矩形領域に含まれる文書データ（ビットマップデータ）を、前記の手書き描画オブジェクトと対応付けてメインメモリ１２に記憶しておく。また、前記の文書データ（ビットマップデータ）とともに、「その矩形領域の縦方向の画素数と横方向の画素数」「その矩形領域の左上角からの透明スクリーン用相対座標」も記憶しておく。なお、図２０のオブジェクト３「ここはよく検討する」のように、文書表示領域にない手書き描画オブジェクトについては、図中の「手書き描画オブジェクト３用文書データ領域」のように、この手書き描画オブジェクトの横にある文書データ領域を対応付ける。
【０１５１】
図１７および図１８に示した手書き描画データが重畳表示された文書が上方へスクロールされた場合における、文書ページ全体の領域、文書の表示領域、ＬＣＤ１６の表示画面領域、透明スクリーンの領域の関係を図２１に示す。
【０１５２】
図２１では、図１７に示した手書き描画データの一部（図１９の手書き描画オブジェクト２）が表示されている。図２１に示した例では、文書表示領域より上側に存在する手書き描画データの表示は行わないようにしている。
【０１５３】
文書のスクロール操作は重畳手書き描画モードがオフの状態で行われるため、重畳手書き描画モードがオンになると、重畳描画プロセスは式（１）の計算を行い、文書ページの現在の表示位置を得る。
【０１５４】
そして、先に保存した手書き描画オブジェクト用文書データ領域の中から現在の表示データ中にあるものを推測し、すなわち、手書き描画オブジェクト２用文書データ領域を推測し、この推測された領域の表示データが現在の表示データ中にあるか否かをチェックする。図２１の場合においては、現在の表示データ中にこの手書き描画オブジェクト２用文書データ領域が含まれていると判断されることになる。
【０１５５】
手書き描画オブジェクト２用文書データ領域の左上角の透明スクリーン用絶対座標と、その矩形領域の縦方向の画素数は既に保存されているため、この矩形領域の左下角（点Ｓ）の透明スクリーン用絶対座標を求めることは可能である。
【０１５６】
そして、文書表示領域の左上点Ｒと点Ｓとの間の縦方向の画素数から、文書表示領域の左上点Ｒの透明スクリーン用絶対座標が求まる。図２１では、この座標を（０，β）で示している。
【０１５７】
その後、図２１の文書表示状態において手書き画像が入力されると、それらの座標データとして点Ｒからの相対座標を基にして、当該手書き画像の透明スクリーン用絶対座標が求まる。すなわち、関係式（５）（６）に従って、タッチパネルコントローラ１７から得たＸ座標値（表示座標）からｃを減算し、Ｙ座標値（表示座標）からｄ−βを減算する。例えば、図２２は、図２１の表示文書中にある表に対して新たに「不要」が手書き描画された場合を示しているが、この手書き画像の透明スクリーン用絶対座標は、そのように求められる。
【０１５８】
上記の例では、スクロール前の画面データとスクロール後の画面データとに表示が重複した文書データがあり、かつ、その重複領域中に手書き描画オブジェクト用文書データ領域のデータが含まれている場合を示したが、その重複領域中に手書き描画オブジェクト用文書データ領域のデータが含まれていない場合や、スクロール前とスクロール後の画面データに重複した文書データがない場合は、本実施形態においては、手書き入力データの座標として近隣の文書データ領域に対する相対座標のみが存在し、１つのページに対する絶対座標は存在しない（この場合、例えば、座標値が１６ビットのデータ型で定義されている場合、ＯｘＦＦＦＦがセットされる）。
【０１５９】
以上では、縦方向のスクロールについて説明したが、横方向のスクロールについても同様である。
【０１６０】
図１８および図２２に示した手書き描画が行われ、ＬＣＤ１６の表示画面の右上にある「保存」ボタン４３が選択されると、重畳描画プロセスは手書き入力データを、「透明スクリーン用絶対座標」「透明スクリーン用相対座標」の２種類の座標と、近隣の文書データ領域の「ビットマップデータ」「その矩形領域の縦方向の画素数と横方向の画素数」に対応させて、さらに、現在の文書のページ番号に対応付けてハードディスク２０に書き込み、保存する。このとき、手書き入力データをページごとに保存するようにすると、手書き入力データの位置の管理が容易になる。
【０１６１】
図２３に、重畳描画プロセスにおける上記の重畳手書き描画モードでの動作フローを示す。重畳描画プロセスにおいて、手書き入力があると、入力座標（表示座標と同じ）間を直線描画し（Ｓ１）、入力座標から近隣の文書データ領域に対する相対座標と透明スクリーン用絶対座標を得て、これらのデータを近隣の文書データ領域の表示データ及びその領域の縦方向と横方向の画素数とともに記憶しておく（Ｓ２）。そして、手書き入力があると再びＳ１・Ｓ２の処理を実行し、保存ボタンが押されると、手書き描画部分の近隣データ領域に対する相対座標と透明スクリーン用絶対座標、及び近隣の文書データ領域の表示データとその領域の縦方向と横方向の画素数を現在の表示ページに対応付けてハードディスク２０に保存して（Ｓ３）、終了する。
【０１６２】
その後、別のページを表示させたり、表示されている文書を閉じたりするために、「手書き」ボタン４５が押されて重畳手書き描画モードが解除され、続いて「切換」ボタン４２が押されて重畳描画モードが解除されると、重畳描画プロセスは表示画面に重畳された仮想的な透明スクリーンを取り除いて、表示画面を透明スクリーンが重畳された前の状態に戻す（退避されたビットマップデータを表示画面バッファ中の元の位置へ戻す）。また、ウィンドウマネージャは、手書き描画表示と「切換」ボタン４２の上部に表示された各種ボタンを消去して、「フリーズ」ボタン４０と矩形領域指定アイコン４１を表示するための再描画を行う。
【０１６３】
（５．３）保存された画像を重畳表示させた場合
次に、文書が表示されている状態にて、重畳描画モードでない場合に重畳描画モードに切り替えて、保存された写真等のビットマップデータを文書データと重畳して再表示させる動作について説明する。
【０１６４】
ＬＣＤ１６に表示された「切換」ボタン４２がタッチされて重畳描画モードに切り替わるときに、重畳描画プロセスは、メインメモリ１２に記憶されたウィンドウ属性であるアプリケーション名・アプリケーションのウィンドウの大きさ・アプリケーションのウィンドウの表示位置・文書のファイル名を参照する。
【０１６５】
そして、文書のページ番号・文書の表示倍率は、上述したように認識プロセスを使用して識別される。また、重畳描画プロセスは、文書を表示させているアプリケーションのウィンドウ内に表示された文書の表示位置を、スクロールボックスの表示位置を利用した上述の方法を用いて、その文書を表示させているアプリケーション・プロセスに問い合わせを行わずに特定する。
【０１６６】
そして、ＬＣＤ１６の表示画面の右上にある「読出」ボタン４４が選択されると、保存したビットマップデータの中で現在のページ番号と対応して管理されたビットマップデータを、文書の表示位置に対応させて表示させる。
【０１６７】
例えば、文書の２ページ目の先頭からの領域が表示されている場合に「読出」ボタン４４が選択されると、重畳描画プロセスは、ビットマップデータの付属情報である透明スクリーン用絶対座標から関係式（３）（４）を使用して表示座標に変換し、この位置にビットマップデータを表示する。すなわち、図４に示した文書の場合には、写真Ａが重畳して再表示される。
【０１６８】
もし、他のページがページの途中から表示されており、そこに重畳表示させるビットマップデータの透明スクリーン用絶対座標が存在していない場合には、スクロールボックスの表示位置から特定される現在の表示データのページ中における表示位置情報を基に、現在の表示データ中に、重畳するビットマップデータに対応付けて保存された文書データ領域が有るか否かをチェックする。
【０１６９】
そして、表示領域中にその文書データ領域が含まれていると判断した場合には、その文書データ領域に対応付けて保存されたビットマップデータをその文書データ領域に対する相対座標位置に重畳表示する。この時、ビットマップデータは、文書データ領域に対する相対座標を表示座標に変換した後に表示する。なお、本実施形態における表示座標は、「１ 本実施形態の構成」で説明したように、ＬＣＤの表示領域の左上の角にある画素を原点としているが、例えば、ウィンドウの表示領域の左上の角にある画素を原点としてもよい。
【０１７０】
（５．４）保存された手書き描画データを重畳表示させた場合
次に、文書が表示されている状態にて、重畳手書き描画モードでない場合に重畳手書き描画モードに切り替えて、保存された手書き描画データを文書データと重畳して表示させる動作について説明する。
【０１７１】
重畳描画モードでない場合にＬＣＤ１６に表示された「切換」ボタン４２がタッチされて重畳描画モードに切り替わるときに、重畳描画プロセスは、メインメモリ１２に記憶されたウィンドウ属性であるアプリケーション名・アプリケーションのウィンドウの大きさ・アプリケーションのウィンドウの表示位置・文書のファイル名を参照する。
【０１７２】
そして、文書のページ番号・文書の表示倍率は、上述したように認識プロセスを使用して識別される。また、重畳描画プロセスは、文書を表示させているアプリケーションのウィンドウ内に表示された文書の表示位置を、スクロールボックスの表示位置を利用した上述の方法を用いて、その文書を表示させているアプリケーション・プロセスに問い合わせを行わずに特定する。
【０１７３】
そして、「手書き」ボタン４５がタッチされて重畳手書き描画モードに切り替わり、ＬＣＤ１６の表示画面の右上にある「読出」ボタン４４が選択されると、保存した手書き描画データの中で現在のページ番号と対応して管理された手書き描画データを、文書の表示位置に対応させて表示させる。
【０１７４】
例えば、文書の２ページ目の先頭からの領域が表示されている場合に「読出」ボタン４４が選択されると、重畳描画プロセスは、手書き入力データ中に透明スクリーン用絶対座標が存在していることを確認し、透明スクリーン用絶対座標から関係式（５）（６）を使用して表示座標に変換し、この位置に手書き描画線を表示する。
【０１７５】
もし、他のページがページの途中から表示されており、そこに重畳表示させる手書きデータの透明スクリーン用絶対座標が存在していない場合には、スクロールボックスの表示位置から特定される現在の表示データのページ中における表示位置情報を基に、現在の表示データ中に、手書き描画オブジェクトと対応付けて保存された文書データ領域が有るか否かをチェックする。
【０１７６】
そして、表示領域中にその文書データ領域が含まれていると判断した場合には、その文書データ領域に対応付けて保存された手書き入力データを、文書データ領域に対する相対座標から表示座標に変換し、この位置に手書き描画線を表示する。なお、本実施形態における表示座標は、「１ 本実施形態の構成」で説明したように、ＬＣＤの表示領域の左上の角にある画素を原点としているが、例えば、ウィンドウの表示領域の左上の角にある画素を原点としてもよい。
【０１７７】
（５．５）ビットマップデータが重畳表示されているときに、文書の表示倍率が変更された場合
次に、文書ページとそれに対応した重畳ビットマップデータが表示されている場合に、文書の表示倍率が変更された場合について説明する。
【０１７８】
重畳描画モードが解除された状態で文書の表示倍率が変更され、「切換」ボタン４２が押されて再び重畳描画モードに切り替わると、重畳描画プロセスは上述した一連のチェック処理を実行して文書の表示倍率を識別する。
【０１７９】
まず、文書データがページの先頭から表示されている場合について説明する。「読出」ボタン４４が押されると、ページの先頭（ページの左上角）と透明スクリーン用絶対座標原点は一致しているため、透明スクリーン用絶対座標に座標変換された重畳ビットマップデータを、原点を中心として文書と同じ倍率の拡大または縮小処理を実行してＬＣＤ１６に表示させる。なお、重畳ビットマップデータの拡大処理として例えばデータの補間処理を使用し、縮小処理として例えばデータの間引き処理を使用する。
【０１８０】
なお、文書データが既に拡大または縮小されて表示されているときにビットマップデータの重畳が行われた場合は、ビットマップデータの重畳後にこのビットマップ領域（矩形領域）の大きさを適宜ユーザが電子ペン２を使用して変更する。この領域変更時の動作は、まず、ユーザが重畳表示しているビットマップ領域内を電子ペン２でタッチすると、この領域の縁を強調線表示する。そして、ユーザがこの矩形の右下角（対角点）を電子ペン２でタッチし、そのままタッチパネル１８上をなぞると、領域の縁である矩形の右下角が電子ペン２の接触位置となるように矩形の大きさを変えて表示する。そして、ユーザが電子ペン２をタッチパネル１８から離す（ペンアップ）と、そのペンアップされた点が重畳表示するビットマップ領域の新たな対角点となるように、ビットマップデータを拡大または縮小して表示する。
【０１８１】
文書データがページの先頭から表示されていない場合には、表示倍率の変更前の表示位置情報を利用することができないため、表示倍率の変更前に表示データに対応付けて保存された重畳ビットマップデータを、表示倍率変更後の表示データと対応付けて表示させることはできない。
【０１８２】
そこで、重畳表示しているビットマップ領域（重畳ビットマップ領域）の左上角（図１５の点Ｔ）における透明スクリーン用絶対座標とその近隣の文書データ領域に対する相対座標、また、重畳ビットマップ領域の近隣の文書データ領域のビットマップデータ及びその領域の縦方向と横方向の画素数を重畳ビットマップの位置情報データとして、文書の表示倍率のデータとともにメインメモリ１２に記憶しておく。
【０１８３】
そして、「保存」ボタン４３がタッチされると、重畳描画プロセスは重畳ビットマップデータを、先にメインメモリ１２に記憶した重畳ビットマップ領域の左上角の透明スクリーン用絶対座標、その近隣の文書データ領域に対する相対座標、重畳ビットマップ領域の近隣の文書データ領域のビットマップデータ及びその領域の縦方向と横方向の画素数、文書の表示倍率に対応させて、さらに、現在の文書のページ番号に対応付けてハードディスク２０に書き込み、保存する。
【０１８４】
そして、その後、これらの保存された重畳ビットマップデータを表示させる場合、その時の文書の表示倍率に対応した表示位置からその倍率に対応したビットマップデータを表示させる。
【０１８５】
（５．６）手書き描画データが重畳表示されているときに、文書の表示倍率が変更された場合
次に、文書ページとそれに対応した手書き描画データが表示されている場合に、文書の表示倍率が変更された場合について説明する。
【０１８６】
重畳手書き描画モード及び重畳描画モードが解除された状態で文書の表示倍率が変更され、「切換」ボタン４２が押されて再び重畳描画モードに切り替わると、重畳描画プロセスは上述した一連のチェック処理を実行して文書の表示倍率を識別する。そして、「手書き」ボタン４５が押されると重畳手書き描画モードとなる。
【０１８７】
まず、文書データがページの先頭から表示されている場合について説明する。「読出」ボタン４４が押されると、ページの先頭（ページの左上角）と透明スクリーン用絶対座標原点は一致しているため、透明スクリーン用絶対座標に座標変換された手書き描画データを、原点を中心として文書と同じ倍率の拡大または縮小処理を実行してＬＣＤ１６に表示させる。なお、手書き描画データの拡大処理として例えば座標データの補間処理を使用し、縮小処理として例えば座標データの間引き処理を使用する。
【０１８８】
なお、文書データが既に拡大または縮小されて表示されているときに手書き入力が行われた場合は、重畳描画プロセスは、手書き入力によりタッチパネルコントローラ１７から得た各座標値（表示座標と同じ）をＬＣＤ表示コントローラ１５へはそのまま渡し、また透明スクリーン用の絶対座標にも変換し、この変換された座標データをメインメモリ１２に記憶しておく。
【０１８９】
文書データがページの先頭から表示されていない場合には、表示倍率の変更前の情報を利用することができないため、表示倍率の変更前に表示データに対応付けて保存された手書き描画データを、表示倍率変更後の表示データと対応付けて表示させることはできない。
【０１９０】
そこで、上記の図１８・図１９・図２０を参照しながら説明した、手書き描画オブジェクトとそのオブジェクトに対応付けられた領域の文書データを用いて手書きデータの表示位置を特定する方法を、表示倍率毎に実行させる。
【０１９１】
そして、手書き入力データを近隣の文書データ領域に対する相対座標として、また透明スクリーン用の絶対座標に変換して保存する場合、文書の表示倍率のデータもいっしょに保存する。そして、その後これらの保存された手書き入力データを再表示させる場合、そのときの文書の表示倍率に対応したものを表示させる。
【０１９２】
（６）本実施形態におけるその他の情報処理
（６．１）背景を白とする情報処理
文書を表示させているアプリケーションの表示ウィンドウの外側で手書き描画が行われた場合、手書き描画データを見やすくするために、その背景を白とする場合について説明する。
【０１９３】
重畳手書き描画モードにある場合、重畳描画プロセスはメインメモリ１２に記憶されたウィンドウ属性を参照することで、文書を表示させているアプリケーションのウィンドウの大きさと表示位置の情報を得ている。従って、タッチパネル１８上で手書き入力され、タッチパネルコントローラ１７から得られる各座標データ（表示座標と同じ）について、文書表示ウィンドウの内側の領域であるか否かを判断する。
【０１９４】
そして、その座標データが文書表示ウィンドウの外側であり、かつタッチパネルコントローラ１７からペンアップ通知データを受信した場合には、文書表示ウィンドウの外側にある各座標データを調べ、それらが全て含まれるような所定の大きさの矩形領域を白色で塗りつぶす描画コマンドを、ＬＣＤ表示コントローラ１５へ出し、続いて、その矩形領域内の座標データ間を直線で結んで描画する描画コマンドを、ＬＣＤ表示コントローラ１５へ出す。
【０１９５】
このようにして、文書表示ウィンドウの外側で手書き描画が行われた場合、その背景部分が白く表示される。この表示例を図２４に示す。図２４では、文書表示ウィンドウ外の手書き描画が可能な領域の背景をグレーで表示させている。
【０１９６】
なお、タッチパネルコントローラ１７から得られる座標データのチェック時に文書表示ウィンドウの外側であると判断された座標データは、座標間の直線描画コマンドに入れてＬＣＤ表示コントローラ１５へ渡すとともに、キューにも入れておく。このキューはプログラム中に定義された配列である。そして、このキューにある座標データから背景を白色で塗りつぶす矩形領域を判断する。
【０１９７】
以上のように、文書を表示させているアプリケーションのウィンドウの外側において、透明スクリーン上に手書き画像が描画された場合、その背景を白とすることで、描画線が見やすくなり、利便性が向上する。なお、ここではウィンドウの外側となったときに「白」としているが、文書の外側となったときに「白」となるようにしてもよい。
【０１９８】
（６．２）Ｗｅｂページに関する情報処理
ＷｅｂブラウザがＷｅｂページを表示させている場合の情報処理について説明する。Ｗｅｂブラウザの表示例を図２５に示す。
【０１９９】
重畳描画モードになるとき、重畳描画プロセスはメインメモリ１２に記憶されたウィンドウ属性の１つである文書を表示させているアプリケーション名を参照して、Ｗｅｂブラウザであるか否かを判断する。
【０２００】
そして、Ｗｅｂブラウザであると判断した場合、Ｗｅｂページの表示属性であるＵＲＬを、ＵＲＬの表示データから識別する。この識別は、先に説明したＡｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）のウィンドウ内の表示データから表示倍率やページ番号を識別する方法と同様に、認識機能によって識別する方法を用いる。
【０２０１】
認識プロセスは、ＬＣＤ表示コントローラ１５中の表示画面バッファにあるビットマップデータの中でＵＲＬを含んだ領域を切り出して文字認識を行い、認識された文字列（テキストデータ）を重畳描画プロセスへ渡す。
【０２０２】
Ｗｅｂページは、ページ番号の代わりにＵＲＬで識別されるため、Ｗｅｂページ上で重畳して描画される写真等のビットマップデータや、重畳手書き描画モード時にＷｅｂページ上で重畳して描画される手書き描画データは、テキストデータとして得たＵＲＬと対応付けて管理される。
【０２０３】
Ｗｅｂページが表示されている場合における重畳描画モード時または重畳手書き描画モード時の情報処理は、ページ識別情報としてページ番号の代わりにＵＲＬを利用する点を除いては、Ａｃｒｏｂａｔ Ｒｅａｄｅｒ（商標）を例にとって説明した前述の情報処理と同様にすることができる。
【０２０４】
（６．３）ウィンドウが複数存在する場合の情報処理
文書を表示しているウィンドウが複数存在する場合には、重畳描画モード時に重畳された写真等のビットマップデータや、重畳手書き描画モード時に入力された手書き描画データは、現在のフォーカスウィンドウ（アクティブになっているウィンドウ）に表示された文書ページに対して管理する。また、重畳データとして保存されたビットマップデータや手書き描画データを再表示する場合も、現在のフォーカスウィンドウに表示された文書ページに対応したものを再表示させる。
【０２０５】
（本発明の実施の形態のその他の例）
（Ａ）電子黒板
先述した実施形態においては、表示装置としてＬＣＤを用いたが、代わりにＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等の大画面ディスプレイを用い、大画面ディスプレイの表示面にタッチパネル等の座標入力手段を付加し、表示面に対して手書き描画することが可能ないわゆる「電子黒板」とすることができる。
【０２０６】
この場合、電子黒板上の文書等の上に手書き描画線等を表示したとき、当該文書に関するアプリケーションの実行プロセスにアクションを起こさせずに、当該手書き描画線等の位置を管理することができるので、会議や教育での利便性が向上する。
【０２０７】
（Ｂ）データ会議システム
先述した実施形態のペン入力装置にＬＡＮ（イーサネット（登録商標））用のＰＣカードを挿入して、ネットワークを介して遠隔地にあるペン入力装置とデータ会議を実行する場合について説明する。なお、会話は電話等の音声通信機器を使用して行うものとする。
【０２０８】
データ会議用に形成されたネットワークに接続している１つの端末の表示画面を、他の全ての端末が共有するための仕様が、ＩＴＵ−Ｔ勧告Ｔ．１２０シリーズとして標準化されている。そこで、先述したペン入力装置を複数個、データ会議用ネットワークに接続し、各ペン入力装置が画面共有機能を実行させることが可能である。
【０２０９】
この場合、各人が各画面上の資料等に重畳表示した手書き描画線等は、他の全員の画面上にも表示されることになるが、当該資料等に関するアプリケーションの実行プロセスにアクションを起こさせずに、当該描画線等の位置を管理することができるので、描画線等の保管が容易になるなど、会議での利便性が向上する。
【０２１０】
また、教育現場において、教師のペン入力装置と生徒のペン入力装置との間で画面共有機能を実行させれば、画面上の教科書等にメモ書き等を添付しながら授業する際に役立つなど、教育での利便性が向上する。
【０２１１】
（Ｃ）サーバ／クライアント型会議システム
ここでは、本発明の実施の形態の例として、サーバに記憶された会議資料文書を複数のクライアントが閲覧・編集しながら会議を行う電子会議システムを例にとって説明する。
【０２１２】
まず、サーバ／クライアントシステムのシステム構成例を図２６に示す。本システムはサーバ６０と、それに接続された大型ディスプレイ装置６１と、各会議参加者が使用するクライアント６２〜６５から構成されており、これらの機器は無線ＬＡＮ（例えばＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ｂ）で接続されている。
【０２１３】
サーバ６０は、例えばＰＣ−ＡＴ（Ｔｈｅ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ ｆｏｒ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ）アーキテクチャ（ＩＢＭ社が１９８４年に発表）のコンピュータであり、そのＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｒｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスに接続されたＰＣＩアダプタボードを介して、無線ＬＡＮ用ＰＣカードが装着されている。なお、図２６中、サーバ６０に接続されたキーボードの図示は省略している。
【０２１４】
大型ディスプレイ装置６１は、例えばＰＤＰの表示面にタッチパネルが付着されており、ＶＧＡケーブルとＲＳ−２３２Ｃケーブルによってサーバ６０と接続され、サーバ６０の表示装置として機能するとともに、サーバ６０のタッチ入力装置として機能する。なお、ＶＧＡケーブルはサーバ６０からＰＤＰへ画面表示信号を出力し、ＲＳ−２３２Ｃケーブルはタッチパネルが検出したタッチ入力座標データをサーバ６０へ入力する。また、サーバ６０は、入力されるタッチ入力座標データをマウス入力データと同様に処理する。
【０２１５】
クライアント６２〜６５は、先述した実施形態のペン入力装置であり、無線ＬＡＮ用ＰＣカードが装着されている。また、クライアント６２〜６５には、電子ペン６６〜６９が付属されている。
【０２１６】
次に、サーバ６０にある画面データがクライアント６２〜６５へ送信され、クライアント６２〜６５からサーバ６０へはユーザの入力データが送信されるサーバ／クライアントソフトウェアの動作について説明する。
【０２１７】
このサーバ／クライアントソフトウェアとして、ＡＴ＆Ｔ社が開発・提供しているＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）を使用した場合について説明する。
【０２１８】
サーバ６０に存在するＶＮＣサーバプロセス（以降、ＶＮＣサーバと記載）は、その起動時に１つの画面バッファを生成し、クライアント６２〜６５に存在するＶＮＣクライアントプロセス（以降、ＶＮＣクライアントと記載）は、この画面バッファにある画面データを、自装置のディスプレイ（ＬＣＤ１６）に表示する。
【０２１９】
ＶＮＣサーバは、画面バッファに同時に複数のクライアントがアタッチできる共有モードか、１つのクライアントのみがアタッチする個別モードのいずれかのモードで動作するように起動されるが、今、ＶＮＣサーバは共有モードで動作している。
【０２２０】
サーバ６０はＶＮＣサーバが生成した画面バッファにある画面データを大型ディスプレイ装置６１にも表示するため、大型ディスプレイ装置６１とクライアント６２〜６５のディスプレイの表示が全て同じとなる。
【０２２１】
ＶＮＣサーバからＶＮＣクライアントへ送信される画面データ、および、ＶＮＣクライアントからＶＮＣサーバへ送信されるユーザの入力データは、ＲＦＢ（Ｒｅｍｏｔｅ Ｆｒａｍｅ Ｂｕｆｆｅｒ）プロトコルを使用して転送される。ＲＦＢプロトコルは、１画面のデータを小領域（矩形）に分割し、さらにこの小領域の画像データを圧縮して送信する機能を持っている。この小領域の最小ブロックはタイルと呼ばれ、１６×１６画素である。
【０２２２】
なお、サーバ６０に存在するＶＮＣサーバプロセスと、クライアント６２〜６５に存在するＶＮＣクライアントプロセスとは、ソケットにより通信できるようになっている。
【０２２３】
ＶＮＣサーバは、ＶＮＣクライアントから受信したユーザの入力データを、キーイベントまたはポインタイベントとしてアプリケーションへ渡す。アプリケーションは、これらのイベントに従った処理を実行し、画面への描画処理を実行する。そして、ＶＮＣサーバはこの更新された画面データをＲＦＢプロトコルを使用してクライアント６２〜６５へ送信し、クライアント６２〜６５は受信した画面データを自装置のディスプレイ（ＬＣＤ１６）に表示する。
【０２２４】
したがって、クライアント６２〜６５あるいは大型ディスプレイ装置６１の表示面上で入力された手書き描画データは、大型ディスプレイ装置６１およびクライアント６２〜６５の全てのディスプレイに表示される。
【０２２５】
本実施形態を会議に用いる場合、各画面上の資料等に添付した手書き描画線等は、他の画面上にも表示されることになるが、当該資料等に関するアプリケーションの実行プロセスにアクションを起こさせずに、当該描画線等の位置を管理することができるので、描画線等の保管が容易になるなど、会議での利便性が向上する。
【０２２６】
【発明の効果】
このように、本発明では、コンテンツの表示位置を表す表示データからコンテンツの表示位置を抽出し、これに基づいてオブジェクトの位置を管理（記録時：描画位置の記録、送信時：描画位置の送信、再表示時：再表示位置の決定、など）することにより、コンテンツに関するアプリケーションの実行プロセスにアクションを起こさせずに、オブジェクトの位置を管理することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の例であるペン入力装置の外部構成を示す。
【図２】本発明の実施の形態の例であるペン入力装置の内部構成を示す。
【図３】本実施形態の操作を説明する図である。
【図４】本実施形態の操作を説明する図である。
【図５】本実施形態の操作を説明する図である。
【図６】本実施形態の操作を説明する図である。
【図７】本実施形態における位置の取り扱いを説明する図である。
【図８】本実施形態における抽出を説明する図である。
【図９】本実施形態における抽出を説明する図である。
【図１０】本実施形態における抽出を説明する図である。
【図１１】本実施形態における抽出を説明する図である。
【図１２】本実施形態における抽出を説明する図である。
【図１３】本実施形態における管理を説明する図である。
【図１４】本実施形態における管理を説明する図である。
【図１５】本実施形態における管理を説明する図である。
【図１６】本実施形態における管理を説明する図である。
【図１７】本実施形態における管理を説明する図である。
【図１８】本実施形態における管理を説明する図である。
【図１９】本実施形態における管理を説明する図である。
【図２０】本実施形態における管理を説明する図である。
【図２１】本実施形態における管理を説明する図である。
【図２２】本実施形態における管理を説明する図である。
【図２３】本実施形態における管理を説明する図である。
【図２４】本実施形態における背景を白とする情報処理を説明する図である。
【図２５】本実施形態におけるＷｅｂページに関する情報処理を説明する図である。
【図２６】サーバ／クライアントシステムのシステム構成例を示す。
【符号の説明】
１ ペン入力装置
２ タッチペン
３ キーボード
４ マウス
５ ＰＣカード
６ 電源ケーブル
１０ ＣＰＵ
１１ クロック
１２ メインメモリ
１３ ＲＯＭ
１４ ＲＴＣ
１５ ＬＣＤ表示コントローラ
１６ ＬＣＤ
１７ タッチパネルコントローラ
１８ タッチパネル
１９ ＨＤコントローラ
２０ ハードディスク
２１ ＵＳＢコントローラ▲１▼
２２ ＵＳＢ・Ｉ／Ｆ▲１▼
２３ ＵＳＢコントローラ▲２▼
２４ ＵＳＢ・Ｉ／Ｆ▲２▼
２５ ＰＣカードコントローラ
２６ カードＩ／Ｆ
２７ システムバス
２８ バッテリ
２９ ＤＣ−ＤＣコンバータ
３０ 充電回路
３１ ＡＣアダプタ
４０ フリーズボタン
４１ 矩形領域指定アイコン
４２ 切換ボタン
４３ 保存ボタン
４４ 読出ボタン
４５ 手書きボタン
４６ 線種ボタン
４７ 矩形ボタン
４８ 消ゴムボタン
５０ フリーズ領域
５１ 重畳描画可能領域（透明スクリーン領域）
５３ アプリケーションＡ
５４ 文書Ａ
５５ アプリケーションＢ
５６ 文書Ｂ
５７ デスクトップ画面
５８ アプリケーションＡのウィンドウ
５９ 透明スクリーン
６０ サーバ
６１ 大型ディスプレイ装置
６２・６３・６４・６５ クライアント
６６・６７・６８・６９ 電子ペン
Claims (8)
- 情報処理装置であって、
前記情報処理装置は、
ディスプレイと、
描画オブジェクトを処理対象のウィンドウ（以下、「トップウィンドウ」と言う。）内に重畳表示する重畳描画プロセスと、前記ディスプレイに表示されているトップウィンドウについて前記ディスプレイにおける前記トップウィンドウの表示位置と前記トップウィンドウの大きさと前記トップウィンドウにて実行されているアプリケーションのアプリケーション名と該アプリケーションにて実行されている文書ファイルのファイル名とを含むウィンドウに係る情報をウィンドウ属性情報として取得するウィンドウマネージャと、前記トップウィンドウのビットマップ画像を取得し該ビットマップ画像に基づいて前記トップウィンドウ内に表示されている文書データの前記文書ファイルにおける位置を文書データの表示位置として取得し該取得した文書データの表示位置を文書データ表示位置情報として前記重畳描画プロセスに渡す認識プロセスと、を制御する制御手段と、
前記描画オブジェクトを、トップウィンドウ生成時、トップウィンドウ移動時、又はトップウィンドウの大きさの変更時に、前記文書データ表示位置情報を含む前記ウィンドウ属性情報（以下、「記憶時ウィンドウ属性情報」と言う。）と対応付けて記憶する記憶手段と、
を備え、
前記重畳描画プロセスは、描画オブジェクトの表示の指示を受け付けると、前記ウィンドウマネージャ及び前記認識プロセスから、前記指示を受け付けた時のトップウィンドウ（以下、「指示時ウィンドウ」と言う。）のウィンドウ属性情報（以下、「指示時ウィンドウ属性情報」と言う。）を取得し、
前記指示時ウィンドウ属性情報に基づいて、前記記憶手段から前記指示時ウィンドウに重畳表示すべき描画オブジェクトと該描画オブジェクトに対応付けられた前記記憶時ウイィンドウ属性情報を読み出し、
前記指示時ウィンドウ属性情報と前記記憶時ウィンドウ属性情報とに基づいて、前記読み出した描画オブジェクトを、前記記憶時ウィンドウ属性情報を記憶した時のトップウィンドウ（以下、「記憶時ウィンドウ」と言う。）における表示位置と対応する位置となる指示時ウィンドウにおける位置に、重畳して表示すること
を特徴とする情報処理装置。 - 前記認識プロセスにおいて取得される前記文書データの表示位置は、トップウィンドウにおける文書のスクロール位置に対応し、
前記文書データのスクロール位置は、前記トップウィンドウのビットマップ画像から抽出したスクロールバーにおける1の端部からスクロールボックスまでの画素数と他の端部からスクロールボックスまでの画素数とに基づいて決定される
ことを特徴とする請求項１に記載の情報処理装置。 - 前記重畳描画プロセスは、
記憶時ウィンドウ属性情報に含まれるトップウィンドウの大きさと指示時ウィンドウ属性情報に含まれるトップウィンドウの大きさ（以下、「指示時ウィンドウの大きさ」と言う。）とに基づいて記憶時ウィンドウ属性情報を記憶した時と指示時ウィンドウ属性情報を取得した時におけるトップウィンドウの大きさの変化の割合を取得し、
該取得した変化の割合に基づいて前記記憶時ウィンドウ属性情報に含まれる文書データ表示位置情報を変更し、
前記描画オブジェクトを前記変更された記憶時ウィンドウにおける表示位置と対応する位置関係となる指示時ウィンドウにおける位置に重畳して表示すること
を特徴とする請求項１又は２に記載の情報処理装置。 - 前記記憶時ウィンドウ属性情報は、さらに、トップウィンドウ内における文書のページ番号と文書の表示倍率とを有し、
前記認識プロセスは、さらに、
前記記憶手段を参照して、前記ビットマップ画像からページ番号と表示倍率が含まれる領域を抽出し、
該抽出した領域からページ番号と表示倍率とを認識し、
該認識したページ番号と表示倍率とを表示属性として、前記描画オブジェクトと対応付けて前記記憶手段に記憶する
ことを特徴とする請求項１又は２に記載の情報処理装置。 - ディスプレイと、
描画オブジェクトを処理対象のウィンドウ（以下、「トップウィンドウ」と言う。）内に重畳表示する重畳描画プロセスと、前記ディスプレイに表示されているトップウィンドウについて前記ディスプレイにおける前記トップウィンドウの表示位置と前記トップウィンドウの大きさと前記トップウィンドウにて実行されているアプリケーションのアプリケーション名と該アプリケーションにて実行されている文書ファイルのファイル名とを含むウィンドウに係る情報をウィンドウ属性情報として取得するウィンドウマネージャと、前記トップウィンドウのビットマップ画像を取得し該ビットマップ画像に基づいて前記トップウィンドウ内に表示されている文書データの前記文書ファイルにおける位置を文書データの表示位置として取得し該取得した文書データの表示位置を文書データ表示位置情報として前記重畳描画プロセスに渡す認識プロセスと、を制御する制御手段と、
前記描画オブジェクトを、トップウィンドウ生成時、トップウィンドウ移動時、又はトップウィンドウの大きさの変更時に、前記文書データ表示位置情報を含む前記ウィンドウ属性情報（以下、「記憶時ウィンドウ属性情報」と言う。）と対応付けて記憶する記憶手段と、
を備えた情報処理装置における情報処理方法であって、
前記重畳描画プロセスは、描画オブジェクトの表示の指示を受け付けると、前記ウィンドウマネージャ及び前記認識プロセスから、前記指示を受け付けた時のトップウィンドウ（以下、「指示時ウィンドウ」と言う。）のウィンドウ属性情報（以下、「指示時ウィンドウ属性情報」と言う。）を取得し、
前記指示時ウィンドウ属性情報に基づいて、前記記憶手段から前記指示時ウィンドウに重畳表示すべき描画オブジェクトと該描画オブジェクトに対応付けられた前記記憶時ウイィンドウ属性情報を読み出し、
前記指示時ウィンドウ属性情報と前記記憶時ウィンドウ属性情報とに基づいて、前記読み出した描画オブジェクトを、前記記憶時ウィンドウ属性情報を記憶した時のトップウィンドウ（以下、「記憶時ウィンドウ」と言う。）における表示位置と対応する位置となる指示時ウィンドウにおける位置に、重畳して表示すること
を特徴とする情報処理方法。 - 前記認識プロセスにおいて取得される前記文書データの表示位置は、トップウィンドウにおける文書のスクロール位置に対応し、
前記文書データのスクロール位置は、前記トップウィンドウのビットマップ画像から抽出したスクロールバーにおける1の端部からスクロールボックスまでの画素数と他の端部からスクロールボックスまでの画素数とに基づいて決定される
ことを特徴とする請求項５に記載の情報処理方法。 - 前記重畳描画プロセスは、
記憶時ウィンドウ属性情報に含まれるトップウィンドウの大きさと指示時ウィンドウ属性情報に含まれるトップウィンドウの大きさとに基づいて記憶時ウィンドウ属性情報を記憶した時と指示時ウィンドウ属性情報を取得した時におけるトップウィンドウの大きさの変化の割合を取得し、
該取得した変化の割合に基づいて前記記憶時ウィンドウ属性情報に含まれる文書データ表示位置情報を変更し、
前記描画オブジェクトを前記変更された記憶時ウィンドウにおける表示位置と対応する位置関係となる指示時ウィンドウにおける位置に重畳して表示すること
を特徴とする請求項５又は６に記載の情報処理方法。 - 前記記憶時ウィンドウ属性情報は、さらに、トップウィンドウ内における文書のページ番号と文書の表示倍率とを有し、
前記認識プロセスはさらに、
前記記憶手段を参照して、前記ビットマップ画像からページ番号と表示倍率が含まれる領域を抽出し、
該抽出した領域からページ番号と表示倍率とを認識し、
該認識したページ番号と表示倍率とを表示属性として、前記描画オブジェクトと対応付けて前記記憶手段に記憶する
ことを特徴とする請求項５又は６に記載の情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002163050A JP4021249B2 (ja) | 2002-06-04 | 2002-06-04 | 情報処理装置及び情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002163050A JP4021249B2 (ja) | 2002-06-04 | 2002-06-04 | 情報処理装置及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004013318A JP2004013318A (ja) | 2004-01-15 |
| JP4021249B2 true JP4021249B2 (ja) | 2007-12-12 |
Family
ID=30431628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002163050A Expired - Fee Related JP4021249B2 (ja) | 2002-06-04 | 2002-06-04 | 情報処理装置及び情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4021249B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100792284B1 (ko) | 2004-03-10 | 2008-01-07 | 삼성전자주식회사 | 이미지장치의 드라이버 프로그램에 대한 유저 인터페이스설정방법 및 트랜스패런트 기능을 적용한 이미지 처리시스템 |
| JP4659674B2 (ja) * | 2006-05-19 | 2011-03-30 | 株式会社リコー | 文書位置補正方法およびその方法をコンピュータに実行させるプログラム |
| JP4873369B2 (ja) * | 2007-02-05 | 2012-02-08 | 住友電気工業株式会社 | 画像表示／処理用端末、システム、プログラム、及び、記憶媒体 |
| JP2008234202A (ja) * | 2007-03-19 | 2008-10-02 | Ricoh Co Ltd | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
| JP5009719B2 (ja) * | 2007-08-23 | 2012-08-22 | 株式会社リコー | スクロール表示装置、情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
| JP4626775B2 (ja) * | 2007-10-16 | 2011-02-09 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| JP5228590B2 (ja) * | 2008-04-10 | 2013-07-03 | 株式会社リコー | 座標決定方法及び情報処理装置 |
| JP2010102666A (ja) * | 2008-10-27 | 2010-05-06 | Business Search Technologies Corp | テキストまたは画像の範囲指定方法および処理方法 |
| JP5201025B2 (ja) * | 2009-03-12 | 2013-06-05 | 株式会社リコー | 文書表示装置、文書表示方法およびそのプログラムならびに記憶媒体 |
| JP5906713B2 (ja) * | 2011-12-19 | 2016-04-20 | 株式会社リコー | 表示装置、表示方法、プログラム |
| WO2013183222A1 (ja) * | 2012-06-06 | 2013-12-12 | ソニー株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
| JP5757966B2 (ja) * | 2013-01-31 | 2015-08-05 | シャープ株式会社 | 入出力装置 |
| JP6476732B2 (ja) * | 2014-10-21 | 2019-03-06 | コニカミノルタ株式会社 | 文書処理装置、その制御方法、およびプログラム |
| WO2019092920A1 (ja) | 2017-11-09 | 2019-05-16 | 株式会社ＴｒａｎｓＲｅｃｏｇ | 付加情報重畳プログラム、付加情報重畳方法、及び付加情報重畳装置 |
| JP2022145191A (ja) | 2021-03-19 | 2022-10-03 | 株式会社リコー | 表示装置、プログラム、表示方法、表示システム |
-
2002
- 2002-06-04 JP JP2002163050A patent/JP4021249B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004013318A (ja) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10572779B2 (en) | Electronic information board apparatus, information processing method, and computer program product | |
| US9335860B2 (en) | Information processing apparatus and information processing system | |
| JP4021249B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP5240653B2 (ja) | 電子ペン・システム、端末装置及びそのプログラム | |
| US9898243B2 (en) | Information processing apparatus, program, information processing system, and information processing method | |
| WO2016121401A1 (en) | Information processing apparatus and program | |
| US10013156B2 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
| US9177405B2 (en) | Image processing apparatus, computer program product, and image processing system | |
| US20180082663A1 (en) | Information processing apparatus, image displaying method, and non-transitory computer readable medium | |
| US10725653B2 (en) | Image processing device, image processing system, and image processing method | |
| US10565299B2 (en) | Electronic apparatus and display control method | |
| JP4087203B2 (ja) | 画面データ管理装置、画面データ管理システム、画面データ管理方法、および画面データ管理プログラム | |
| US20020154120A1 (en) | Annotation and application control of general purpose computer documents using annotation peripheral | |
| JP2016200860A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| US7280693B2 (en) | Document information input apparatus, document information input method, document information input program and recording medium | |
| JP5408513B2 (ja) | 電子ペン・システム及びそのプログラム | |
| JP3169604U (ja) | 端末装置及び電子ペンシステム | |
| JP5408511B2 (ja) | 電子ペンシステム、コンピュータ装置及びそのプログラム | |
| US8171082B2 (en) | Information processing system, information processing method and computer readable medium | |
| TWI828088B (zh) | 用於視訊會議或視訊教學的電子裝置以及顯示方法 | |
| JP5899819B2 (ja) | 学習システム及びプログラム | |
| JP2013105376A (ja) | 学習システム、コンピュータ装置及びプログラム | |
| WO2016121403A1 (en) | Information processing apparatus, image processing system, and program | |
| JP5366034B2 (ja) | 電子ペン・システム、コンピュータ装置及びそのプログラム | |
| JP2014006579A (ja) | 電子ペンシステム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070926 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |