JP4560312B2 - 紙文書情報操作システムおよび紙文書情報操作方法 - Google Patents

Description

本発明は、無線ＩＣチップを埋め込んだ紙文書情報操作システムおよび紙文書情報操作方法に関するものである。

従来、紙などの実世界の対象物にコード情報を埋め込み、カメラなどの撮像手段によりコード情報およびペンなどの操作オブジェクトの動きを検出し、他の情報端末装置へ対応する電子的実体であるデータを移動したりする手法としては、たとえば特許文献１に示された方法がある。

この方法では、図８に示すように、カメラによりペン操作を監視し、ペンの物理オブジェクトへの指示動作を検知した際に物理オブジェクトに添付されているビジュアルマーカー情報を上記カメラにより認識して、あらかじめネット上のサーバに登録されているペンＩＤ情報と物理オブジェクトのデジタル情報をリンク、同一ペンが他の情報端末画面にタッチされたなどの処理動作をカメラで監視し、処理動作を検知した際に対象となる情報端末へリンク情報を元にデジタルオブジェクトデータを送出して、前記情報端末が前記データを受信、実体であるデジタルオブジェクト情報を受け渡すことにより、操作者が実際に実世界のオブジェクトを操作する感覚で所望の情報操作を行うことを実現している。

また、無線通信機能を有するＩＣチップ（ＲＦＩＤも含む）を用いた情報操作には、例えば特許文献２に示された方法がある。この方法では、ＩＣチップに印刷された情報や関連するマルチメディア情報等の参照情報を記憶させ、リーダ装置を通してその情報を取得、その情報に応じて表示や印刷などの各サービスを提供する。

ここで、特許文献１の従来例の対象物の情報埋め込みに用いているビジュアルマーカーの代わりに、特許文献２の従来例のＩＣチップを用い、専用の読み取り装置をつかうことにより上記実世界指向のインターフェースへ用いることも可能である。

特開２００１−１７５３７４号公報（図８参照） 特開２０００−２８５２０３号公報

しかしながら、図８に示す上記特許文献１に記載の従来の方法（ビジュアルマーカーの代わりに上記特許文献２の従来例の無線ＩＣチップを用いて、専用リーダ装置の読み取り動作をカメラにより対象物の情報を認識する場合も含む）では、カメラによる撮影範囲内の操作が対象であるため、カメラ配置によっては手元が障害物で隠れたりした場合に動作検出が困難になったり、照明などの環境に大きく影響を受けるなど安定性に関する問題点があった。

また、基本的に動作検出が画像認識技術に大きく依存しているため処理速度の高速化が困難であるという問題点があった。

一方、本願と同一の出願人および発明者による未公開の特許出願（特願２００３−３１１６９６）には、紙文書の紙面の所定の位置に所望の情報（少なくとも、紙文書に対応する電子的実体に情報処理装置から参照するためのドキュメント情報及び印刷情報など）をコード化して光学的に読み取り可能な形式で埋め込んで印刷された紙文書（例えば、バーコードを埋め込んで印刷された紙文書）を用いた、紙文書情報操作システムが開示されている。この紙文書情報操作システムは、紙面コード情報を読み取る手段を座標指示部材（例えば、座標指示用スタイラスペン）上に有し、画面座標指示情報と光学的に読み取った紙面コード情報とに対応して、紙文書に対応する電子的実体上のデジタル情報に対し所定の操作を行う制御手段とを設けたことを特徴としている。

しかしながら、特許出願（特願２００３−３１１６９６）に記載された紙文書情報操作システムは、画像処理をコードのデコードのみとし、さらに近接撮影により環境光の影響を大幅に低減しているため、従来より高速かつ安定した動作を実現しているが、コードの読み取りの際のペン姿勢による画像認識の不安定性が依然としてあるなど、安定動作の点において問題が残る。

本発明は上記問題点に鑑みてなされたもので、追従性に優れ、安定した操作環境を実現するとともに、操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作システムおよび紙文書情報操作方法を提供することを目的としている。

上述した課題を解決し、目的を達成するために、本発明の紙文書情報操作システムは、情報処理装置から認知可能なデジタル空間に電子的実体を有する紙文書と、画像を表示する画像表示手段と、前記画像表示手段が有する画面の所定の位置が指示された際に、前記画面に対する指示された位置の座標である画面指示座標情報を検出する座標検出手段と、を備えた紙文書情報操作システムにおいて、前記紙文書は、目視可能な紙面上の所定の位置に、前記電子的実体への参照のためのドキュメント情報を少なくとも記憶する記憶手段および無線通信手段を有するＩＣチップを備え、前記ＩＣチップと無線通信するための送受信手段を先端部またはその近傍に有し、前記画面の所望の位置を指示する座標指示手段と、前記送受信手段により取得された前記ドキュメント情報および前記ドキュメント情報の取得の際の前記画面指示座標情報に基づいて、前記画面上に置かれた前記紙面と前記画面との位置関係に関する情報である位置関係情報を生成する位置関係生成手段と、前記位置関係生成手段により生成された前記位置関係情報に基づいて前記ドキュメント情報により参照された前記電子的実体であるデジタル情報を前記画面上の所定の位置に表示するとともに、前記画面指示座標情報に基づいて前記デジタル情報に対して所定の操作制御を実行する操作制御手段と、を備えたことを特徴とする。

前記記載の発明によれば、紙文書の紙面上の所定の位置にドキュメント情報や印刷情報などの紙面情報の記憶手段として無線ＩＣチップを備え、座標指示手段の先端部に紙面情報を読み取るための送受信手段を実装しているので、その検出範囲内にＩＣチップが存在するときにドキュメント情報を読み取ることができる。そして、送受信手段の検出範囲を狭くすることにより、実質的に紙文書の画面上での位置を拘束することができるので、カメラを用いた画像取得情報を一切用いずに、紙面の位置をシステムに対して既知のものにすることが可能になる。

つまり、前記記載の発明によれば、紙文書をその操作対象となる紙面部が画像表示手段の所定の位置になるように画面前面にセットし、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の座標検出手段からの信号の有無にしたがって操作動作を制御することが可能になる。

よって、前記記載の発明によれば、追従性に優れ、安定した操作環境が実現可能になるとともに、操作者にわかりやすく自然な操作環境が実現可能になる。

また、本発明の紙文書情報操作システムは、前記記載の紙文書情報操作システムにおいて、前記画像表示手段は、前記紙文書より表示面積が大きい前記画面を有し、前記ＩＣチップは、前記ドキュメント情報、前記紙面に対する前記ＩＣチップの埋め込み位置の座標である紙面ＩＣチップ座標情報、紙面サイズ情報および参照情報を少なくとも記憶し、前記位置関係生成手段は、前記送受信手段により取得された前記ドキュメント情報、前記紙面ＩＣチップ座標情報および前記画面指示座標情報に基づいて、前記位置関係情報を生成し、さらに、前記位置関係生成手段により生成された前記位置関係情報に基づいて、前記デジタル情報を、概略等倍で、かつ前記デジタル情報上のオブジェクトの位置と対応する前記紙面に記載されている情報の位置とがほぼ対応した形で、前記画面上に表示する表示制御手段を備えたことを特徴とする。

また、前記記載の発明によれば、追従性に優れ、安定した操作環境が実現可能になるとともに、操作者にわかりやすく自然な操作環境が実現可能になる。

また、本発明の紙文書情報操作システムは、前記記載の紙文書情報操作システムにおいて、さらに、前記所定の操作を指示し、前記送受信手段による前記ＩＣチップに記憶された情報の読み取りの有無により操作ステップが可変になるように制御する、前記座標指示手段上に設けられた操作指示制御手段を備えたことを特徴とする。

また、前記記載の発明によれば、従来からの情報操作を妨げることなく操作者の意図した操作を指示することが可能で、本システムを搭載した情報処理装置の操作性を向上させることが可能になる。

また、前記記載の発明は、さらに、前記所定の操作の状態を識別するための操作状態識別情報を前記画面上における操作者が視認可能な位置に表示する操作状態表示手段を備えたことを特徴とする。

また、前記記載の発明によれば、操作者による現在のシステム状態の確認が可能で、本システムを搭載した情報処理装置の操作性を向上させることが可能になる。

また、本発明の紙文書情報操作方法は、情報処理装置から認知可能なデジタル空間に電子的実体を有し、目視可能な紙面上の所定の位置に、前記電子的実体への参照のためのドキュメント情報を少なくとも記憶する記憶手段および無線通信手段を有するＩＣチップを備えた紙文書と、画像を表示する画像表示手段と、前記ＩＣチップと無線通信するための送受信手段を先端部またはその近傍に有し、前記画面の所望の位置を指示する座標指示手段と、前記画像表示手段が有する画面の所定の位置が前記座標指示手段により指示された際に、前記画面に対する指示された位置の座標である画面指示座標情報を検出する座標検出手段と、を備えた紙文書情報操作システムを用いて実行される紙文書情報操作方法において、前記送受信手段により取得された前記ドキュメント情報および前記ドキュメント情報の取得の際の前記画面指示座標情報に基づいて、前記画面上に置かれた前記紙面と前記画面との位置関係に関する情報である位置関係情報を生成する位置関係生成ステップと、前記位置関係生成ステップにより生成された前記位置関係情報に基づいて、前記ドキュメント情報により参照された前記電子的実体であるデジタル情報を前記画面上の所定の位置に表示する表示制御ステップと、前記画面指示座標情報に基づいて前記デジタル情報に対して所定の操作制御を実行する操作制御ステップと、前記操作制御ステップにより実行された前記所定の操作が終了したことを通知する通知ステップと、を含むことを特徴とする。

前記記載の発明によれば、追従性に優れ、安定した操作環境が実現可能になるとともに、操作者にわかりやすく自然な操作環境が実現可能になる。

また、本発明の紙文書情報操作方法は、前記記載の紙文書情報操作方法において、さらに、前記所定の操作を指示し、前記送受信手段による前記ＩＣチップに記憶された情報の読み取りの有無により操作ステップが可変になるように制御する、前記座標指示手段上に設けられた操作指示制御手段を備え、前記操作指示制御手段の状態を検知する検知ステップを含むことを特徴とする。

前記記載の発明によれば、操作者の意図した操作を指示することが可能で、本方法を適用した情報処理装置の操作性を向上させることが可能である。

本発明によれば、情報処理装置から認知可能なデジタル空間に電子的実体を有する紙文書と、画像を表示する画像表示手段と、画像表示手段が有する画面の所定の位置が指示された際に、画面に対する指示された位置の座標である画面指示座標情報を検出する座標検出手段と、を備えた紙文書情報操作システムにおいて、紙文書は、目視可能な紙面上の所定の位置に、電子的実体への参照のためのドキュメント情報を少なくとも記憶する記憶手段および無線通信手段を有するＩＣチップを備え、ＩＣチップと無線通信するための送受信手段を先端部またはその近傍に有し、画面の所望の位置を指示する座標指示手段と、送受信手段により取得されたドキュメント情報およびドキュメント情報の取得の際の画面指示座標情報に基づいて、画面上に置かれた紙面と画面との位置関係に関する情報である位置関係情報を生成する位置関係生成手段と、関連付情報生成手段により生成された位置関係情報に基づいてドキュメント情報により参照された電子的実体であるデジタル情報を画面上の所定の位置に表示するとともに、画面指示座標情報に基づいてデジタル情報に対して所定の操作制御を実行する操作制御手段と、を備え、紙文書をその操作対象となる紙面部が画像表示手段の所定の位置になるように画面前面にセットし、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の座標検出手段からの信号の有無にしたがって操作動作を制御することにより、追従性に優れ、安定した操作環境が実現可能になるとともに、操作者にわかりやすく自然な操作環境が実現可能になる紙文書情報操作システムを提供するという効果を奏する。

また、本発明によれば、送受信手段の検出範囲を狭くすることにより、実質的に紙文書の画面上での位置を拘束することができるので、カメラを用いた画像取得情報を一切用いずに、紙面の位置をシステムに対して既知のものにすることが可能になるという効果を奏する。

また、本発明によれば、画像表示手段は、紙文書より表示面積が大きい画面を有し、ＩＣチップは、ドキュメント情報、紙面に対するＩＣチップの埋め込み位置の座標である紙面ＩＣチップ座標情報、紙面サイズ情報および参照情報を少なくとも記憶し、位置関係生成手段は、送受信手段により取得されたドキュメント情報、紙面ＩＣチップ座標情報および画面指示座標情報に基づいて、位置関係情報を生成し、さらに、位置関係生成手段により生成された位置関係情報に基づいて、デジタル情報を、概略等倍で、かつデジタル情報上のオブジェクトの位置と対応する紙面に記載されている情報の位置とがほぼ対応した形で、画面上に表示する表示制御手段を備えたことにより、追従性に優れ、安定した操作環境が実現可能になるとともに、操作者にわかりやすく自然な操作環境が実現可能になるという効果を奏する。

また、本発明によれば、さらに、所定の操作を指示し、送受信手段によるＩＣチップに記憶された情報の読み取りの有無により操作ステップが可変になるように制御する、座標指示手段上に設けられた操作指示制御手段を備えたことにより、従来からの情報操作を妨げることなく操作者の意図した操作を指示することが可能で、本システムを搭載した情報処理装置の操作性を向上させることが可能になるという効果を奏する。

また、本発明によれば、さらに、所定の操作の状態を識別するための操作状態識別情報を画面上における操作者が視認可能な位置に表示する操作状態表示手段を備えたことにより、操作者による現在のシステム状態の確認が可能で、本システムを搭載した情報処理装置の操作性を向上させることが可能になるという効果を奏する。

また、本発明によれば、情報処理装置から認知可能なデジタル空間に電子的実体を有し、目視可能な紙面上の所定の位置に、電子的実体への参照のためのドキュメント情報を少なくとも記憶する記憶手段および無線通信手段を有するＩＣチップを備えた紙文書と、画像を表示する画像表示手段と、ＩＣチップと無線通信するための送受信手段を先端部またはその近傍に有し、画面の所望の位置を指示する座標指示手段と、画像表示手段が有する画面の所定の位置が座標指示手段により指示された際に、画面に対する指示された位置の座標である画面指示座標情報を検出する座標検出手段と、を備えた紙文書情報操作システムを用いて実行される紙文書情報操作方法において、送受信手段により取得されたドキュメント情報およびドキュメント情報の取得の際の画面指示座標情報に基づいて、画面上に置かれた紙面と画面との位置関係に関する情報である位置関係情報を生成する位置関係生成ステップと、位置関係生成ステップにより生成された位置関係情報に基づいて、ドキュメント情報により参照された電子的実体であるデジタル情報を画面上の所定の位置に表示する表示制御ステップと、画面指示座標情報に基づいてデジタル情報に対して所定の操作制御を実行する操作制御ステップと、操作制御ステップにより実行された所定の操作が終了したことを通知する通知ステップと、を含むことにより、追従性に優れ、安定した操作環境が実現可能になるとともに、操作者にわかりやすく自然な操作環境が実現可能になる紙文書情報操作方法を提供するという効果を奏する。

また、本発明によれば、さらに、所定の操作を指示し、送受信手段によるＩＣチップに記憶された情報の読み取りの有無により操作ステップが可変になるように制御する、座標指示手段上に設けられた操作指示制御手段を備え、操作指示制御手段の状態を検知する検知ステップを含むことにより、操作者の意図した操作を指示することが可能で、本方法を適用した情報処理装置の操作性を向上させることが可能であるという効果を奏する。

以下に、本発明にかかる紙文書情報操作システムおよび紙文書情報操作方法の最良な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態により限定されるものではない。

図１は、本発明の実施の形態にかかる紙文書情報操作システムの構成を示すブロック図である。また、図２は、図１における本体部分の構成を示す説明図であり、図３は、図１における座標指示部材の構成を示す説明図である。

本発明による紙文書情報操作システムは、図１および図２に示すように、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）のディスプレイなどの表示部１を有するＰＣ（パーソナルコンピュータ）などのコンピュータに代表される情報処理装置（以下、ＰＣ本体と記述する）９に、操作者が指示する座標指示部材３と、座標指示部材３を介し操作者と対向する表示部１前面の所定の位置に設置される位置検出ユニットを搭載した座標検出部８（位置検出ユニット８）と、を備えている。

また、座標検出部８には、図１および図２に示すような座標指示部材３からの超音波信号および所定の光信号を受信するための光信号受信部６およびマイクロフォンによる超音波受信器４、５（受信手段に対応した受信回路を含む）と、座標位置の演算などを含む演算処理と各モジュールを制御する本体制御部７、演算結果や演算用データなどを記憶するメモリ１６を備えている。

また、取り扱う紙文書８には、図４および図５に示すように、紙面上の所定の位置に印刷された所望のマーク１９で指示された位置（ここでは三角形の頂点で挟まれた部位）に無線通信手段を有するＩＣチップ１２が埋め込まれており、ＩＣチップ１２上の記憶手段に紙文書および本システム情報の対応電子的実体への参照のための所望の情報を記憶させておく。

また、座標指示部材３は、図３に示すように、座標指示部材３である座標入力用スタイラスペンの先端部位２５にＩＣチップ１２内の情報を読み取るためのアンテナ部を設置した送受信部２６、位置検出用のトリガー信号として用いる光信号を照射する赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光素子を有する光信号送信部（ＬＥＤ素子）２４と、ほぼ全周囲に所定の超音波信号を送信する超音波発信素子（スピーカ部）２３を有し、所定の信号を光信号および超音波信号に重畳する各送信部（光信号用：２４、超音波信号用：２２）と、ペン３で取得した情報をシステム側とやり取りするための無線通信部２９（たとえばＢｌｕｅｔｏｏｔｈ（登録商標）やＩｒＤＡ（ＩｎｆｒａＲｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）などの既存の小型無線通信モジュール）と、各モジュールを制御するためのペン制御部２０と、駆動回路２１と、電源モジュール２８と、からなる。

つぎに、本発明による位置検出動作について説明する。本発明では、表示部１の表示面２の所望の座標を指示すると、座標指示部材（入力ペン）３の先端部分２５に設けた感圧スイッチ３０（図示せず）により指示動作を検出して、ペン制御部２０に通知後、ペン制御部２０にて各駆動回路を介して発光素子であるＬＥＤ素子２４および超音波発信素子２３を駆動し、光信号および超音波信号を座標指示部材３の先端部２５から所定の方向（本実施例ではほぼ全周）に向け送信する。位置検出ユニット８においては光信号受信部６により光信号を検出したときに本体制御部７内部の時間計測回路をリセットし、前記マイクロフォン４、５により所定の超音波信号を受信した際の前記時間計測回路から得られる到達時間情報から音速データを基に超音波信号のそれぞれのマイクロフォンまでの伝播距離を算出、三角測量の原理から指示点の位置を算出、位置検出ユニット８のセッティング情報（設計情報もしくは実際にはキャリブレーション作業から取得した情報）から画面座標に変換することにより表示画面内の指示位置情報を得る。

本システムで使用する紙文書には、図４及び図５に示すように、所定の情報を記憶させてある無線通信機能つきＩＣチップ１２がその位置を示す所定のマーク１９が印刷された状態で埋め込まれている。記憶させる情報としては、図６に示すように、少なくともドキュメント（紙文書）の電子的実体であるデータのコンピュータから認知可能なデジタル空間上の保存先情報（データ名３５とディレクトリー情報３６）、プリントアウト時のレイアウト情報参照のための印刷情報３７（たとえばプリンター情報や用紙サイズ、倍率、余白などの印刷条件等の直接情報もしくはこれら情報が格納されたデータのコンピュータ側（ＰＣ本体９）から認知可能な格納先情報）、ＩＣチップ１２が埋め込まれている紙面座標位置情報（チップ埋め込み位置情報）３８、それら情報への参照情報３９がある。

また、本システムが情報取得後コンピュータ（ＰＣ本体９）等で情報ソースへの参照作業を可能にするようなＤＢ（Ｄａｔａ Ｂａｓｅ）処理を行うクライアントサーバーシステムとした場合には、ＩＣチップ１２に記憶する上記の情報を工夫する（たとえば記憶する情報としてはドキュメントに付与するユニークなＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）番号のみとし、ＩＤ番号情報取得後にＩＤ番号からドキュメントの電子的実体への参照等の対応するドキュメント情報および印刷情報などを格納したデータベースシステムへの操作をサポートするサーバシステムをコンピュータ（ＰＣ本体９）の認知可能なデジタル空間上において、実際の参照はこのＤＢ処理を介して行う）ことにより微小なＩＣチップ等の比較的記憶できる情報量の少ないＩＣチップを用いることも可能である。

つぎに、本発明による紙面情報とデジタル空間とのインターラクション操作手法について説明する。この実施の形態では、図２に示すように、紙ドキュメント１１は、その操作対象となる紙面部が表示部１の表示画面２内の所定の位置になるように、画面前面に置かれる。そして、座標指示部材３の先端部２５が紙面を介してもしくは直接に表示画面２に接触してからの操作動作（例えば、位置検出ユニット８における画面座標検出動作など）が、図７に示すフローチャートのように制御される。

図７は、本発明の実施の形態にかかる本システムの動作例を示すフローチャートである。まず、座標指示部材３によりマーク１９を参考に、操作者はペン先にてマーク１９の所定位置を指示する。このとき座標指示部材３の先端の感圧スイッチ３０により指示されたことを検知（ステップ４０）する。つまり、座標指示部材３が画面にタッチしたか、ペンＤＯＷＮであるか否かを判断する。そして、座標指示部材３の先端から所定の電波信号を送信するとともに画面座標検出動作が行われる。

ここで、座標指示部材３の先端が接触したことを検知したと判断すると、前述した三角測量の原理で画面上の動作指示のための位置情報を取得する（ステップ４１）。

ＩＣチップ１２では電波信号を受信して電磁誘導による起電力を発生、これを電源にＩＣチップ１２内の記憶手段から所定の情報を読み出しＩＣチップ１２から所定の電波信号として送出する。

座標指示部材３では、先端のアンテナ部（送受信部２６）でＩＣチップ１２からの送信信号を受信する（ステップ４２）。この時、チップからの信号が受信されない場合（ステップ４２−Ｎｏ）には、所定の回数もしくは時間試みた後（ステップ４６−Ｎｏ）、ＩＣチップ１２が存在しないとして座標指示部材３の画面座標指示入力モードのみの動作を開始して、ペン入力操作での通常のＧＵＩ（グラフィカルユーザーインタフェイス）操作を行う（ステップ４７）。

ＩＣチップ１２からのドキュメント情報の受信に成功した場合（ステップ４２−Ｙｅｓ）には、受信信号を復調し、ＩＣチップ１２内情報を取得（ステップ４３）後、ペン情報用の無線通信部２９を介してシステム側（ＰＣ本体９）にＩＣチップ１２からの読み取り情報を通知して、画面指示座標情報とリンクした形で本システムのオペレーションシステム（ＯＳ）に各情報を受け渡す。

本システムでは、本情報を処理するための専用のアプリケーションが常駐ソフトとして起動されており、ドキュメント情報（データ名３５、ディレクトリー情報３６）によりデジタル空間での電子的実体であるデジタル情報を参照、デジタル情報を参照取得（ステップ４４）後、さらにＩＣチップ１２との通信段階の際に取得した画面指示座標情報から生成したＩＣチップ１２搭載位置の画面表示部２上での座標情報を生成し、さらに画面指示座標情報から対応する画面位置に該当デジタル情報を、それを編集するための所定のアプリケーションソフトから起動し、所定の操作情報をＯＳへ通知する（ステップ４４）。

そして、座標指示部材３の移動等のペンアクションをＯＳが検出した際には操作情報を保持したままドラッグ動作などの所定のＧＵＩ操作に移行（ステップ４５）し、操作情報とＯＳもしくはアプリケーションソフトが提供するＧＵＩ操作との組み合わせに対応した操作（ステップ４７、ステップ４８）を指示して、オブジェクト情報に対して実行（ステップ４９）する。

たとえば、図２のように、ドキュメント情報取得時に、あらかじめ設定した所定の動作を指示するためのドロップ領域をＧＵＩ化したアイコン群１３（たとえばＯＳが用意しているモジュール機能をつかってプログラミングしたアプリケーションソフト）を、たとえばドキュメント情報および紙文書位置情報から画面上での紙面位置を推定し、アイコン群１３を概略紙面周囲の紙面によって隠れないよう所定の位置に配置して起動表示しておき、ドラッグ動作から所定のアイコンにドロップされた（たとえば圧力センサによるペンＵＰ動作を検出したら、リンクされた）オブジェクト情報に対してドロップ領域に定義された所定の操作を行うことが可能になる。

より具体的に示せば、図２に示すように、紙面内の図面情報を座標指示部材３で指示し、そのままドラッグしてフォルダアイコン１５（ドロップされた情報を指定フォルダに格納する機能を有するアプリケーションのアイコン）にドロップすると、その画像情報が新たにひとつのファイルとして所定のフォルダに保存されたり、また、紙面余白を指示してプリントアイコン１４（ドロップされた情報を指定プリンターに印刷する機能を有するアプリケーションのアイコン）にドロップすると新たに同じドキュメントがプリントアウトされるといったユーザが直感的にわかりやすい操作でドキュメント情報を操作することが可能になる。

本紙面操作の終了には、再びＩＣチップ１２を指示し、座標指示部材３内のＩＣチップ１２からの読み取り情報を破棄することにより、ＩＣチップ１２情報の有無から終了動作を操作者が明示的にシステムに示すことにより通知する。

さらに、画面上の操作者が視認可能な位置にシステムの動作モードに対応した表示アイコン１６（図４）を表示して、現在の操作モードを確認できるようにすると、誤動作等の防止が可能である。

つぎに、紙面情報の表示方法および操作についてさらに詳しく説明する。本実施例では、図６に示すように、少なくともＩＣチップ１２搭載情報にはドキュメント情報として電子的実体へのリンク情報３５、３６、紙面ページ情報および紙面サイズ情報３７、ＩＣチップ搭載位置座標３８もしくはそれら情報へのリンク情報（参照情報）３９が含くまれていて、紙文書１１を画面２上に置いての操作の際に、紙面サイズ情報３７とＩＣチップ搭載位置情報３８、および座標指示部材３のＩＣチップ１２の情報の読み取り時点での指示座標位置情報から、紙面と表示画面との物理的な位置対応関係を生成し、紙面情報と位置対応関係から、画面と紙面の重なり関係を算出して対応するドキュメント（＝電子的実体）６１を概略紙面情報に等倍でかつドキュメントの位置と紙面位置が概略重なる形で画面上に前記ドキュメントの編集機能を有するアプリケーション６０とともに表示するようにする（透明化してユーザには感知できなくなっていてもよい）。

これにより、紙面上の所定の情報を指示した際にＯＳ側から見ると編集アプリケーション上で直接ドキュメント６１の紙面とおなじオブジェクト情報６２に対しての特に指示されたオブジェクト１０の情報の参照を行わなくて（本発明の専用の常駐アプリケーションソフトが直接参照しないという意味）も所望のオブジェクト（ここでは６２）に対して画面指示が行われ、かつドラッグ操作等を制御する常駐ソフトは紙面位置情報に対応した操作コマンド情報をＯＳに渡すのみで、その後の操作はＯＳが本来有している機能と操作情報の組み合わせのみでの操作を行うことが可能である。

たとえば、マイクロソフト社のｗｉｎｄｏｗｓ（登録商標）システムでは、ワープロソフトで作成されたドキュメントであれば、そこに張られた図面１０を指示しドロップされた場合、ＯＳはペンの指示動作で紙面裏の画面に表示されたドキュメントの対応する図面６２をハイライトし、その際、常駐ソフトから発行される、たとえば“ｃｏｎｔｒｏｌｌキー”のバーチャルキーコード情報のみを受け取って通常のマウスのクリック動作とドラッグ操作コマンドおよびバーチャルキーコード情報とを組み合わせてＯＳにメッセージを送るだけで元ドキュメント６１の内容を変更することなく対応するオブジェクト情報のデジタル空間上の実体６２をコピーしてドラッグすることに可能になる。

このような構成にすることにより、ＯＳの機能を有効に利用して常駐アプリケーションの機能として必要最小限の構成を実装することにより、ＯＳのリソース等の有限な資源を効率よく使用するシステムの構成が可能になる。

つぎに、座標指示部材３上に所定の操作を指示し、かつ送受信部２６による読取の有無にしたがって、操作ステップが可変になるように制御する操作指示制御手段を備えた例について説明する。

この座標指示部材では、図３に示すように、座標指示部材３上に所定の操作を指示するための操作指示制御手段として操作指示スイッチ２７を設けていて、ＩＣチップ１２の読み取り情報のシステム（ＰＣ本体９）との通信手段（無線通信部２９）を用いて、操作指示スイッチ２７の状態情報をシステム側に通知する。

ここで、たとえばＩＣチップ情報の読み取り結果からＩＣチップ１２が存在しないペンＤＯＷＮ操作の場合には、ＯＳのクリック操作のための情報として前記操作指示スイッチ２７状態を用いるようにするとマウスのエミュレーション動作時のクリック動作指示が可能になる。

また、ＩＣチップ情報とともに伝送された場合にはマウスエミュレーション動作に加えて、スイッチ状態が変化しない間はペン３の先端の接触を検知するスイッチの検出状態を保持するようにしてＩＣチップ情報の読み取りの有無により操作ステップを可変に制御する。これにより、たとえば紙面から画面へのドラッグ操作時の紙面−画面間の段差によって生じるスイッチの接触状態の変化による誤動作を防止することが可能である。

なお、本発明は上記例に限らず種々の変形が可能で、たとえば座標指示検知手段をＬＣＤ画面背面に設けた電磁方式のデジタイザを座標指示装置に用いるなど、他の座標入力装置と組み合わせても実現可能である。また、座標指示部材３上に専用のスイッチを設けてＩＣチップ１２上の検出の動作を無効にして、通常のシステム操作の際の不要な電力の消費を押さえるようにしてもよい。

以上のように、本発明にかかる紙文書情報操作システムおよび紙文書情報操作方法は、表示画面にＩＣチップが記憶した情報群をライトペンなどで指示し、所望の処理を行わせる装置やシステムに有用であり、特に紙面上への入力情報の取得、またはパーソナルコンピュータ、アミューズメント用入力装置、携帯端末などにおける画面上のカーソルなどの移動指示やストロークデータの入力を行うための２次元座標領域へ入力可能な座標入力装置に適している。

本発明の実施の形態にかかる本システムの構成を示すブロック図である。 図１における本体部分の構成を示す構成図である。 図１における座標指示部材の構成を示す構成図である。 本発明の実施の形態にかかる画面操作および動作例を示す図である。 本発明の実施の形態にかかるＩＣチップの一例を示す図である。 本発明の実施の形態にかかるＩＣチップに記憶される情報の一例を示す図 である。 本発明の実施の形態にかかる本システムの動作を示すフローチャートであ る。 従来技術の構成を示す図である。

符号の説明

１ 表示部
２ 表示画面
３ 座標指示部材
４，５ 超音波受信器
６ 光信号受信部
７ 本体制御部
８ 位置検出ユニット
９ 情報処理装置（ＰＣ本体）
１１ 紙ドキュメント
１２ ＩＣチップ
１３ アイコン群
１４ プリントアイコン
１５ フォルダアイコン
２０ ペン制御部
２３ 超音波発信素子
２４ ＬＥＤ素子
２６ 送受信部
２７ 操作指示スイッチ

Claims (6)

1. ドキュメント情報を少なくとも記憶する記憶手段と無線通信手段とを備えるＩＣチップを備える紙文書と、画像を表示する画像表示手段と、前記画像表示手段が有する画面上を指示するための座標指示手段と、前記座標指示手段により指示された前記画面上の位置の座標である画面指示座標情報を検出する座標検出手段と、
   を備えた紙文書情報操作システムにおいて、
   前記座標指示手段は、無線通信する送受信手段と、前記画面への接触を検知する検知手段と、
   を備え、
   前記座標指示手段の前記検知手段により前記画面への前記接触が検知された場合、前記送受信手段により前記無線通信手段から取得された前記ドキュメント情報と、前記座標検出手段により当該接触が検出された位置の前記画面指示座標情報と、に基づいて、前記画面上に置かれた前記紙面と前記画面との位置関係に関する情報である位置関係情報を生成する位置関係生成手段と、
   前記位置関係生成手段により生成された前記位置関係情報に基づいて、前記紙面上のオブジェクトに対する操作を指定するアイコンを、前記紙面によって隠れない前記画面上の所定の位置に表示し、前記ドキュメント情報により参照された電子的実体であるデジタル情報を、概略前記ドキュメント情報に等倍でかつ前記デジタル情報の位置と前記紙面位置が概略重なる形で前記画面上に表示し、前記アイコンに対応する所定の前記操作を特定して保持する保持手段と、
   前記座標指示手段の前記検知手段により前記画面への前記接触が検知されなくなった場合、前記画面指示座標情報に基づいて前記デジタル情報に対して、前記保持手段により保持された前記所定の操作の制御を実行する操作制御手段と、
   を備えたことを特徴とする紙文書情報操作システム。
2. 前記記憶手段は、更に、前記紙面に対する前記ＩＣチップの埋め込み位置の座標である紙面ＩＣチップ座標情報、紙面サイズ情報および参照情報を少なくとも記憶し、
   前記画像表示手段は、前記紙文書より表示面積が大きい前記画面を有し、
   前記位置関係生成手段は、前記送受信手段により取得された前記ドキュメント情報、前記紙面ＩＣチップ座標情報および前記画面指示座標情報に基づいて、前記位置関係情報を生成し、
   さらに、前記位置関係生成手段により生成された前記位置関係情報に基づいて、前記デジタル情報を、概略等倍で、かつ前記デジタル情報上のオブジェクトの位置と対応する前記紙面に記載されている情報の位置とがほぼ対応した形で、前記画面上に表示する表示制御手段、
   を備えたことを特徴とする請求項１に記載の紙文書情報操作システム。
3. さらに、
   前記所定の操作を指示し、前記送受信手段による前記記憶手段に記憶された情報の読み取りの有無により操作ステップが可変になるように制御する、前記座標指示手段上に設けられた操作指示制御手段、
   を備えたことを特徴とする請求項１に記載の紙文書情報操作システム。
4. さらに、
   前記所定の操作の状態を識別するための操作状態識別情報を前記画面上における操作者が視認可能な位置に表示する操作状態表示手段、
   を備えたことを特徴とする請求項１に記載の紙文書情報操作システム。
5. ドキュメント情報を少なくとも記憶する記憶手段と無線通信手段とを備えるＩＣチップを備える紙文書と、画像を表示する画像表示手段と、無線通信する送受信手段と前記画面への接触を検知する検知手段とを備え、前記画像表示手段が有する画面上を指示するための座標指示手段と、前記座標指示手段により指示された前記画面上の位置の座標である画面指示座標情報を検出する座標検出手段と、を備えた紙文書情報操作システムを用いて実行される紙文書情報操作方法において、
   前記座標指示手段の前記検知手段により前記画面への前記接触が検知された場合、前記送受信手段により前記無線通信手段から取得された前記ドキュメント情報と、前記座標検出手段により当該接触が検出された位置の前記画面指示座標情報と、に基づいて、前記画面上に置かれた前記紙面と前記画面との位置関係に関する情報である位置関係情報を生成する位置関係生成ステップと、
   前記位置関係生成ステップにより生成された前記位置関係情報に基づいて、前記紙面上のオブジェクトに対する操作を指定するアイコンを、前記紙面によって隠れない前記画面上の所定の位置に表示し、前記ドキュメント情報により参照された電子的実体であるデジタル情報を、概略前記ドキュメント情報に等倍でかつ前記デジタル情報の位置と前記紙面位置が概略重なる形で前記画面上に表示し、前記アイコンに対応する所定の前記操作を特定して保持する保持ステップと、
   前記座標指示手段の前記検知手段により前記画面への前記接触が検知されなくなった場合、前記画面指示座標情報に基づいて前記デジタル情報に対して、前記保持ステップにて保持された前記所定の操作の制御を実行する操作制御ステップと、
   前記操作制御ステップにより実行された前記所定の操作が終了したことを通知する通知ステップと、
   を含むことを特徴とする紙文書情報操作方法。
6. さらに、前記所定の操作を指示し、前記送受信手段による前記記憶手段に記憶された情報の読み取りの有無により操作ステップが可変になるように制御する、前記座標指示手段上に設けられた操作指示制御手段を備え、
   前記操作指示制御手段の状態を検知する検知ステップ、
   を含むことを特徴とする請求項５に記載の紙文書情報操作方法。

Images