JP4589619B2

JP4589619B2 - 紙文書情報操作システムおよび情報操作方法

Info

Publication number: JP4589619B2
Application number: JP2003409482A
Authority: JP
Inventors: 正良加藤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-09-03
Filing date: 2003-12-08
Publication date: 2010-12-01
Anticipated expiration: 2023-12-08
Also published as: JP2005100315A

Description

本発明は、紙文書情報操作システムおよび情報操作方法に関するものである。

従来、紙などの実世界の対象物にコード情報を埋め込み、カメラなどの撮像手段によりコード情報およびペンなどの操作オブジェクトの動きを検出し、他の情報端末装置へ対応する電子的実体であるデータを移動したりする手法としては、たとえば特許文献１に示された方法がある。この方法では、カメラによりペン操作を監視し、ペンの物理オブジェクトへの指示動作を検知した際に物理オブジェクトに添付されているビジュアルマーカー情報を上記カメラにより認識して、あらかじめネット上のサーバに登録されているペンＩＤ情報と物理オブジェクトのデジタル情報をリンクさせ、同一ペンが他の情報端末画面にタッチされたなどの処理動作をカメラで監視する。さらに処理動作を検知した際に対象となる情報端末装置装置へ上記リンク情報を元にデジタルオブジェクトデータを送出して、前記情報端末が前記データを受信、実体であるデジタルオブジェクト情報を受け渡すことにより、操作者が実際に実世界のオブジェクトを操作する感覚で所望の情報操作を行なうことを実現している。

特開２００１−１７５３７４号公報（図１６参照）

しかしながら、上記特許文献１に示されるような従来の方法にあっては、カメラによる撮影範囲内の操作が対象であるため、カメラ配置によっては手元が障害物で隠れたりした場合に動作検出が困難になったり、照明などの環境に大きく影響を受けるなど確実に情報の指示が行われない場合が生じる。また、基本的に動作検出が画像認識技術に大きく依存しているため、処理速度を高速化することが困難であった。

本発明は、上記に鑑みてなされたものであって、対象部位に対する追従性を向上させて、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作システムおよび情報操作方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、前記画像表示手段に表示された前記紙文書の紙面コード情報を静止画として周期的に撮像して読み取る読取手段を有し、その座標を指示する座標指示手段と、前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、読み取った前記紙面コード情報のコード認識を所定の時間繰り返し実行し、前記画面座標指示情報と前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、を備え、前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする。

この請求項１にかかる発明によれば、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報を座標指示手段の読取手段で紙面コード情報を静止画として周期的に撮像して紙面コード情報のコード認識を所定の時間繰り返し実行するとともに、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御することが可能になる。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。

また、請求項２にかかる発明は、前記画像表示手段は、前記紙文書より表示面積が大きい画面を有し、前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、さらに、前記制御手段により、読み取った紙面位置および紙面サイズ情報と前記画面座標指示情報から対応する操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする。

この請求項２にかかる発明によれば、請求項１において、読み取った紙面位置および紙面サイズ情報と画面座標指示情報から対応する操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境の実現が可能になり、かつ操作者にわかりやすく自然な操作環境が実現可能になる。

また、請求項３にかかる発明は、さらに、前記座標指示手段の座標指示動作を検出する指示動作検出手段と、前記指示動作検出手段に連動して前記読取手段の動作を制御する読取制御手段と、を備えたことを特徴とする。

この請求項３にかかる発明によれば、請求項１において、座標指示手段の座標指示動作を検出し、この検出動作に連動して読取手段の動作を制御することで、読取手段による不要な読み取り動作を抑制することが可能になる。

また、請求項４にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことを特徴とする。

この請求項４にかかる発明によれば、請求項１において、操作指示制御手段の状態を検知することにより、誤動作を防止し操作者の意図した操作が可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。

また、請求項５にかかる発明は、紙面の所定の位置に、少なくとも文書情報に対応する電子的実体への情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、前記画像表示手段における所定の位置が指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段に表示された前記紙文書の紙面コード情報を静止画として周期的に撮像して読み取る読取手段を有し、その座標を指示する座標指示手段と、を備え、紙面コード情報を読み取り、紙面位置情報を取得する第１のステップと、前記第１のステップと対応するデジタルデータへの参照情報を取得する第２のステップと、読み取った前記紙面コード情報のコード認識を所定の時間繰り返し実行し、前記紙面位置情報による情報操作パラメータと前記座標指示動作とを関連付ける第３のステップと、を含み、前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第４のステップを含むことを特徴とする。

この請求項５にかかる発明によれば、紙面コード情報を読み取り、紙面位置情報を取得する第１のステップと、第１のステップと対応するデジタルデータへの参照情報を取得する第２のステップと、読み取った前記紙面コード情報のコード認識を所定の時間繰り返し実行し、紙面位置情報による情報操作パラメータと座標指示動作とを関連付ける第３のステップと、を含む方法とすることにより、対象部位に対する追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第４のステップを含むことにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。

また、請求項６にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、前記第１のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする。

この請求項６にかかる発明によれば、請求項５において、操作指示制御手段の状態を検知するステップを含むことにより、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。

また、請求項７にかかる発明は、紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、画面座標を指示する座標指示手段と、前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段上の前記紙文書の紙面コード情報を静止画として周期的に撮像して読み取るコード読取手段と、読み取った前記紙面コード情報のコード認識を所定の時間繰り返し実行し、前記画面座標指示情報と前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、を備え、前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする。

この請求項７にかかる発明によれば、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報をコード読取手段で静止画として周期的に撮像して読み取るとともに紙面コード情報のコード認識を所定の時間繰り返し実行する。よって、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御することが可能になる。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。

また、請求項８にかかる発明は、前記画像表示手段は、前記紙文書より表示面積が大きい画面を有し、前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、さらに、前記コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする。

この請求項８にかかる発明によれば、請求項７において、コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境の実現が可能になり、かつ操作者にわかりやすく自然な操作環境が実現可能になる。

また、請求項９にかかる発明は、前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面サイズ情報、またはこれら情報への参照情報を含み、さらに、前記紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする。

この請求項９にかかる発明によれば、請求項７において、紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面サイズ情報、またはこれら情報への参照情報を含み、さらに、紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。

また、請求項１０にかかる発明は、前記コード読取手段は、所定の位置に光信号を斜めから照射し、かつ紙面からの拡散光の一部を検出する光検出手段を有し、前記制御手段は、前記光検出手段に連動してコード読取動作を制御することを特徴とする。

この請求項１０にかかる発明によれば、請求項７において、所定の位置に光信号を斜めから照射し、かつ紙面からの拡散光の一部を検出する光検出手段を有し、制御手段が、光検出手段に連動してコード読取動作を制御することにより、不要な読み取り動作を抑制することが可能になる。

また、請求項１１にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記コード読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことを特徴とする。

この請求項１１にかかる発明によれば、請求項７において、操作指示制御手段の状態を検知することにより、誤動作を防止し操作者の意図した操作が可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。

また、請求項１２にかかる発明は、前記紙面コード情報は、前記コード読取手段での光学的なゆがみに対応して変形された画像として形成されることを特徴とする。

この請求項１２にかかる発明によれば、請求項７において、紙面コード情報を、コード読取手段での光学的なゆがみに対応して変形された画像として形成することにより、コード読み取り後における画像補正処理を最小限にして応答速度を速くすることが可能になる。

また、請求項１３にかかる発明は、紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、画面座標を指示する座標指示手段と、前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段上の前記紙文書を静止画として周期的に撮像して紙面コード情報を読み取るコード読取手段と、を備え、前記紙文書が前記画像表示手段の所定の位置に置かれた際に前記コード情報読取手段により前記コード情報を取得する第１のステップと、前記コード情報の読み取りに対応して紙面位置情報を生成する第２のステップと、読み取った前記コード情報のコード認識を所定の時間繰り返し実行し、前記コード情報に対応する電子的実体への参照情報を取得する第３のステップと、紙面位置情報と前記画面座標指示情報、情報操作パラメータとを関連付ける第４のステップと、を含み、前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第５のステップを含むことを特徴とする。

この請求項１３にかかる発明によれば、文書が画像表示手段の所定の位置に置かれた際にコード情報読取手段によりコード情報を取得する第１のステップと、コード情報の読み取りに対応して紙面位置情報を生成する第２のステップと、コード認識を所定の時間繰り返し実行して読み取った前記コード情報に対応する電子的実体への参照情報を取得する第３のステップと、紙面位置情報と画面座標指示情報、情報操作パラメータとを関連付ける第４のステップと、を含む方法とすることにより、対象部位に対する追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第５のステップを含むことにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になる。

また、請求項１４にかかる発明は、さらに、前記座標指示手段上に所定の操作を指示し、かつ前記コード読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、前記第１のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする。

この請求項１４にかかる発明によれば、請求項１３において、操作指示制御手段の状態を検知するステップを含むことにより、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることが可能になる。

本発明（請求項１）にかかる紙文書情報操作システムは、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報を座標指示手段の読取手段で紙面コード情報を静止画として周期的に撮像して読み取るとともに、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御するとともに紙面コード情報のコード認識を所定の時間繰り返し実行するので、対象部位に対する追従性およびコード認識精度にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作システムを提供するという効果を奏する。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になるという効果を奏する。

また、本発明（請求項２）にかかる紙文書情報操作システムは、請求項１において、画像表示手段は、紙文書より表示面積が大きい画面を有し、紙文書は、紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、さらに、制御手段により、読み取った紙面位置および紙面サイズ情報と画面座標指示情報から対応する操作メニュー情報を紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたので、追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するという効果を奏する。

また、本発明（請求項３）にかかる紙文書情報操作システムは、請求項１において、座標指示手段の座標指示動作を検出する指示動作検出手段と、指示動作検出手段に連動して読取手段の動作を制御する読取制御手段と、を備えたことにより、読取手段による不要な読み取り動作を抑制することが可能になるため、省電力動作が実現するという効果を奏する。

また、本発明（請求項４）にかかる紙文書情報操作システムは、請求項１において、座標指示手段上に所定の操作を指示し、かつ読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことにより、誤操作を防止し操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。

また、本発明（請求項５）にかかる紙文書情報操作方法は、紙面の所定の位置に、少なくとも文書情報に対応する電子的実体への情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷された紙文書と、画像を表示する画像表示手段と、画像表示手段における所定の位置が指示された際に画面座標指示情報を検出する位置検出手段と、画像表示手段に表示された前記紙文書を静止画として周期的に撮像して読み取る読取手段を有し、その座標を指示する座標指示手段と、を備え、紙面コード情報を読み取り、紙面位置情報を取得する第１のステップと、第１のステップと対応するデジタルデータへの参照情報を取得する第２のステップと、読み取った紙面コード情報のコード認識を所定の時間繰り返し実行し、紙面位置情報による情報操作パラメータと座標指示動作とを関連付ける第３のステップと、を含むことにより、対象部位に対する追従性およびコード認識精度にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作方法を提供するという効果を奏する。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第４のステップを含むことにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になるという効果を奏する。

また、本発明（請求項６）にかかる紙文書操作方法は、請求項５において、座標指示手段上に所定の操作を指示し、かつ読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、第１のステップは、前記操作指示制御手段の状態を検知するステップを含むことにより、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。

また、本発明（請求項７）にかかる紙文書情報操作システムは、ドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷された紙文書を、その操作対象となる紙面部が画像表示手内の所定の位置になるように画面前面にセットし、この紙面コード情報をコード読取手段で静止画として周期的に撮像して読み取るとともに、読み取った紙面コード情報のコード認識を所定の時間繰り返し実行するとともに、座標指示手段の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出手段からの信号の有無にしたがって電子的実体上のデジタル情報に対する操作動作を制御することが可能になるため、対象部位に対する追従性およびコード認識精度にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するための紙文書情報操作システムを提供するという効果を奏する。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えることにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になるという効果を奏する。

また、本発明（請求項８）にかかる紙文書情報操作システムは、請求項７において、コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたので、追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するという効果を奏する。

また、本発明（請求項９）にかかる紙文書情報操作システムは、請求項７において、紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面サイズ情報、またはこれら情報への参照情報を含み、さらに、紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたので、追従性にすぐれ、安定した操作環境を実現するとともに操作者にわかりやすく自然な操作環境を実現するとともに、情報端末のＧＵＩ操作環境を利用したわかりやすい操作環境を提供することができるという効果を奏する。

また、本発明（請求項１０）にかかる紙文書情報操作システムは、請求項７において、所定の位置に光信号を斜めから照射し、かつ紙面からの拡散光の一部を検出する光検出手段を有し、制御手段が、光検出手段に連動してコード読取動作を制御することにより、不要な読み取り動作を抑制することが可能になるので、省電力化が実現するとともに、斜めからの照明であるため、安定したコード情報の読み取りができるという効果を奏する。

また、本発明（請求項１１）にかかる紙文書情報操作システムは、請求項７において、誤操作を防止し操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。

また、本発明（請求項１２）にかかる紙文書情報操作システムは、請求項７において、紙面コード情報を、コード読取手段での光学的なゆがみに対応して変形された画像として形成することにより、コード読み取り後における画像補正処理を最小限にして応答速度を速くすることが可能になるので、良好な追従性を有する装置を提供できるという効果を奏する。

また、本発明（請求項１３）にかかる紙文書情報操作方法は、文書が画像表示手段の所定の位置に置かれた際にコード情報読取手段によりコード情報を取得する第１のステップと、コード情報の読み取りに対応して紙面位置情報を生成する第２のステップと、静止画として周期的に撮像して読み取った前記コード情報に対応する電子的実体への参照情報を取得する第３のステップと、紙面位置情報と画面座標指示情報、情報操作パラメータとを関連付ける第４のステップと、を含み、読み取った紙面コード情報のコード認識を所定の時間繰り返し実行するため、対象部位に対する追従性およびコード認識精度にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境を提供できるという効果を奏する。特に、紙文書を画面上においての操作の際に紙文書の前記情報と座標指示手段からの画面座標指示情報から対応するドキュメントを、紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第５のステップを含むことにより、追従性にすぐれ、安定した操作環境が実現可能になるとともに操作者にわかりやすく自然な操作環境が実現可能になるという効果を奏する。

また、本発明（請求項１４）にかかる紙文書情報操作方法は、請求項１３において、操作指示制御手段の状態を検知するステップを含むので、操作者の意図した操作が指示可能になり、本方法を搭載した装置の操作性を向上させることができるという効果を奏する。

以下、本発明にかかる紙文書情報操作システムおよび情報操作方法の最良な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態に限定されるものではない。

（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる紙文書情報操作システムの構成を示すブロック図である。また、図２は、図１における本体部分の構成を示す説明図であり、図３は、図１における座標表示部材の構成を示す説明図である。

本発明による紙文書情報操作システムは、図１および図２に示すようにＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ−ＲａｙＴｕｂｅ）のディスプレイなどの表示部１を有するＰＣ（パーソナルコンピュータ）などのコンピュータに代表される情報処理装置（以下、ＰＣ本体と記述する）９に操作者が指示する座標指示部材３と、座標指示部材３を介し操作者と対向する表示部１前面の所定の位置に設置される検出ユニットを搭載した位置検出ユニット８と、を備えている。

また、位置検出ユニット８には図１および図２に示すような座標指示部材３からの超音波発信信号および所定の情報を受信するのための光受信部６およびマイクロフォンによる超音波受信器４ａ，４ｂ（受信手段に対応した受信回路を含む）と、座標位置の演算などを含む演算処理と各モジュールを制御する本体制御部７、演算結果や演算用データなどを記憶するメモリ１６を備えている。

また、図３に示すように上記座標指示部材３である座標入力用スタイラスペンの先端部位の位置検出ユニット８に概略対向する面に設置してなる赤外線ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）などの発光素子を有するＬＥＤ素子２７と、ほぼ全周囲に所定の超音波信号を送信する超音波発信素子（スピーカ部）２５を有し、所定の信号を光信号および超音波信号に重畳する各送信手段を制御するためのペン制御部２０、および駆動回路２１、検出部２３、電源モジュール２８とからなる。

つぎに本発明による位置検出動作について説明する。本発明では、情報表示部の表示面２の所望の座標を指示すると、座標指示部材（入力ペン）３の先端部分２４に設けた感圧スイッチ２３により指示動作を検出して、ペン制御部２０に通知した後、ペン制御部２０にて各駆動回路を介して発光素子であるＬＥＤ素子２７および超音波発信素子２５を駆動し、光信号および超音波信号を座標指示部材３の先端部から所定の方向に向けて送信する。位置検出ユニット８においては光受信部６により光信号（少なくともヘッダー情報＋データ情報を含む）のヘッダー情報を検出した際に本体制御部７内部のカウンタ回路をリセットし、超音波受信器（マイクロホン）４ａ（もしくは４ｂ）により所定の超音波信号を受信した際のカウンタのカウント値（これをｎとする）を本体制御部７にて取得する。ここで、室温時の音速をＶｓとすると、次式の関係から本体制御部７にて超音波信号の伝播距離Ｈを算出する。

Ｈ＝Ｈｓ×ｎ／ｆｃ
ただし、ｆｃは位置検出ユニットのクロック周波数で設計時に既値

さらには、位置検出ユニット８には、サーミスタなどの温度センサ１７を設けて室温を監視し、それに応じた音速をあらかじめメモリ１６にテーブル情報として格納しておき、これを参照して上記伝播距離を算出して精度を向上させてもよい。二つの超音波受信器（マイクロホン）４，５におけるそれぞれの伝搬距離情報と、各マイクロホン間の距離情報から三角測量の原理により指示位置を算出する。情報処理装置（ＰＣ本体）９では専用ソフト（ドライバ）により本情報と位置検出ユニット８のセッティング情報（設計情報もしくは実際にはキャリブレーション作業から取得した情報）から画面座標に変換することにより表示情報への指示位置情報を取得する。

また、情報操作対象となるプリントアウトされたドキュメントの紙文書には所定の情報を埋め込んだバーコード１２が印刷されている。埋め込む情報としては、図４に示すように少なくともドキュメントの実体であるデータのＰＣ本体９の認知認知可能なデジタル空間上の保存先情報（ディレクトリー情報３１とドキュメント名３０）、プリントアウト時のレイアウト情報参照のための印刷情報３２（たとえばプリンタ情報、用紙サイズ、印刷条件の直接情報もしくはこれら情報が格納されたＰＣ本体９が認知可能な格納先情報）、コードが書かれているコード重心位置情報（紙面座標情報）３３が盛り込まれている。

さて、コードの形式としてはある程度の情報量を入れることを考えた場合には、たとえば図５に示すＱＲコードなどの二次元バーコードなどを用いることが可能である。なお、ＱＲコードは、デンソー社が開発し、大容量で省スペース、高速読み取りが可能であるマトリックスタイプの２次元バーコードである。２次元バーコードとしては、この他にＧＩＭａｔｒｉｘ社のＤａｔａＭａｔｒｉｘ、ＵＰＳ社のＭａｘｉ−Ｃｏｄｅなどを用いてもよい。

また、上記コード情報を読み取った後にＰＣ本体９などで情報ソースへの参照作業を可能にするようなＤＢ（ＤａｔａＢａｓｅ）処理を行なうシステムとした場合には、上記情報のコード化を工夫する（たとえばコード化するのはドキュメントにユニークなＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）とし、ＩＤ情報を取得した後にＩＤからドキュメントの実体への参照をサポートするサーバシステムを情報処理装置（ＰＣ本体）９の認知可能なデジタル空間上において、実際の参照を行なう）ことにより一次元バーコードなどの比較的情報量の少ないコード形式を用いることも可能である。

つぎに本発明による紙面情報とデジタル空間とのインターラクション操作手法について説明する。この実施の形態では、図２に示すように紙ドキュメント１１はその操作対象となる紙面部が画面表示部内の所定の位置になるように上記画面前面に置かれる。また、上記座標指示部材３の先端部が紙面を介してもしくは直接に画面に接触した際の位置検出ユニット８からの信号の有無により操作動作が、以下に示すフローチャートのように制御される。

図６は、本発明の第１の実施の形態にかかるシステムの動作例を示すフローチャートである。まず、表示画面２に対して座標指示部材（ペン）３がタッチしたか、ペンＤＯＷＮであるか否かを判断する（ステップＳ１１）。ここで、座標指示部材３の先端が接触したことを検知したと判断すると、前述した三角測量の手法で画面上の動作指示のための位置情報を取得する（ステップＳ１２）。また、同時に、座標指示部材３の先端部に設けたペンカメラである読取部２６にて画像を所定の周期で静止画として取り込み、コードを認識したか否かを判断する（ステップＳ１３）。ここで、読取部２６の読取画像を静止画として取り込み、コードを認識したか否かを判断すると、取り込んだ画像に対し、座標指示部材３に搭載されたデコード処理部２０ａにてコードの検出とデコード処理を行なう（ステップＳ１４）。

続いて、デコードに成功したか否か、すなわち紙面コード情報が得られたかを判断する（ステップＳ１５）。一方、ステップＳ１３にてコード認識ができなかった場合、あるいはステップＳ１４においてデコードがなされなかった場合、このコード認識処理を所定の時間繰り返し実行したか否かを判断する（ステップＳ１７）。すなわち、紙面コード情報が読み取れない場合には所定の回数もしくは時間試みた後、紙面コード情報が存在しないと判断し、ペンの画面座標指示入力モードのみの動作を開始して、通常ペン入力操作でのＧＵＩ（グラフィカルユーザーインタフェイス）操作を行なう。

ステップＳ１５において紙面コード情報のデコードに成功した場合には、デコード情報を生成し（ステップＳ１６）、上記光送信部２７および受信手段により所定（ＩｒＤＡ；ＩｎｆｒａＲｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎなど）の通信方法を介して受け取るとともに、上記画面座標指示情報とリンクした形で本システムのオペレーションシステム（ＯＳ）に受け渡す。ここで、コード情報を受け取ったか否かを判断する（ステップＳ１８）。

ステップＳ１８においてコード情報を受け取ったと判断するとつぎの動作を実行する。本システムでは、本情報を処理するための専用のアプリケーションが常駐ソフトとして起動されており、上記ドキュメント情報によりデジタル空間での電子的実体であるデータを参照、プリントアウト情報を参照してドキュメント内のレイアウト情報を取得し（ステップＳ１９）、紙面情報からドキュメント内のどのオブジェクト情報を指示したかを判定するとともに所望の動作コマンドの発行を行なう（ステップＳ２０）。このとき、余白部分と判定された場合はドキュメント全体を指示したものと判定する。そして、指示部材（ペン）３の移動をＯＳが検出した際には上記オブジェクト情報を保持したままドラッグ動作などの所定のＧＵＩ操作（ステップＳ２１、Ｓ２２、Ｓ２３）に移行する。

すなわち、図２に示すようにドキュメント情報の取得時に、あらかじめ設定した所定の動作を指示するためのドロップ領域をＧＵＩしたアイコン群１３（たとえばＯＳが用意しているモジュール機能をつかってプログラミングしたアプリケーションソフト）を、たとえば、紙面サイズ情報と紙面コード位置および画面指示位置から画面と紙面の重なり関係を算出して前記アイコン群１３を概略紙面周囲の所定の位置に配置されるよう起動表示しておき、前記ドラッグ動作から所定のアイコンにドロップされた（たとえば、感圧スイッチ２３によるペンＵＰ動作を検知したら、リンクされた）オブジェクト情報に対してドロップ領域に定義された所定の操作を行なう。

たとえば、紙面内の図面情報を座標指示部材（ペン）３で指示し、そのままドラッグしてフォルダアイコン１５にドロップすると、その画像情報が新たにひとつのファイルとして保存されたり、紙面余白を指示してプリントアイコン１４にドロップすると新たに同じドキュメントがプリントアウトされるといったユーザが直感的にわかりやすい操作でドキュメント情報を操作することが可能になる。

つぎに、紙ドキュメント１１は、紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、さらに、紙ドキュメント１１を画面上においての操作の際に紙ドキュメント１１の上記情報と座標指示部材３からの画面座標指示情報から対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する例について説明する。

この例では、少なくとも前記紙面コード情報にはドキュメント情報、ページ情報、紙面座標および紙面サイズ情報もしくはそれら情報へのリンク情報が含くまれており、前記紙文書を画面上においての操作の際に、図７に示すように紙面サイズ情報と紙面コード位置および画面指示位置から画面と紙面の重なり関係を算出して対応するドキュメント６１を概略等倍で、かつドキュメント上の位置と紙面位置が対応した形で画面上に上記ドキュメントの編集機能を有するアプリケーション６０にて表示するようにする。

これにより、紙面上の所定の情報１０を指示した際にＯＳ側からみると上記編集アプリケーション上での直接ドキュメント６１の紙面とおなじオブジェクト情報６２に対しての特に指示されたオブジェクト情報６２の参照を行わなくて（上記専用の常駐アプリケーションソフトが直接参照しないという意味）も画面指示が行われ、かつ前記ドラッグ操作などを制御する上記常駐ソフトは紙面位置情報に対応したバーチャルキーコード情報をＯＳに渡すのみで、その後の操作はＯＳが本来有している機能と上記バーチャルキーコード情報の組み合わせのみで操作を行なうことが可能である。

たとえば、マイクロソフト社のｗｉｎｄｏｗｓ（登録商標）システムでは、ワープロソフトで作成されたドキュメントであれば、そこに貼られた図面が指示ドロップされた場合、ＯＳはペンの指示動作で紙面裏の画面に表示されたドキュメント６１の対応する図面６２をハイライトし、その際、前記常駐ソフトからの“ｓｈｉｆｔキー”のバーチャルキーコード情報のみを受け取ってドラッグすることにより、元ドキュメント１１の対応するオブジェクト情報１０のデジタル空間上の実体をコピーしてドラッグすることになる。

このような構成にすることにより、ＯＳの機能を有効に利用して常駐アプリケーションの機能として必要最小限の構成を実装することにより、ＯＳのリソースなどの有限な資源を効率よく使用するシステムの構成が可能になる。

つぎに、座標指示部材３上に所定の操作を指示し、かつ読取部２６によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えた例について説明する。

この座標指示部材では、図９に示すように座標指示部材３上に所定の操作を指示するための操作指示制御手段として操作指示スイッチ６５を設け、上記光信号にこのスイッチの状態情報を重畳する。ここで、上記光信号に紙面コードのデコード結果がない場合には、ＯＳのクリック操作のための情報として上記スイッチ状態を用いるようにするとマウスのエミュレーション動作時のクリック動作指示が可能になる。

また、紙面コード情報とともに伝送された場合にはクリック動作に加えて、上記スイッチ状態が変化しない間は、座標指示部材３の先端の接触を検知する感圧スイッチ２３の検出状態を保持するようにしてコード情報の読み取りの有無により操作ステップを可変に制御する。これにより、たとえば紙面から画面へのドラッグ操作時の紙面−画面間の段差によって生じる感圧スイッチ２３の接触状態の変化による誤動作を防止することが可能である。

なお、本発明は上記例に限らず種々の変形が可能で、たとえば座標指示検知手段をＬＣＤ画面背面に設けた電磁方式のデジタイザを座標指示装置に用いるなど、他の座標入力装置と組み合わせても実現することが可能である。また、撮像手段（読取部２６）による紙面コードを安定して読み込むための照明手段を先端部位にも受けてもよいし、紙面コードも従来のバーコードのほかａｎｏｔｏ社がすでに開発しているようなドットパターンによるコードを用いても可能である。

（第２の実施の形態）
この第２の実施の形態は、前述した第１の実施の形態に対し、座標指示部材上には紙面コード情報を読み取る手段を設けずに、表示画面側の所定位置に紙面コード情報を読み取る手段を設け、その検出範囲内にコード情報が存在するときに読み取り、かつ検出範囲を狭くすることにより、実質的に紙文書の画面上での位置を拘束して紙面位置を既知のものにする例について示すものである。以下、具体的に説明する。

図８は、本発明の第２の実施の形態にかかる紙文書情報操作システムの構成を示す説明図である。本構成は前述した第１の実施の形態における図２に対し、同一機能を有するブロックについては同一符号を付し、異なる機能を有するブロックについては符号を新たに付してある。すなわち、図２の構成に対して表示面上の紙ドキュメント１１のバーコード１２を読み取るコード読取装置５を情報表示部１の右上方に設置したものである。他の構成は重複するためここでの説明は省略する。

なお、バーコード１２は前述したようにＱＲコードなどの二次元のバーコードを用いる。情報操作対象となるプリントアウトされたドキュメントの紙文書１１には所定の情報を埋め込んだ二次元バーコード１２が印刷されている。埋め込む情報としては、少なくともドキュメントの実体であるデータのＰＣ本体９から認知可能なデジタル空間上の保存先情報（ディレクトリー情報３１とドキュメント名（データ名）３０）、プリントアウト時のレイアウト情報参照のための印刷情報３２（たとえばプリンタ情報、用紙サイズ、倍率や余白などの印刷条件など）の直接情報もしくはこれら情報が格納されたデータのコンピュータ側から認知可能な格納先情報、コードが書かれている紙面座標位置情報３３が盛り込まれている。コードの形式としてはある程度の情報量を入れることを考えた場合には、たとえば図５に示すＱＲコードなどの二次元バーコードなどを用いることが可能である。

また、本システムが読み取った後にコンピュータなどで情報ソースへの参照作業を可能にするようなＤＢ処理を行うシステムとした場合には、上記情報のコード化を工夫する（たとえばコード化する情報としてはドキュメントに付与するユニークなＩＤ番号とコードが書かれているコード重心位置情報（紙面座標位置情報）３３のみとし、ＩＤ番号情報取得後にＩＤ番号からドキュメントの電子的実体への参照等の対応するドキュメント情報および印刷情報などを格納したデータベースシステムへの操作をサポートするサーバシステムをＰＣ本体９の認知可能なデジタル空間上において、実際の参照はこのＤＢ処理を介して行う）ことにより一次元バーコードなどの比較的情報量の少ないコード形式を用いることも可能である。

図１０は、図９における紙文書情報操作システムに使用する座標指示部材の構成を示す説明図である。この座標指示部材は、前述した第１の実施の形態に使用する座標指示部材にバーコード１２を読み取るための撮像手段を設けていたのに対し、バーコード１２の読み取りはコード読取装置５で行なうので不要であることから、この部分が削除された構成となっている。したがって、図３および図８と同一機能の部分については同一符号を付し、重複説明については省略する。また、座標検出動作は前述した第１の実施の形態と同様であるのでその動作についても省略する。

図１１は、図９におけるコード読取装置の構成を示すブロック図である。コード読取装置５は、図示するように、所定の解像度を有するイメージセンサを搭載し、バーコード１２を撮像する撮像部４０、投光用のＬＥＤ素子４１、集光系レンズ搭載のＰＩＮフォトダイオードからなる受光素子４２、受光部４３、本体制御部７の出力信号によって撮像部４０を制御する撮像制御部４４を備えている。

なお、図１１に示すように、この場合におけるバーコード１２はコード読取装置５が斜めから読み取ることを考慮し、あらかじめ所定の形に歪ませて印刷されている。これにより、撮影された画像データの光学的なひずみ補正を省略することが可能であるため、デコード処理を高速で行なうことができる。

つぎに、図９〜図１１のように構成された紙文書情報操作システムの動作について図１２に示すフローチャートを参照し、説明する。

本発明では、ＬＥＤ素子４１は本体制御部７による制御にしたがって所定の時間間隔で点灯している。通常、表示部１はガラス面等で覆われているため、斜めからの照射光はそのほとんどが正反射するため、ＬＥＤ素子４１と同じ側に設置されている受光素子４２に入射する反射光はほとんどない。しかし、紙ドキュメント１１が置かれると紙面表面の拡散反射により再帰光成分が発生するため、受光素子４２への入射光が増加する。さらには撮像部４０が本波長域も感度を有するならば、投光用のＬＥＤ素子４１は紙面コードを安定して読むための照明手段としても機能する。

図１２において、ペン（座標指示部材３）による座標指示があったか否かを判断し（ステップＳ３１）、当該座標指示があったならば、画面に指示された位置情報を取得する（ステップＳ３２）。続いて、画面にコード情報があるか否かを判断する（ステップＳ３３）。すなわち、この受光素子４２の光量変化を検出して撮影部４０を駆動し、紙面上の印刷されたバーコード１２の静止画像を撮影し取り込む。取り込まれた画像は、本体制御部７に設けたデコード処理部にてコードの検出とデコード処理を行う（ステップＳ３４）。紙面コード情報が読み取れない場合あるいはデコードに成功しない場合には所定の回数もしくは時間試みた後（ステップＳ４３）、紙面コードが存在しないとしてペンの画面座標指示入力モードのみの動作を開始して、通常ペン入力操作でのＧＵＩ（グラフィカルユーザーインタフェイス）操作を行う。

紙面コード情報のデコードに成功したか否かを判断し（ステップＳ３５）、デコードに成功した場合には、デコード情報を生成し（ステップＳ３６）、画面座標指示情報とリンクした形で本システムのオペレーションシステム（ＯＳ）に受け渡す。さらに、コード情報を受け取ったか否かを判断し（ステップＳ３７）、受け取ったならばステップＳ３８を実行し、受け取っていないならばステップＳ４０に移行する。

本システムでは、本情報を処理するための専用のアプリケーションが常駐ソフトとして起動されており、上記ドキュメント情報によりデジタル空間での電子的実体であるデータを参照、プリントアウト情報を参照してドキュメント内のレイアウト情報を取得後（ステップＳ３８）、さらに上記座標から生成したコード部の前記画面表示部上での座標情報を生成し、さらに前記情報および前記座標指示部材の画面指示座標情報から対応する画面位置に該当ドキュメントを編集するためのアプリケーションソフトから起動し（ステップＳ３９）、所定の操作情報をＯＳへ通知する（ステップＳ４０）。このとき、オブジェクト情報が存在しない余白部分を指示した場合などはドキュメント全体を指示したものとして前記操作情報を通知する。

さらに、ペン（座標指示部材３）がＵＰ操作されたかを判断し（ステップＳ４１）、ペンのＵＰ移動をＯＳが検出した際には上記操作情報を保持したままドラッグ動作などの所定のＧＵＩ操作（ステップＳ４２）に移行し、前記操作情報とＯＳもしくは上記アプリケーションソフトが提供するＧＵＩ操作との組み合わせに対応した操作を指示したオブジェクト情報に対して実行する。さらに、図９に示すようにドキュメント情報取得時に、あらかじめ設定した所定の動作を指示するためのドロップ領域をＧＵＩ化したアイコン群１３（たとえばＯＳが用意しているモジュール機能をつかってプログラミングしたアプリケーションソフト）を、たとえば紙面サイズ情報および紙面コード位置情報から画面上での紙面位置を推定し、アイコン群１３を概略紙面周囲の所定の位置に配置されるよう起動表示しておき、上記ドラッグ動作から所定のアイコンにドロップされた、たとえば圧力センサによるペンＵＰ動作を検知したら、指示されたオブジェクト情報に対してドロップ領域に定義された所定の操作を行う。

すなわち、たとえば紙面内の図面情報を座標指示部材３で指示し、そのままドラッグしてフォルダアイコン１５にドロップすると、その画像情報が新たにひとつのファイルとして保存されたり、紙面余白を指示してプリントアイコン１４にドロップすると新たに同じドキュメントがプリントアウトされるといったユーザが直感的にわかりやすい操作でドキュメント情報を操作することが可能になる。

つぎに、紙面情報の表示方法および操作についてさらに詳しく説明する。この実施の形態では、少なくとも紙面コード情報にはドキュメント情報として電子的実体へのリンク情報、紙面ページ情報、コードの印刷位置座標及び紙面サイズ情報（印刷時の倍率も含む）もしくはそれら情報へのリンク情報が含くまれていて、紙ドキュメント１１を画面上に置いての操作の際に、図１３に示すように紙面サイズ情報と紙面コード位置情報、コード読取装置５でのコードの位置情報（本例の場合、たとえば図１４に示すような撮影画面６５内でのコード画像の重心位置情報）およびコード読取装置５の表示画面との設置位置関係情報から、紙面と表示画面との物理的な位置対応関係を生成し、紙面情報と前記位置対応関係から、画面と紙面の重なり関係を算出して対応するドキュメント（＝電子的実体）を概略紙面情報に等倍でかつドキュメントの位置と紙面位置が概略重なる形で画面上に前記ドキュメントの編集機能を有するアプリケーション６０とともに表示するようにする。

これにより紙面上の所定の情報６３を指示した際にＯＳから見ると編集アプリケーション６０上での直接ドキュメント６１の紙面とおなじオブジェクト情報６２に対しての特に指示されたオブジェクト情報６２の参照を行わなくて（前記本発明の専用の常駐アプリケーションソフトが直接参照しないという意味）も所望のオブジェクト（ここでは６２）に対して画面指示が行われ、かつドラッグ操作等を制御する前記常駐ソフトは紙面位置情報に対応した操作コマンド情報をＯＳに渡すのみで、その後の操作はＯＳが本来有している機能と前記操作情報の組み合わせのみで操作を行うことが可能である。

たとえば、マイクロソフト社のｗｉｎｄｏｗｓ（登録商標）システムでは、ワープロソフトで作成されたドキュメントであれば、そこに貼られた図面を指示しドロップされた場合、ＯＳはペンの指示動作で紙面裏の画面に表示されたドキュメント６１の対応する図面６２をハイライトし、その際前記常駐ソフトから、たとえば“ｃｏｎｔｒｏｌｌキー”のバーチャルキーコード情報のみを受け取って通常のマウスのクリック動作とドラッグ操作コマンドと組み合わせてＯＳにメッセージを送るだけで元ドキュメント１１の対応するオブジェクト情報６３のデジタル空間上の実体６２をコピーしてドラッグすることになる。

このような構成にすることにより、ＯＳの機能を有効に利用して常駐アプリケーションの機能として必要最小限の構成を実装することにより、ＯＳのリソース等の有限な資源を効率よく使用するシステムの構成が可能になる。

また、この実施の形態による他の座標指示部材では、図１５に示すように座標指示部材３上に所定の操作を指示するための制御手段としてスイッチ７０を設けており、前記超音波信号にこのスイッチの状態情報を重畳する。ここで、コード読取装置５からの読み取り信号に紙面コードのデコード結果がない場合には、ＯＳのクリック操作のための情報として前記スイッチ状態を用いるようにするとマウスのエミュレーション動作時のクリック動作指示が可能になる。また、紙面コード情報とともに伝送された場合にはマウスエミュレーション動作に加えて、前記スイッチ状態が変化しない間はペン先の接触を検知するスイッチ２３の検出状態を保持するようにしてコード情報の読み取りの有無により操作ステップを可変に制御する。これにより、たとえば紙面から画面へのドラッグ操作時の紙面-画面間の段差によって生じる前記スイッチ２３の接触状態の変化による誤動作を防止することが可能である。

なお、本発明は上述した実施の形態に限らず種々の変形が可能で、たとえば座標指示検知手段をＬＣＤ画面背面に設けた電磁方式のデジタイザを座標指示装置に用いるなど、他の座標入力装置と組み合わせても実現可能である。また、紙面コードも従来のバーコードのほかａｎｏｔｏ社発明のようなドットパターによるコードを用いた光学的なものや、位置精度は若干劣るが紙面上の図などの比較的形の大きなオブジェクト操作が主目的なシステムとしてはＲＦＩＤ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ：媒体に電波を用いたＩＤシステム）タグのように微小半導体チップを紙面周辺部にコード情報を書き込んだ状態で埋め込み、近距離無線検出手法による方法もコード読み取り手段にもちいることも可能であるとともに、シート情報電極をプリントしての有線検出による方法も可能である。

以上のように、本発明にかかる紙文書情報操作システムおよび情報操作方法は、表示画面上に複数のコード化した情報群を、所望の処理を行なわせる装置やシステムに有用であり、特に、紙面上への入力情報の取得、またはパーソナルコンピュータ、アミューズメント用入力装置、携帯端末などにおける画面上のカーソルなどの移動指示やストロークデータの入力を行なうための２次元座標領域へ入力可能な座標入力装置に適している。

本発明の第１の実施の形態にかかる紙文書情報操作システムの構成を示すブロック図である。図１における本体部分の構成を示す説明図である。図１における座標表示部材の構成を示す説明図である。本発明の第１の実施の形態にかかる紙ドキュメントのコード情報の内容を示す説明図である。本発明の第１の実施の形態にかかるバーコード例を示す説明図である。本発明の第１の実施の形態にかかる動作を示すフローチャートである。本発明の第１の実施の形態にかかる他の画面操作および動作例を示す説明図である。本発明の第２の実施の形態にかかる紙文書情報操作システムの構成を示す説明図である。本発明の第１の実施の形態にかかる他の座標指示部材の構成を示す説明図である。図９における紙文書情報操作システムに使用する座標指示部材の構成を示す説明図である。図９におけるコード読取装置の構成を示すブロック図である。本発明の第２の実施の形態にかかる紙文書情報操作システムの動作を示すフローチャートである。本発明の第２の実施の形態にかかる他の画面操作および動作例を示す説明図である。撮影画面の設置位置情報とバーコードの重心位置情報との関係を示す説明図である。本発明の第２の実施の形態にかかる他の座標表示部材の構成を示す説明図である。

符号の説明

１表示部
２表示画面
３座標指示部材
５コード読取装置
４ａ，４ｂ超音波受信器
６光信号受信器
７本体制御部
８位置検出ユニット
９情報処理装置（ＰＣ本体）
１１紙ドキュメント
１２バーコード
１３アイコン群
１４プリントアイコン
１５フォルダアイコン
２０ペン制御部
２３感圧スイッチ
２５超音波発信素子
２６読取部
２７ＬＥＤ素子
６５操作指示スイッチ
７０スイッチ

Claims

紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、
画像を表示する画像表示手段と、
前記画像表示手段に表示された前記紙文書の紙面コード情報を静止画として周期的に撮像して読み取る読取手段を有し、その座標を指示する座標指示手段と、
前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、
読み取った前記紙面コード情報のコード認識を所定の時間繰り返し実行し、前記画面座標指示情報と前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、
を備え、
前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、
さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする紙文書情報操作システム。
前記画像表示手段は、前記紙文書より表示面積が大きい画面を有し、
前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、
さらに、前記制御手段により、読み取った紙面位置および紙面サイズ情報と前記画面座標指示情報から対応する操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする請求項１に記載の紙文書情報操作システム。
さらに、
前記座標指示手段の座標指示動作を検出する指示動作検出手段と、
前記指示動作検出手段に連動して前記読取手段の動作を制御する読取制御手段と、
を備えたことを特徴とする請求項１に記載の紙文書情報操作システム。
さらに、前記座標指示手段上に所定の操作を指示し、かつ前記読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことを特徴とする請求項１に記載の紙文書情報操作システム。
紙面の所定の位置に、少なくとも文書情報に対応する電子的実体への情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、前記画像表示手段における所定の位置が指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段に表示された前記紙文書の紙面コード情報を静止画として周期的に撮像して読み取る読取手段を有し、その座標を指示する座標指示手段と、を備え、
紙面コード情報を読み取り、紙面位置情報を取得する第１のステップと、
前記第１のステップと対応するデジタルデータへの参照情報を取得する第２のステップと、
読み取った前記紙面コード情報のコード認識を所定の時間繰り返し実行し、前記紙面位置情報による情報操作パラメータと前記座標指示動作とを関連付ける第３のステップと、
を含み、
前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、
さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第４のステップを含むことを特徴とする紙文書情報操作方法。
さらに、前記座標指示手段上に所定の操作を指示し、かつ前記読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、
前記第１のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする請求項５に記載の紙文書情報操作方法。
紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、
画像を表示する画像表示手段と、
画面座標を指示する座標指示手段と、
前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、
前記画像表示手段上の前記紙文書の紙面コード情報を静止画として周期的に撮像して読み取るコード読取手段と、
読み取った前記紙面コード情報のコード認識を所定の時間繰り返し実行し、前記画面座標指示情報と前記紙面コード情報とに対応する前記紙文書を、電子的実体上のデジタル情報に対して所定の操作制御を実行する制御手段と、
を備え、
前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、
さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする紙文書情報操作システム。
前記画像表示手段は、前記紙文書より表示面積が大きい画面を有し、
前記紙文書は、前記紙面コード情報に、少なくともコードが印刷されている紙面位置情報、印刷されているドキュメント情報および紙面サイズ情報を含み、
さらに、前記コード読取手段で読み取った紙面コード情報と前記コード読取手段の設置位置情報とから生成される紙面位置情報から、対応する所望の操作メニュー情報を前記紙文書の外周周辺部の所定の位置に表示制御する表示制御手段を備えたことを特徴とする請求項７に記載の紙文書情報操作システム。
前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面サイズ情報、またはこれら情報への参照情報を含み、
さらに、前記紙文書を画面上の所定位置においての操作の際に紙文書の前記情報と前記コード読取手段の設置位置情報から生成されるコードが挿入されている紙面位置情報からから対応するドキュメントを、概略等倍で、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する表示制御手段を備えたことを特徴とする請求項７に記載の紙文書情報操作システム。
前記コード読取手段は、所定の位置に光信号を斜めから照射し、かつ紙面からの拡散光の一部を検出する光検出手段を有し、
前記制御手段は、前記光検出手段に連動してコード読取動作を制御することを特徴とする請求項７に記載の紙文書情報操作システム。
さらに、前記座標指示手段上に所定の操作を指示し、かつ前記コード読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備えたことを特徴とする請求項７に記載の紙文書情報操作システム。
前記紙面コード情報は、前記コード読取手段での光学的なゆがみに対応して変形された画像として形成されることを特徴とする請求項７に記載の紙文書情報操作システム。
紙面の所定の位置に、少なくとも、文書情報に対応し、情報処理装置から参照するためのドキュメント情報および印刷情報がコード化され、かつこの紙面コード情報が光学的に読み取り可能な２次元コード形式で埋め込んで印刷され、前記情報処理装置のデジタル空間に電子実体を有する紙文書と、画像を表示する画像表示手段と、画面座標を指示する座標指示手段と、前記画像表示手段における所定の位置が前記座標指示手段によって指示された際に画面座標指示情報を検出する位置検出手段と、前記画像表示手段上の前記紙文書を静止画として周期的に撮像して紙面コード情報を読み取るコード読取手段と、を備え、
前記紙文書が前記画像表示手段の所定の位置に置かれた際に前記コード情報読取手段により前記コード情報を取得する第１のステップと、
前記コード情報の読み取りに対応して紙面位置情報を生成する第２のステップと、
読み取った前記コード情報のコード認識を所定の時間繰り返し実行し、前記コード情報に対応する電子的実体への参照情報を取得する第３のステップと、
紙面位置情報と前記画面座標指示情報、情報操作パラメータとを関連付ける第４のステップと、
を含み、
前記紙文書は、前記紙面コード情報に、少なくともドキュメント情報、ページ情報、紙面座標および紙面サイズ情報を含み、
さらに、前記紙文書を画面上においての操作の際に紙文書の前記情報と前記座標指示手段からの画面座標指示情報から対応するドキュメントを、前記紙面サイズ情報と前記紙面座標から画面と紙面の重なり関係を概略等倍で算出し、かつドキュメント上の位置と紙面位置がほぼ対応した形で画面上に表示する第５のステップを含むことを特徴とする紙文書情報操作方法。
さらに、前記座標指示手段上に所定の操作を指示し、かつ前記コード読取手段によるコード情報の読み取りの有無にしたがって操作ステップが可変になるよう制御する操作指示制御手段を備え、
前記第１のステップは、前記操作指示制御手段の状態を検知するステップを含むことを特徴とする請求項１３に記載の紙文書情報操作方法。