JP4716453B1 - プログラム、情報処理装置、情報処理システム - Google Patents

プログラム、情報処理装置、情報処理システム Download PDF

Info

Publication number
JP4716453B1
JP4716453B1 JP2010159137A JP2010159137A JP4716453B1 JP 4716453 B1 JP4716453 B1 JP 4716453B1 JP 2010159137 A JP2010159137 A JP 2010159137A JP 2010159137 A JP2010159137 A JP 2010159137A JP 4716453 B1 JP4716453 B1 JP 4716453B1
Authority
JP
Japan
Prior art keywords
image
information processing
dot pattern
execution environment
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010159137A
Other languages
English (en)
Other versions
JP2012022472A (ja
Inventor
健治 吉田
Original Assignee
健治 吉田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 健治 吉田 filed Critical 健治 吉田
Priority to JP2010159137A priority Critical patent/JP4716453B1/ja
Application granted granted Critical
Publication of JP4716453B1 publication Critical patent/JP4716453B1/ja
Priority to US13/810,143 priority patent/US20130194179A1/en
Priority to KR1020137003604A priority patent/KR20130029814A/ko
Priority to CN201180034399.XA priority patent/CN103038733B/zh
Priority to PCT/JP2011/066019 priority patent/WO2012008505A1/ja
Priority to EP11806835.2A priority patent/EP2595037A4/en
Publication of JP2012022472A publication Critical patent/JP2012022472A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】 キャプチャした時点におけるパソコンの実行環境を記録しておき、その実行環境とドットパターンとキャプチャ画像とを関係付けておくことで、ユーザの操作の回数を減らし、直感的な復元操作が可能な利便性に富んだ情報処理技術を実現する。
【解決手段】 情報処理装置において実行されるプログラムであって、情報処理装置と接続された表示手段に表示された画像を、情報処理装置の記憶手段に記憶するとともに、画像が記憶された時点における情報処理装置の実行環境を、記憶手段に記憶するステップと、ドットパターンと、画像と、を、重畳して形成するステップと、ドットパターンを読み取った光学読取手段から、コード値および座標値を取得するステップと、取得したコード値の少なくとも一部に定義された特定情報で実行環境を特定し、コード値および座標値に対応する実行環境を復元するステップと、を、情報処理装置の制御手段に実行させる。
【選択図】 図３

Description

本発明は、情報処理装置において実行されるプログラム、そのプログラムを実行する情報処理装置、および、その情報処理装置と表示手段、光学読取手段により実現される情報処理システムに関する。
発明者は、情報処理装置のデスクトップ画面のキャプチャ画像とドットパターンとを重畳印刷してペーパーキーボードを作成し、印刷したペーパーキーボードのドットパターンを光学読取手段により読み取ることにより、印刷した媒体を情報処理装置のタッチパネルとして利用することを特許文献１にて提案している（段落０３２７等）。
また、マイクロソフト社の販売するオペレーティングシステムであるWindows XP（登録商標）に搭載されている「ファイルと設定の転送ウィザード（非特許文献１）」や「バックアップまたは復元ウィザード（非特許文献２）」のように、情報処理装置の設定を予めバックアップすることにより、故障・買換等により新しい情報処理装置をセットアップする際に、ユーザが手動でセットアップせずともバックアップしている設定を復元して以前使用していた情報処理装置の設定そのままにセットアップする技術が提案されている。
特開２００８−１５２７４５号公報 http://support.microsoft.com/kb/293118/ja （Windows XP（登録商標）のファイルと設定の転送ウィザードの使用方法） http://support.microsoft.com/kb/882790/ja （重要なファイルやフォルダをバックアップしてみよう）
しかしながら、特許文献１に記載された技術では、キャプチャしたデスクトップの構成（アイコンの配置等）は、ペーパーキーボードを印刷した時点と操作する時点とでは異なっていることが殆どであり、多くのユーザにとってペーパーキーボードと現在のデスクトップの構成のどちらに基づいてパソコン操作を行えばよいのか分からず、快適な操作の妨げになっていた。
また、通常、所望の情報処理機能（特許文献２に記載のバックアップ機能等）を実行する場合、まず記憶装置に記憶されているソフトウェアを起動させ、そのソフトウェアの中で複数回の操作を行うというステップが必要になるが、そのような操作はパソコンの苦手なユーザにとっては非常に煩雑な作業である。
本発明は以上の点に鑑みてなされたものであり、キャプチャした時点におけるパソコンの実行環境を記録しておき、その実行環境とドットパターンとキャプチャ画像とを関係付けておくことで、ユーザの操作の回数を減らし、直感的な復元操作が可能な利便性に富んだ情報処理技術の実現を技術的課題とする。
前記課題を解決するために、本発明では、以下の手段を採用した。
（１）本発明に係るプログラムは、情報処理装置において実行されるプログラムであって、該情報処理装置と接続された表示手段に表示された画像を、該情報処理装置の記憶手段に記憶するとともに、該画像が記憶された時点における該情報処理装置の実行環境を、該記憶手段に記憶するステップと、少なくとも該実行環境を特定する特定情報が含まれるコード値および該画像に対応する座標値が定義されたドットパターンと、該画像と、を、重畳して形成するステップと、該ドットパターンを読み取った、該情報処理装置と接続された光学読取手段から、該コード値および座標値を取得するステップと、取得した該コード値の少なくとも一部に定義された該特定情報で該実行環境を特定し、該コード値および座標値に対応する該実行環境を復元するステップと、を、該情報処理装置の制御手段に実行させることを特徴とする。
（２）さらに、前記表示手段に表示された画像は、ポインティング動作が可能な一または複数のソフトウェア実行画像であり、前記実行環境は、該ソフトウェアの実行状況を含み、前記復元するステップは、前記光学読取手段により前記ドットパターンを読み取った時点における該表示手段に表示された画像を替えて、取得した前記特定情報より前記実行環境を復元し、前記コード値および座標値に対応する該ソフトウェア実行画像とするステップであることを特徴とする。
（３）さらに、前記表示手段に表示された画像は、デスクトップ画像であり、前記実行環境は、該デスクトップ画像のアイコンの配置情報を含み、前記復元するステップは、前記光学読取手段により前記ドットパターンを読み取った時点における該表示手段に表示されたデスクトップのアイコンの配置を替えて、取得した前記特定情報より前記実行環境を復元し、前記コード値および座標値に対応する該デスクトップ画像のアイコンの配置と同一の配置とするステップであることを特徴とする。
（４）さらに、前記表示手段は、画像表示面への書き込みが可能であり、前記記憶するステップは、該画像表示面への書き込み操作を該情報処理装置にさらに備えられた認識手段により認識した書き込み画像データを、前記記憶手段に記憶するステップをさらに含み、前記形成するステップは、該書き込み画像を、前記コード値および座標値を定義するドットパターンと、前記画像と重畳して形成するステップであり、前記復元するステップは、取得した前記特定情報より前記実行環境を復元し、該コード値および座標値に対応する該書き込み画像データを該表示手段に表示するステップであることを特徴とする。
（５）さらに、前記画像表示面には、座標値を定義するドットパターンが形成されており、前記認識手段は、該画像表示面への前記光学読取手段による書き込み操作を、該光学読取手段が読み取ったドットパターンが定義する該座標値により前記書き込み画像データとして認識することを特徴とする。
（６）さらに、前記表示手段に表示された画像は、デスクトップ画像であり、前記コード値は該デスクトップ画像上のアイコンへの対応付けを含み、前記実行環境は、該デスクトップ画像上のアイコンに対応するプログラムの実行情報を含み、前記復元するステップは、取得した前記特定情報より前記実行環境を復元し、前記ドットパターンに定義されたコード値に対応する該アイコンに対応するプログラムの実行を行うステップであることを特徴とする。
（７）さらに、前記実行環境は、デスクトップ画像上のアイコンに対応するプログラムの実行情報をさらに含み、前記復元するステップは、前記同一の配置とするステップに加え、取得した前記特定情報より前記実行環境を復元し、前記ドットパターンに定義された座標値を、前記表示手段の座標値に変換し、該表示手段の座標値の位置に、該表示手段に表示されたカーソルを移動し、移動した該カーソルの座標値に位置するアイコンに対応するプログラムの実行を行うステップをさらに含むことを特徴とする。
（８）さらに、前記表示手段に表示された画像は、入力を受け付けるソフトウェアの実行画像であり、前記実行環境は、該ソフトウェアの実行状況および、該実行状況に辿り着くまでにユーザにより入力された階層情報を含み、前記復元するステップは、取得した前記特定情報より前記実行環境を復元し、前記ドットパターンに定義された座標値を、該表示手段の座標値に変換し、該表示手段の座標値に位置するソフトウェアの実行を、前記コード値に対応する該階層情報を踏まえて行うステップであることを特徴とする。
（９）さらに、前記形成するステップは、前記コード値および座標値を定義するドットパターンと、前記画像と、を、媒体に重畳して印刷するステップであることを特徴とする。
（１０）本発明に係る情報処理装置は、実行環境から過去の状態を復元したり、過去の操作を利用できるようにした情報処理装置であって、該情報処理装置は、記憶手段、制御手段を少なくとも有しており、該制御手段は、該情報処理装置と接続された表示手段に表示された画像を、該記憶手段に記憶するとともに、該画像が記憶された時点における該情報処理装置の該実行環境を該記憶手段に記憶し、少なくとも該実行環境を特定する特定情報が含まれるコード値および該画像に対応する座標値を定義するドットパターンと、該画像と、を重畳して形成し、該ドットパターンを読み取った、該情報処理装置と接続された光学読取手段から、該コード値および座標値を取得し、取得した該コード値の少なくとも一部に定義された前記特定情報より前記実行環境を特定し、該コード値および座標値に対応する該実行環境を復元することを特徴とする。
（１１）本発明に係る情報処理システムは、実行環境から過去の状態を復元したり、過去の操作を利用できるようにした情報処理装置と、該情報処理装置と接続された表示手段、光学読取手段から構成される情報処理システムにおいて、該情報処理装置は、記憶手段、制御手段を少なくとも有しており、該制御手段は、該表示手段に表示された画像を、該記憶手段に記憶するとともに、該画像が記憶された時点における該情報処理装置の該実行環境を該記憶手段に記憶し、少なくとも該実行環境を特定する特定情報が含まれるコード値および該画像に対応する座標値を定義するドットパターンと、該画像と、を重畳して形成し、該ドットパターンを読み取った、該光学読取手段から、該コード値および座標値を取得し、取得した該コード値の少なくとも一部に定義された前記特定情報より前記実行環境を特定し、該コード値および座標値に対応する該実行環境を復元することを特徴とする。
（１２）さらに、前記制御手段は、前記表示手段の２以上の隅角部および／または中央に、キャリブレーションマークを少なくとも一時的に表示させ、前記光学読取手段により、前記コード値および座標値を定義するドットパターンと、前記画像と、が重畳して形成された媒体の、該キャリブレーションマークに合致する位置を読み取ると、読み取った位置の該ドットパターンに定義された座標値を、該表示手段上のキャリブレーションマークが表示された位置の座標値に変換し、この処理を該表示手段に表示されたキャリブレーションマークのすべてについて行うことにより、該ドットパターンの座標値を該表示手段の座標値に変換する座標変換関数または座標変換テーブルを求め、その後に該光学読取手段で読み取られるドットパターンの座標値を、該座標変換関数または座標変換テーブルにより該表示手段上の座標値に変換して対応する前記実行環境を復元する処理をさらに含むことを特徴とする。
（１３）さらに、前記表示手段は、プロジェクタと投影ボードから構成され、該投影ボードは、コード値および座標値を定義するドットパターンが形成されており、該投影ボードに前記画像を投影することで、該コード値および座標値を定義するドットパターンと、該画像と、を重畳して形成され、前記制御手段において、該コード値により、該投影ボードを特定することを特徴とする。

（１４）さらに、前記投影ボードは、ホワイトボードであることを特徴とする。
（１５）さらに、前記投影ボードは、フリップチャートであることを特徴とする。
（１６）さらに、前記ドットパターンは、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および／または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび／または該第一の仮想基準線から所定の位置に定義される、直線および／または曲線からなる少なくとも１以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでＸＹ座標値および／またはコード値が定義される情報ドットを配置する工程に従って配列した、ストリームドットパターンを複数並べて形成されることを特徴とする。
これによれば、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、ＸＹ座標値が投影ボードに隙間なく定義され軌跡情報を生成することができる。さらに、文字や五線譜、地図、図形などが投影ボードに印刷され、その線分上をスキャナーペンでなぞるかまたはタッチして操作する場合、その線分に沿ってのみストリームドットパターンを形成することにより、合理的にドットパターンを配置できる。また、ＸＹ座標が定義されたドットパターンを２次元コードとして形成される際（インデックスとして使用）の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
（１７）さらに、前記ストリームドットは、第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と１つのＸＹ座標値および／またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けたことを特徴とする。
これによれば、新たな基準点を設けることにより、ストリームドットパターンの向きと一定情報のまとまりを、情報ドットを使用せず簡易に定義することができ、余計な情報の低減を押さえられる。さらに、新たな基準点の配置により情報ドットの始点となる仮想基準点の位置を正確に示すことができる。
以上説明したように、本発明は、キャプチャした時点におけるパソコンの実行環境を記録しておき、その実行環境とドットパターンとキャプチャ画像とを関係付けておくことで、ユーザの操作の回数を減らし、直感的な復元操作が可能な利便性に富んだ情報処理技術の実現が可能となる。
本発明に係る情報処理システムの構成を概略的に示すブロック図である。 図１の情報処理システムによって実行される情報処理のフローチャートである。 本発明に係る情報処理システムの実施形態を説明する図である。 本発明に係る情報処理システムの実施形態を説明する図である。 キャプチャー画像の例を示す図である。 コード値と起動プログラムとの対応を示すテーブルについて説明した図である。 起動プログラム、階層情報の定義の仕方について説明する図である。 キャリブレーションを行う方法について説明する図である。 本発明に係る情報処理システムの実施形態を説明する図である。 本発明に係る情報処理システムの実施形態を説明する図である。 ドットパターンの例を示す図である。 情報ドットおよびそこに定義されたデータのビット表示の例を示す図である。 ドットパターンのコード値とＸＹ座標値との関係を示す図である。 ドットパターンを形成する工程の一例を順に示すものである。 ドットパターンを形成する工程の一例を順に示すものである。 第一の仮想基準線をベジェ曲線により設ける例を示す図である。 ストリームドットパターンを上下方向に並べた状態の一例について示す図である。 ペン型スキャナの構成の例を概略的に示す図である。
以下、本発明の実施の形態を図面を参照しながら詳述する。
図１は、本発明に係る情報処理システムの構成を概略的に示すブロック図である。
図１の情報処理システムは、情報処理装置１、表示手段９、印刷手段１１、光学読取手段１３から構成され、情報処理装置１は、制御手段３、記憶手段５、認識手段７を備える。
表示手段９は、情報処理装置１と接続され、デスクトップ画像やアプリケーションの実行画像などを表示する。記憶手段３は、表示手段９に表示された画像と情報処理装置１の実行環境を記憶する。認識手段７は、表示手段９の画像表示面が書き込み可能である場合に、ユーザによる書き込み操作を書き込み画像データとして認識する。この書き込み画像データも同様に記憶手段３に記憶されることになる。印刷手段１１および光学読取手段１３は、表示手段９と同様に情報処理装置１と接続される。これらの接続の方式としては、ＵＳＢポートを介した有線による接続の他、赤外線通信、光通信、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＺｉｇＢｅｅ、微弱電波などの無線通信が考えられる。印刷手段１１は、記憶手段３に記憶された画像とコード値および／または座標値を定義するドットパターンを重畳して印刷する。光学読取手段１３は、印刷手段１１により印刷された媒体からドットパターンを画像データとして読み取る。読み取った画像データは、コード値および／または座標値に再び変換される。
図２は、図１の情報処理システムによって実行される情報処理のフローチャートである。
図２において、まず、制御手段３は、ユーザによる操作（情報処理装置１の起動や、ＷＥＢのブラウジング等）に応じて、表示手段９に画像を表示する（ステップＳ２０１）。画像には前述したものの他に、ＦＬＡＳＨや文章・図面、ＷＥＢページ、各種設定、ファイル・フォルダ、実行環境に関する画像が考えられる。
次いで、制御手段３は、ユーザからのキャプチャ操作があるか否かを判別する（ステップＳ２０２）。キャプチャ操作には、情報処理装置１に接続されたキーボードの「プリントスクリーン」ボタンの押下に加え、本発明に係るプログラムを実行するためのアイコンのダブルクリックやキーボードの他のボタンの操作、光学読取手段１３を備えたペン型スキャナに設けられたボタンの操作、ドットコードと各種アイコンが重畳印刷されたペーパーキーボードの読取りなどが挙げられる。
ステップＳ２０２の判別の結果、キャプチャ操作があると、制御手段３は、キャプチャ操作が行われた時点において表示手段９に表示されていた画像を記憶手段５に記憶する（ステップＳ２０３）。また、制御手段３は、画像が記憶された時点における情報処理装置１の実行環境を記憶手段５に記憶する（ステップＳ２０４）。実行環境とは、情報処理装置１の動作環境、プログラムの内容や起動・制御・実行状況、アプリケーションの内容や実行状況、アイコンの配置情報、ＷＥＢページの閲覧状況、ファイルの開閉状況などを指す。
なお、下記に詳述するが、実行環境は種々の階層情報も含み、コード値によりその情報を定義することが可能である。これにより、ユーザはデスクトップ画面から複数回の操作を行わずとも、処理の流れを踏まえた階層部分まで一回のドットパターンの読み取りで移動することができる。
次いで、制御手段３は、ユーザから印刷操作があるか否かを判別する（ステップＳ２０５）。印刷操作には、マウス操作やキーボード入力による他、前記ペーパーキーボードの読取りにより行ってもよい。ペーパーキーボードには、ユーザに印刷を示唆する文字や図形等がドットパターンと重畳的に印刷形成されており、ペン型スキャナで読み取ることで、その文字や図形等と重畳形成されたドットパターンに定義された座標値やコード値により、より分かり易く利便性を高めながら印刷操作を行うことができる。この場合、該当する箇所のドットパターンに定義された座標値やコード値は、リンクテーブルにおいて印刷開始を行う操作命令と関係付けて登録されていることになる。
ステップＳ２０５の判別の結果、印刷操作があると、制御手段３は、ステップＳ２０３において記憶手段５に記憶された画像とコード値および／または座標値を定義するドットパターンとを重畳して、印刷手段１１により印刷する（ステップＳ２０６）。
その際、制御手段３は、ステップＳ２０３において記憶手段５に記憶された画像のどの位置にアイコンやアプリケーション、ＷＥＢページが位置しているのかを認識し、それらが表示されている位置の座標値を算出する。そして、画像のＸＹ座標と印刷媒体のＸＹ座標とを対応させ、表示画像に対応したドットパターンを生成する。
なお、ステップＳ２０６においては、画像に写されたアイコンやウィンドウ毎に異なるコード値を定義するドットパターンを重畳して印刷することが望ましい。
これにより、座標値を用いずに当該コード値から直接アイコンやウィンドウを定義できるため、後に詳述するキャリブレーションを行う必要がなくなる。
次いで、制御手段３は、ステップＳ２０６で形成された印刷媒体の読み取りが光学読取手段１３によりなされ、ドットパターンに定義された座標値または、コード値および座標値の送信があるか否かを判別する（ステップＳ２０７）。
ステップＳ２０７の判別の結果、座標値または、コード値および座標値の送信があると、次いで、ユーザによるボタン操作があるか否かを判別する（ステップＳ２０８）。ボタン操作とは、ペン型スキャナに設けられたボタンの操作（押下、スライド、長押し、二回押しなど）をいうが、これに代えてペーパーキーボードの読み取りや、ドットパターンの読取りの前にモード変更を行ってボタン操作の有無（ステップＳ２０８）を判別せずに処理を行ってもよいことはもちろんである。
ステップＳ２０８の判別の結果、ボタン操作があると、制御手段３は、ドットパターンの座標値を、表示手段９の座標値に変換する（ステップＳ２０９）。
その際、前述したステップＳ２０６での座標値の算出による画像のＸＹ座標と印刷媒体のＸＹ座標の対応を記憶しておき、対応付けに使用した数式を用いて変換を行うことが望ましい。
次いで、制御手段３は、表示手段９に表示されているカーソルを変換した表示手段９の座標値の位置に移動させる（ステップＳ２１０）。
次いで、制御手段３は、ユーザによるクリック操作があるか否かを判別する（ステップＳ２１１）。クリック操作とは、ペン型スキャナに設けられたボタンの押下や、ペーパーキーボードに形成されたクリックアイコンの読み取りなどが考えられる。
ステップＳ２１１の判別の結果、クリック操作があると、表示手段９に表示されているカーソルの位置にあるアイコンのプログラムの起動などを行う（ステップＳ２１２）。カーソルの位置にあるアイコンが例えばＷＥＢブラウザである場合には、当該ブラウザを起動する。起動を終えた後は再びステップＳ２０７以降の処理を繰り返す。
ステップＳ２０８の判別の結果、ボタン操作がないと、制御手段３は、送信されたコード値および／または座標値に対応する実行環境の復元を行う（ステップＳ２１３）。例えば、第一のコード値が送信された場合には、ステップＳ２０２乃至ステップＳ２０４等のデスクトップ環境に情報処理装置１のデスクトップ環境を復元する。ユーザは、ペン型スキャナで印刷媒体タッチすると、すぐにその印刷媒体に印刷されている環境へ情報処理装置１を復元させることができるため、容易に過去の環境下でパソコン操作を行える。印刷媒体に印刷された画像と表示手段９に表示された画像とが対応すれば、その後は座標値によるポインティング操作や、第二のコード値による各種ソフトウェアの実行などが可能となる。
また、例えば、光学読取手段１３により印刷媒体を読み取った箇所にドキュメントの作成途中のウィンドウが印刷されているときは、制御手段３は、ステップＳ２０４で記憶した実行環境を元に、当該ドキュメントを表示手段９に表示することになる。当該ドキュメントがステップＳ２０４〜ステップＳ２１３の間に削除されていたとしても、ステップＳ２０４で情報処理装置１の実行環境を記憶しているため、当該ドキュメントを表示手段９に表示することが可能である。
当該ドキュメントの基本的なソフトウェアが削除等されている場合は、ドキュメントを閲覧することができないため、その場合はドキュメントのウィンドウを薄く表示したり、注意のメッセージなどを表示することが望ましい。また、別の拡張子（ＷＯＲＤ⇔ＰＤＦ）で削除されたファイルと同様の内容が保存してあるデータがあれば、ファイル名を検索して表示することも可能である。また、各種ボタンの操作によって、当該ドキュメントの最新版を表示させることもできる。
また、例えば、ステップＳ２０６において、画像に写し出されたアイコンやウィンドウのそれぞれに異なるコード値を定義するドットパターンを重畳して印刷していた場合（画像全体を特定するコード値のみではなく、画像全体の中のアイコンやウィンドウを特定するコードも定義していることになる）、画像全体を特定するコード値により数あるキャプチャ画像から本印刷媒体と対応する画像、実行環境を特定し、その中のアイコンまでも特定することができる。そのため、上述したような、ステップＳ２０２乃至ステップＳ２０４等のデスクトップ環境に情報処理装置１のデスクトップ環境を復元し、座標値によるポインティングでアイコンやウィンドウを特定する必要が無く、直接的に過去の実行環境下におけるドキュメントの閲覧やファイルの参照などを行うことができる。
ステップＳ２１３により実行環境を復元すると、本処理が終了する。
本処理が終了した後、ステップＳ２０７に戻ってもよい。例えば、同じ印刷媒体に基づいて繰り返し復元を行うような場合には、毎回の復元の際にステップＳ２０１〜ステップＳ２０６を行う必要はなく、ユーザビリティの向上が期待できる。また、ステップＳ２１３を繰り返し行ってもよい。また、ステップＳ２０９〜ステップＳ２１２の処理をステップＳ２１３で復元した実行環境内で行ってもよい。
図３（ａ）において、表示手段としての液晶ディスプレイ１９は、例えば情報処理装置１の制御手段３によりＯＳを起動した結果表示されるデスクトップ画像を表示している。デスクトップ画像には、スタートボタンと各種アイコン（ドキュメントの閲覧・生成、ＷＥＢブラウザ等のプログラムを実行する）が写っている。
情報処理装置１には、ＵＳＢポートを介して印刷手段１１（プリンタ）が接続されており、当該印刷手段１１は通常の印刷に加え、例えばステルスインクを使用したドットパターンの印刷を行うことができる。
ドットパターンのドット印刷には、赤外線を吸収するステルスインク（見えないインク）もしくはカーボンブラックにより、通常のグラフィックやテキストの印刷に用いられるインクは、赤外線を反射または透過するノンカーボンインクによることが望ましい。
通常の印刷工程にドット印刷を１工程加えるだけで特殊な印刷技術は必要なく、オフセット印刷機からインクジェットプリンタまでほとんどの印刷機で印刷可能である。
ドットパターンは直径０．０４mm（インクジェットプリンタでは０．０５mm程度）の極小ドットで構成され見えにくく、高品位出力用に開発された無色透明の赤外線吸収ステルスインクを使用すればドットを完全に見えなくすることもできる。
また、インクも印刷工程も全く変更したくない場合（４色印刷）、ＣＭＹＫのＫ（カーボンブラック）をドットに使用する。この際、ＣＡＤ図面や文字・記号・図形、地図、写真、グラフィックにＣＭＹを使用して、その上にＫでドットを印刷すればよい。黒色は、ＣＭＹを１００％混ぜてコンポジットブラックで表現する。しかし、完全な黒を再現することができないため、黒が強調されず、締まらない絵となる場合がある。また、ドットが印刷された領域はＫでドットを印刷するため網点状になり、よく見ると薄いグレーがかった絵柄となる。これを解消するには、必要最小限の領域にのみドットを印刷し、ドットを印刷しない領域は従来どおりＣＭＹＫを使えばよい。ただし、ドットを印刷した限定した領域にのみしかスキャナをタッチできないことになる。
また、赤外線領域で反応するインクを使用しコピーできないため、セキュリティを高次元で維持することが可能である。印刷媒体としては、印刷する紙の種類は問わず、アート紙、マット紙、上質紙、普通紙、新聞紙、印画紙、プリンタ用紙など、どんな紙に対してもドット印刷が可能であり、また、紙以外でも、伸び縮みしない媒体であれば何にでも印刷可能である。
図３（ａ）においては、図２のステップＳ２０１〜ステップＳ２０６の処理のイメージを概略的に示している。液晶ディスプレイ１９に表示された画像をキャプチャして、キャプチャ操作を行った時点における情報処理装置１の実行環境と共にキャプチャ画像を記憶手段５に記憶し、ユーザによる印刷操作があったときに印刷手段１１から印刷媒体２１を生成する。もちろん、印刷操作の有無を判別せずに、キャプチャ操作が行われたときは自動的に図２のステップＳ２０２〜ステップＳ２０６までを行ってしまってもよい。印刷媒体２１には、前述したとおりキャプチャ画像とドットパターンが重畳印刷されている。
このとき、印刷手段１１にさらに設けられた制御手段により、各アイコン毎に異なるコード値を定義するドットパターンを貼り合わせて印刷してもよい。コード値で各アイコンを定義する事で、座標値をドットパターンに定義することなくユーザはプログラムを実行することができる。また、ドットパターンの座標値と表示手段上の座標値を対応させる必要が無く、処理速度の向上も図ることができる。
図３（ｂ）においては、図３（ａ）において生成された印刷媒体２１を用いた情報処理方法を概略的に示しており、図２のステップＳ２０７、ステップＳ２０８、ステップＳ２１３の処理のイメージに対応するものである。
情報処理装置１には、例えばＢＬＵＥＴＯＯＴＨ（登録商標）を用いた無線通信で、少なくとも光学読取手段１３を備えたペン型スキャナ３３が接続されている。
ユーザがペン型スキャナ３３で印刷媒体２１を読み取ると、当該ペン型スキャナ３３は、タッチした箇所の赤外線吸収インクで印刷されたドットのみを読み取ってコード値および／または座標値に変換する。変換したコード値および／または座標値は情報処理装置１に無線通信により送信される。
液晶ディスプレイ１９には、図３（ａ）において表示されていた画像、すなわち印刷媒体２１に印刷された画像とは異なるアイコンの配置のデスクトップ画像が表示されており、キャプチャ操作をした時点とは実行環境が異なっている。そのため、制御手段３は、キャプチャ操作をした時点における実行環境を全て復元するのか、タッチしたアイコンのプログラムをキャプチャ操作をした時点における実行環境で実行するのか、もしくは現在の実行環境で実行するのか、またはタッチした箇所のドキュメントが消去されているため使用不可であることをユーザに通知するのか、もしくは当該ドキュメントの最新版を表示するのか、などを所定の操作により切り替えることが望ましい。
例えば、ペン型スキャナ３３にさらに設けられたボタンの操作方法（半押し、長押し、二回押しや、押下したまま印刷媒体２１をタッチするなど）により切り替えを行うか、複数のボタンにそれぞれの機能を担わせる（復元ボタンなどを設ける）ことが考えられる。もちろん、分かりやすい説明文やグラフィックを挿入したペーパーキーボードをタッチすることでモードの切り替えを行ってもよい。印刷媒体２１にそのようなペーパーキーボードを印刷してもよい。
図３（ｂ）図示例では、キャプチャ操作をした時点における実行環境に復元する処理を行っている。すなわち、液晶ディスプレイ１９に表示されたアイコンの配置を、印刷媒体２１におけるアイコンの配置と同一の配置とする処理を行っている。印刷媒体２１におけるアイコンに対応するプログラムが現在の情報処理装置１内にないときは、現在あるアイコンのみを印刷媒体におけるアイコンの配置とすることが望ましい。実行環境の復元を行った後は、図２のステップＳ２０９〜ステップＳ２１２までの処理（マウスモード）を中心にユーザはパソコン操作を行うことになる。もちろん、印刷媒体２１に座標値が定義されている場合、実行環境を復元せずとも、ペン型スキャナ３３を用いてポインティングデバイスとして機能させてもよい。通常のマウスのように、相対的な移動量によりポインティングを行わず、印刷媒体２１の座標値と液晶ディスプレイ１９上の座標値との関係でポインティングを行うため、ユーザは直感的な絶対値によるポインティングが可能になる。なお、この場合はペン型スキャナ３３にマウスボタンを設け、マウスモードと復元モード（図２のステップＳ２１３を実行する）の切り替えを行うことが望ましい。
図４（ａ）は、図２のステップＳ２０１〜ステップＳ２０６の処理のイメージを概略的に示す図であり、図４（ｂ）は、図２のステップＳ２０７、ステップＳ２０８、ステップＳ２１３の処理のイメージを概略的に示す図である。構成が図３と基本的に同じであり、同一の構成要素については重複説明を省略し、以下に図３と異なる部分についてのみ説明する。
図４においては、液晶ディスプレイ１９に表示されたデスクトップ画像には、複数のアイコンと「ビジネスモデル特許について」というタイトルのＷｏｒｄファイル作成中のウィンドウが写されている。デスクトップ画像をキャプチャして印刷媒体２１を生成し（図示例（a））、印刷媒体２１上のＷｏｒｄファイル作成中のウィンドウをペン型スキャナ３３でタッチすると、液晶ディスプレイ１９にはそのウィンドウが表示されることになる（図示例（b））。なお、前述した所定の操作（例えばボタンを押下したままタッチする）により、最新Versionを表示するかキャプチャ操作が行われた時点のVersionを表示するかを切り替えることができる。
図５は、表示手段に表示される画像の例、すなわちキャプチャー画像の例を示す図である。（ａ）は、ブラウザウィンドウとワードプロセッサのウィンドウが写し出されており、図（ｂ）は、各種アイコンとＣＡＤを実行中のウィンドウが写し出されている。また、（ｃ）は、「お気に入り」というフォルダ名のフォルダウィンドウと「Ｇｒｉｄｍａｒｋ」のホームページを表示したウィンドウが写し出されており、（ｄ）には、航空チケットの予約画面が全面に写し出されている。
本図示例（ｄ）のような、航空チケットの予約画面などの入力を受け付けるソフトウェア（ブラウザ等）の実行画像の場合、その画像にたどり着くまでに入力した情報が重要な意味を持つ。そのため、直接その画像（画面）を特定するのではなく、そこにたどり着くまでの課程も記憶しておき、その画面までたどり着く必要がある。そこで、コード値に、どのような経路で現在の画面までたどり着いたのかを保持するデータとしての階層情報を定義することが望ましい。通常のＷＥＢの検索結果表示画面のように、処理の流れに特段の必要性がない場合は、階層情報を踏まえずに直接その画面を復元しても問題ない。また、その他、処理の流れが一経路しかない場合またはソフトウェアがオブジェクト指向である場合にも直接画面を復元することができる。
例えば、ユーザが印刷媒体のうち、「フライト」や「お客様情報」と書かれた部分をペン型スキャナでタッチすると、ドットパターンに定義されたコード値により、この画面にたどり着くまでに入力されてきた搭乗日や姓名などの階層情報を踏まえて当該画面を表示手段に復元する。次いで、性別と書かれた欄の中にある「男」の部分にある○をタッチすると、ドットパターンに定義された座標値が表示手段の座標値に変換され、一般的なマウスで当該部分をクリックしたように入力の結果が表示手段に表示されることになる。もちろん、初めに「男」の部分にある○をタッチしたとき、キャプチャ操作をした時点における実行環境を復元せずに、当該タッチ入力の結果表示される画面を表示手段に表示してもよい。
このように、キャプチャ画像の構成は数限りない組み合わせが存在し、本発明の範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
図６（ａ）は、コード値と起動プログラムとの対応を示すテーブルについて説明した図である。ドットパターンが生成されると、記憶手段内に、例えばドットパターンのコード値とアイコンが意味する起動プログラム（アイコンの機能）とを対応させたテーブルが生成される。例えば、ワードプロセッサを示すアイコンに対応したドットパターンが生成され、コード値０００１が割り当てられると、コード値０００１と起動プログラムＷａｒｐｒｏ．ｅｘｅとが対応したテーブルが作成される。インターネット、表計算を示すアイコンに関しても同様である。このようなテーブルが作成されことにより、ユーザが、例えば、図３（ｂ）に示した印刷媒体２１のグラフの絵をスキャナによりクリックすると、表計算プログラムが起動する。
図６（ｂ）は、コード値・座標値と起動プログラムとの対応を示すテーブルについて説明した図である。ＸＹ座標値で起動プログラムを特定し、コード値でプログラムの階層情報を定義することができる。
当該起動プログラム、階層情報の定義の仕方については、適宜図７を参照しながら以下説明する。
まず、ＸＹ座標値で起動プログラムを定義するためには、印刷媒体２１上のドットパターンに定義された座標値からindexを定義しなければならない。図７（ａ）は、印刷媒体２１上に形成された矩形領域（アイコンやウィンドウを想定している）の範囲内をユーザがペン型スキャナでタッチした場合のindexの定義方法について説明している。本図示例において、座標〔Ｘ、Ｙ〕はペン型スキャナでタッチした位置を表し、座標〔Ｘ1、Ｙ1〕は矩形領域の最小点を表し、座標〔Ｘ2、Ｙ2〕は矩形領域の最大点を表している。
このとき、座標〔Ｘ、Ｙ〕が〔125、225〕である場合、〔Ｘ1≦Ｘ≦Ｘ2〕＝〔100≦125≦200〕、〔Ｙ1≦Ｙ≦Ｙ2〕＝〔200≦225≦300〕となり、座標〔Ｘ、Ｙ〕が矩形領域内に有ることが分かる。よって、indexが５６３と定義され、ＸＹ座標値で起動プログラムを特定することができる。
次に、コード値でプログラムの階層情報を定義する。コード値で階層情報を定義するためには、あるプログラムを起動した直後の画面を０、そこから進んだ画面を１、ある情報が入力された画面では１１、というように画面毎にコード値を振り分けていけばよい。
図６（ｂ）図示例の上段においては、ＸＹ座標値「０１１００１１１」により起動プログラム「Chrome.exe」を定義し、コード値「０００１」によりＷＥＢページの階層情報「http://www.gridmark.co.jp/」を定義する。下段においては、コード値「０００２」により「http://www.gridmark.co.jp/sol/」を定義する。
なお、矩形領域内のindexを定義するためには、少なくとも最小値と最大値の座標を登録した座標テーブルが必要になり、アイコンやウィンドウの形状が矩形でない場合は、座標テーブルにさらに複数点の基準となる座標（〔Ｘ3、Ｙ3〕…）を設け、indexを定義する必要がある。そのため、indexをダイレクトで定義する事ができるコード値をドットパターンに定義することが望ましい。
図８は、印刷媒体２１と液晶ディスプレイ１９に表示された画像とのキャリブレーションを行う方法について説明する図である。
印刷手段１１によるドットパターンとキャプチャー画像の重畳印刷の際、ドットパターンが定義する座標値と液晶ディスプレイ１９上の座標値が正確に対応した形で印刷媒体２１が形成されていればよいが、印刷用紙の大きさによりあるいは印刷用紙の挿入の際や、液晶ディスプレイ１９の解像度等、なんらかの事情で正確な印刷ができない場合がある。そこで、情報処理装置１の制御手段３は、ユーザからキャリブレーションの指示があった場合もしくは背景画像が表示されている箇所のみを複数回タッチした場合などにキャリブレーションを行う必要がある。
まず、液晶ディスプレイ１９上の任意の箇所にキャリブレーションマーク３５を図のように表示させる。より少ないタッチでキャリブレーションを行うためにも、キャリブレーションマークはユーザがタッチしやすい隅角部および／または中央に、一時的に表示させて行うことが望ましい。
次いで、ユーザは、印刷媒体２１上のキャリブレーションマークと合致する位置をペン型スキャナ３３を用いて図のようにタッチする。タッチした箇所のドットパターンがペン型スキャナ３３内の光学読取手段１３により読み取られ、無線通信を介して情報処理装置１に定義された座標値が送信される。制御手段３は、送信された座標値と液晶ディスプレイ１９に表示された画像上の座標値とを対応させる処理を行い、ユーザはこのタッチ操作をすべてのキャリブレーションマークにおいて行う。本図示例においては、４箇所にキャリブレーションマークを表示させており、ユーザが４箇所全てのキャリブレーションマークをタッチすると、制御手段３は、ドットパターンの座標値を液晶ディスプレイ１９上の座標値に変換する座標変換関数または座標変換テーブルを求めることができる。
座標変換関数または座標変換テーブルが求まれば、以後ペン型スキャナ３３で読み取られるドットパターンの座標値は、液晶ディスプレイ１９の座標値に変換され、対応する箇所に写されているアイコンのプログラムの実行などを行うことになる。
その際、ドットパターンにコード値（キャプチャ画像全体を特定する）が定義されている場合には、キャリブレーションによるドットパターンの座標値から液晶ディスプレイ１９に表示された画像の座標値への座標変換関数または座標変換テーブルをコード値と関係付けておくことが望ましい。なお、印刷段階において、画像のＸＹ座標と印刷媒体のＸＹ座標とを対応させ、表示画像に対応したドットパターンを生成するときに使用した座標変換関数または座標変換テーブルをコード値に対応させて記憶手段５に記憶させておき、再度読み取った時にコード値から座標変換関数または座標変換テーブルを読み出して座標値の変換をおこなうことも可能である。
図９は、第二の実施例について説明する図である。
図９は、構成が図３と基本的に同じであり、同一の構成要素については重複説明を省略し、以下に図３と異なる部分について説明する。
図９において、表示手段は、図３図示例の液晶ディスプレイとは異なり、ホワイトボード２５と液晶プロジェクタ３１とからなる。ホワイトボード２５には、書き込み操作を認識するためのドットパターンが形成されている。当該ホワイトボードを特定する必要がある場合にはこのドットパターンにコード値を定義してもよい。もちろん、一枚だけであればその媒体を特定する必要はないため、コード値を定義しなくてもよい。
また、情報処理装置１には、画像表示面への書き込み操作を書き込み画像データとして認識する認識手段がさらに備えられている。この認識手段は、ユーザによるペン型スキャナ３３を用いたホワイトボードへの書き込み操作（ボードをなぞったり、タッチする）を、ペン型スキャナ３３内の光学読取手段が読み取ったドットパターンが定義する座標値の変化等により書き込み画像データとして認識する。
なお、図３図示例の場合には、液晶ディスプレイにタッチパネルを設け、ユーザの書き込み操作を感知して認識手段へ情報信号として出力し、書き込み画像データとして認識することができる。
ユーザによる書き込み操作が行われた後、キャプチャ操作が行われた時には、認識された書き込み画像データをキャプチャ画像および情報処理装置１の実行環境と共に記憶手段に記憶する。
次いで、印刷操作がされたときは、書き込み画像とコード値および／または座標値を定義するドットパターンとキャプチャ画像とを重畳して印刷手段１１により印刷する。なお、書き込み画像は、ユーザの希望により印刷してもしなくてもよい。
次いで、図のような印刷媒体２１をペン型スキャナでタッチすると、例えば全面に定義されたコード値によりキャプチャ操作をした時点における実行環境が復元される。書き込み画像の表示は、印刷媒体２１に表示のＯＮ／ＯＦＦを切り替えるペーパーキーボードを印刷しておき、ペン型スキャナによるタッチで行ってもよい。
その後は、ホワイトボードのドットパターンあるいは印刷媒体のドットパターンをペン型スキャナでタッチして対応するアイコンのプログラムや、再度書き込み操作を行い、更新した内容・画像を再び記憶し印刷していく。
なお、本図示例では、情報処理装置のデスクトップ画像が表示されているが、図面や地図や教科書など、教育機関で用いられる資料やその抜粋などを表示することで、利便性に富んだ操作で学習効率の向上が期待できる。毎回の授業の日付や時間などを書き込み操作で印刷媒体２１に印刷しておき、それら複数の印刷媒体２１をファイリングしておけば、印刷媒体２１を後日タッチするだけでその当時の学習内容などが表示され、復習も容易となる。
図１０は、第三の実施例について説明する図である。
図１０は、構成が図３、図９と基本的に同じであり、同一の構成要素については重複説明を省略し、以下に図３、図９と異なる部分について説明する。
図１０において、表示手段は、図３の液晶ディスプレイ、図９のホワイトボードとは異なり、フリップチャート２７と液晶プロジェクタ３１とからなる。フリップチャート２７は、数十枚の用紙２９が重なって表示部分を構成しており、用紙２９には書き込み操作を行うためのドットパターンが形成されている。このドットパターンには、例えば用紙２９を特定するコード値と座標値が定義されている。
フリップチャート２７を利用した本実施例では、予めドットパターンが印刷されている用紙２９を、書き込み操作およびペン型スキャナによる読取りの媒体（図示例３の印刷媒体２１）として使用するため、上述したような各種アイコンのそれぞれにコード値を定義するような使い方ができない。そのため、使用前に図８に図示したキャリブレーションを行うことが必要である。
図１０（ａ）は、鉛筆３７で「経営会議」という文字を記載し、ペン型スキャナ３３で「（１）海外販売網の強化」、「（２）〜」、「（３）〜」、「（４）〜」という文字を記載した例を示している。ペン型スキャナ３３で書き込み操作を行った部分においては、書き込み操作で連続して読み取られたドットパターンの座標値の変化から情報処理装置１の認識手段が書き込み操作を認識し、それにより記憶された書き込み画像データを液晶プロジェクタ３１より投影してフリップチャート２７上の用紙２９に表示している。
図１０（ｂ）では、図１０（ａ）の環境を復元するための操作の流れを概略的に表している。ユーザは、図１０（ａ）で書き込みを行った用紙２９をはがして図３図示例の印刷媒体２１のように使用する。用紙２９には、鉛筆３７による書き込みのみが残っており、ユーザはこの書き込みの内容で当該用紙２９がいつ使用したものなのかを把握することができる。もちろん、用紙２９の使用時期等を忘れてしまった場合でも、当該用紙２９にはコード値が定義されているため、ペン型スキャナ３３で読み取ればそのときの内容が復元される。そのほか、用紙２９には、例えば経営会議の後に集めた資料３９（写真など）を貼り付けておくことができる。
次いで、はがした用紙２９をタッチすることで、ドットパターンが形成された、現在フリップチャート上にある用紙２９とキャプチャ画像とを重畳して形成することができる。当該ステップは、図２図示例のステップＳ２０６と対応するものである。重畳して形成した後は、そのまま現在フリップチャート上にある用紙２９を用いて新たな書き込み操作やアプリケーションの実行を行ったり、はがした用紙２９をポインティングデバイスとして用いて過去の実行環境を復元等することが可能である。例えば、ドットパターンと重畳して形成した投影ボードに表示された画像をタッチすることで、画像表示面に印刷されたドットパターンが読み取られ、タッチした画像がアイコンである場合には、そのアイコンに対応するプログラムを実行することになる。
以上のような構成により、過去の複数の日時にキャプチャされた画像およびそこに写し出された資料等をタッチ操作のみで簡単に切り替え、照らし合わせながら、前述した資料３９（写真やグラフ）や鉛筆３７で書き込んだ内容を併せて参照することが可能となり、紙媒体としての利便性とデータの利便性の双方を両立させることが可能となる。
図１１において、本発明に係るドットパターンの例（ＧＲＩＤ５）を示す。図１１（ａ）において、ドットパターンにおける、基準点ドット７３ａ〜７３ｅ、仮想基準点７４ａ〜７４ｄ、および情報ドット７２の位置関係を示す。
当該ドットパターンは、ブロックの形状により、ドットパターンの方向を定義したものである。ＧＲＩＤ５では、まず基準点ドット７３ａ〜７３ｅが配置される。基準点ドット７３ａ〜７３ｅを順に結ぶ線により、ブロックの向きを示す形状（ここでは上方を向いた５角形）が定義される。次に、基準点ドット７３ａ〜７３ｅの配置に基づき、仮想基準点７４ａ〜７４ｄが定義される。次に、仮想基準点７４ａ〜７４ｄのそれぞれを始点として方向と長さを有するベクトルが定義される。最後に、ベクトルの終点に情報ドット７２が配置される。
このように、ＧＲＩＤ５では、ブロックの向きを基準点ドット７３ａ〜７３ｅの配置の仕方によって定義することができる。そしてブロックの向きが定義されることにより、ブロック全体の大きさも定義される。
図１１（ｂ）において、ブロックの仮想基準点７４ａ〜７４ｄ上に情報ドット７２があるか否かにより、情報を定義する例を示す。
図１１（ｃ）において、ＧＲＩＤ５のブロックを縦横方向に２個ずつ連結した例を示す。ただし、ブロックを連結して配置する方向は、縦横方向に限定されず、いかなる方向に配置して連結してもよい。
なお、図１１においては、基準点ドット７３ａ〜７３ｅおよび情報ドット７２は、全て同一形状として示しているが、基準点ドット７３ａ〜７３ｅと情報ドット７２とは、異なる形状でもよく、例えば、基準点ドット７３ａ〜７３ｅが、情報ドット７２よりも大きな形状としてもよい。また、基準点ドット７３ａ〜７３ｅと情報ドット７２とは、識別可能であればいかなる形状としてもよく、円形、三角形、四角形、またはそれ以上の多角形としてもよい。
図１２（ａ）は情報ドットおよびそこに定義されたデータのビット表示の例を示す図である。
情報ドットについて基準点ドットから導き出された仮想基準点から短（図の上段）・長（図の下段）の２種類を使用し、ベクトル方向を８方向とすると、４ビットを表現することができる。このとき、長い方が隣接する仮想基準点間の距離の２５〜３０％程度、短い方は１５〜２０％程度が望ましい。ただし、長・短の情報ドットの中心間隔は、これらのドットの径より長くなることが望ましい。
情報ドットは、その見栄えを考慮し、１ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、１ベクトル毎に、１ビットを割り当てて情報ドットを複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円８方向のベクトルでは、基準ドットから定義された情報ドットで２８の情報を表現でき、１の一定情報のまとまりの情報ドットで２６４となる。
図１２（ｂ）は情報ドットおよびそこに定義されたデータのビット表示の例であり、〈１〉はドットを２個、〈２〉はドットを４個および〈３〉はドットを５個配置したものを示すものである。
図１３は、ドットパターンのコード値とＸＹ座標値との関係を示している。
図１３（ａ）は、本ドットパターンのＣ０〜Ｃ３１までの３２ビットに定義される値を
表で示したものである。同図に示すようにＣ０〜Ｃ７がＹ座標、Ｃ８〜Ｃ１５がＸ座標、
Ｃ１６〜Ｃ２９がコード値、Ｃ３０〜Ｃ３１がパリティをそれぞれ意味している。
これらの数値は、（ｂ）に示す格子領域に配置される。
図１４、図１５は、本発明に係るドットパターンの例（ストリームドット）を形成する工程の一例を順に示すものである。
本発明に係るドットパターンは、上記のドットパターン（ＧＲＩＤ５）とは異なり、まず工程１として媒体表面上の可視的な情報（例えばウィンドウやアイコン）に対応して、情報を入出力させたい箇所に基準ドット４０を線状に連続して複数個配置する。
図１４（ａ）では基準ドット４０を曲線状に配置しているが、基準ドット４０の配置はこれに限定されるものではなく、直線と曲線を織り交ぜたり、複数の線分により構成される折れ線状にするなど、情報を入出力させる領域にあわせた形状にドットパターンを形成するための種々の変更が可能である。
また、媒体表面上に可視的に形成された実在線上に基準ドット４０を配置してもよいし、実在線に沿って所定の規則により基準ドット４０を配置してもよい。
なお、基準ドット４０は読取り精度向上の観点から、等間隔に配置することが望ましいが、これに限定されるものではなく、複数の間隔を混在させてドットパターンの一定情報のまとまりを定義したり、一定情報のまとまり内における３つの異なる基準ドットの配置間隔によりドットパターンの一定情報のまとまりとドットパターンの方向の両方を定義することも可能である。
次に、工程２として、線状に配置された基準ドット４０を結ぶ、第一の仮想基準線４２を設ける。図１４（ｂ）では第一の仮想基準線４２を曲線により設けているが、第一の仮想基準線４２はこれに限定されるものではなく、曲線状に配置された基準ドット４０に対して直線の第一の仮想基準線４２を設けてもよいし、直線状に配置された基準ドット４０に対して曲線の第一の仮想基準線４２を設けてもよい。すなわち、後述する工程３〜工程５における第二の仮想基準線４４、仮想基準点７４、情報ドット７２をどの位置に配置するかによって、基準ドットを結ぶ、直線、折れ線および/または曲線からなる第一の仮想基準線４２を自由に定義することが可能である。
なお、図１６に例を示すように、曲線である場合の第一の仮想基準線４２は、ベジェ曲線によることが望ましい。
すなわち、まず、第一の仮想基準線上にある基準ドットをＰ０、Ｐ３とし、Ｐ１、Ｐ２を与えられた制御点とする。次に、制御点を順に結んで得られる３つの線分・Ｐ０―Ｐ１、Ｐ１―Ｐ２、Ｐ２―Ｐ３・をそれぞれ１対１の比率で分割する点Ｐ４、Ｐ５、Ｐ６を求める。そして、これらの点を順に結んで得られる２つの線分・Ｐ４―Ｐ５、Ｐ５―Ｐ６・を、それぞれ１対１の比率で分割する点Ｐ７、Ｐ８を求める。
最後に、この２点を結ぶ線分・Ｐ７―Ｐ８・をさらに１対１の比率で分割する点Ｐ９を求め、この点がベジェ曲線上の点となる。
この手順を繰り返し行うことで、Ｐ０、Ｐ１、Ｐ２、Ｐ３を制御点とするベジェ曲線が得られる。
なお、ベジェ曲線に限らず、スプライン関数を利用して求められるスプライン曲線、n次多項式、楕円弧など、種々のアルゴリズムを用いて第一の仮想基準線を設けてもよい。
また、後述する第二の仮想基準線においても、第一の仮想基準線と同様に当該方法を用いて曲線を定義することが可能である。
次に、工程３として、線状に配置された基準ドット４０および／または第一の仮想基準線４２から所定の位置に定義される第二の仮想基準線４４を設ける。図１４（ｃ）では第二の仮想基準線４４を、隣り合う基準ドット４０の中間点における第一の仮想基準線４２の接線に対して垂直線上の所定位置に向かって、隣り合う基準ドット４０から任意の角度をもって設けているが、第二の仮想基準線４４はこれに限定されるものではなく、後に示すようにドットパターンにより情報を入出力させたい領域に合わせて仮想基準点を設けるために、種々の方法により定義することが可能である。
また、第一の仮想基準線４２に対して片側のみに第二の仮想基準線４４を設けてドットパターンの方向を定義してもよいし、情報量を増やすために両側各々に設けてもよい。
次に、工程４として、第二の仮想基準線４４上の所定の位置に複数の仮想基準点７４を設ける。図１５（ａ）では仮想基準点７４を、第二の仮想基準線４４の交点、すなわち隣り合う基準ドット４０を結んだ直線を底辺とし、第二の仮想基準線４４を対辺とする二等辺三角形の頂点に設けているが、仮想基準点７４の位置はこれに限定されるものではなく、第二の仮想基準線４４の中点に設けたり、第二の仮想基準線４４上に代えて基準ドット４０上に設けるなど、種々の変更が可能である。
そして、工程５として、仮想基準点７４を始点としてベクトルにより表現した終点に情報ドット７２を配置する。図１５（ｂ）では情報ドット７２を、仮想基準点７４からのベクトル方向を８方向、仮想基準点７４からの距離が等距離となるよう、一個の仮想基準点７４に対し１個配置しているが、情報ドット７２の配置はこれに限定されるものではなく、仮想基準点７４上に配置したり、ベクトル方向を１６方向として配置したり、一個の仮想基準点７４に対し２個配置するなど、任意の方向に任意の長さに、複数配置することが可能である。
このように、本発明に係るストリームドットパターンは、従来のドットパターンにおける格子状に形成される基準ドットとは異なり、曲線を含む線状に連続して配置された基準ドットに基づいて形成される。
これにより、ドットパターンが２次元コードとして形成される矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状のドットパターンを形成することが可能となる。
なお、本発明に係る仮想基準線及び仮想基準点は、実際に媒体表面上に印刷形成されるわけではなく、あくまでコンピュータの画像メモリ上に、ドットパターンの配置の際、またはドットパターンの読み取りの際に仮想的に設定されるものである。
図１７は、ストリームドットパターンを上下方向に並べた状態の一例について示す図である。
同図では、基準ドット、情報ドットの他に、キードットおよびサイドドットを配置している。キードットは、一定情報のまとまりの両端に配置されたドットである。このキードットは、ひとまとまりの情報ドット群を表す１領域分のドットパターン１の代表点である。サイドドットは、キードット２のずれの正負の延長線上に配置されたドットである。
同図（ｂ）は、基準ドットおよびストリームドットパターンを等間隔に並べている。このように、基準点の間隔が一定のストリームドットパターンが複数並べて形成されることにより、ＸＹ座標値が隙間なく定義される。しかし、本発明に係るストリームドットパターンはこれに限らず、同図（ａ）に示すように、ドットパターン同士の間隔を任意に設定してよい。また、基準ドット同士の間隔も、任意に設定することができる。
これにより、ＸＹ座標が定義されたドットパターンを２次元コードとして形成される際（インデックスとして使用）の矩形領域の形状に制約されることなく、媒体表面上に可視的に形成された情報領域に合わせた自由な形状での一定情報のまとまりの繰り返しによるドットパターンを形成することが可能となる。
図１８は、ペン型スキャナ３３の構成の例を概略的に示す図である。
ペン型スキャナ３３には、バッテリー５０、スピーカ５２、ＰＣＢ５４が内設されている。ＰＣＢ５４上には中央処理装置（ＣＰＵ）とメモリが面付実装されている。また、ペン型スキャナ３３の後端（図で左上部）には音声データ入力用のマイク５６が内蔵されている。図示は省略したが、メモリカートリッジを着脱可能に装着してもよく、ＲＯＭカートリッジ、マイクユニットカートリッジ等に交換可能である。
表面には、ボタン５８ａ〜５８ｆが設けられており、図２図示例のステップＳ２０２、ステップＳ２０５、ステップＳ２０８、ステップＳ２１１などの判別に用いることができる。それぞれ機能の異なるボタンを設けなくても、所定の操作方法（タッチ、スライド、長押し等）に応じてボタン５８ａ〜５８ｆのいずれかにその役割を担わせることも可能である。
また、ペン型スキャナ３３の先端（図で右下端部）には、約４５度程度傾けて媒体面に当接したときに、媒体面の鉛直軸に沿ってＣ−ＭＯＳカメラユニットおよび先細り状のノーズ６０が設けられている。ノーズ６０内空間にはＣ−ＭＯＳカメラユニットのレンズ６２が該空間に臨むように取り付けられており、ノーズ６０先端の窓部を撮像可能となっている。
ノーズ６０内空間にはＩＲＬＥＤ６４が備えられており、ＩＲＬＥＤ６４の照射光がディフューザー６６内に入射されるようになっている。ディフューザー６６壁面で照射光の拡散成分（光軸に対して４５度よりも大きな角度の光成分）はディフューザー６６壁面を通過して外部に放射される。そして照射光の直進成分（光軸に対して４５度よりも小さな角度の光成分）はディフューザー６６壁面で反射されて管内を進行する。照射光はディフューザー６６内で光軸とほぼ平行な成分だけが先端面からノーズ６０の開口部に対して照射されるようになっている。
このように、照射光は、透明樹脂で構成されたクランク状のディフューザー６６を通過することによって光軸に平行な集束光となるため、ノーズ６０部の開口部の全域にわたって均一な光量を供給することができる。このように本実施形態によれば、拡散光のような場合に生じる周辺部の暗がりがないため、ドットパターン部の読取り精度を高めることができる。
１ 情報処理装置
３ 制御手段
５ 記憶手段
７ 認識手段
９ 表示手段
１１ 印刷手段
１３ 光学読取手段
１９ 液晶ディスプレイ
２１ 印刷媒体
２３ ドットパターン
２５ ホワイトボード
２７ フリップチャート
２９ 用紙
３１ プロジェクタ
３３ ペン型スキャナ
３５ キャリブレーションマーク
３７ 鉛筆
３９ 資料
４０ 基準ドット
４２ 第一の仮想基準線
４４ 第二の仮想基準線
５０ バッテリー
５２ スピーカ
５４ ＰＣＢ
５６ マイク
５８ ボタン
６０ ノーズ
６２ レンズ
６４ ＩＲＬＥＤ
６６ ディフューザー
７２ 情報ドット
７３ 基準点ドット
７４ 仮想基準点

Claims (17)

  1. 情報処理装置において実行されるプログラムであって、
    該情報処理装置と接続された表示手段に表示された画像を、該情報処理装置の記憶手段に記憶するとともに、該画像が記憶された時点における該情報処理装置の実行環境を、該記憶手段に記憶するステップと、
    少なくとも該実行環境を特定する特定情報が含まれるコード値および該画像に対応する座標値が定義されたドットパターンと、該画像と、を、重畳して形成するステップと、
    該ドットパターンを読み取った、該情報処理装置と接続された光学読取手段から、該コード値および座標値を取得するステップと、
    取得した該コード値の少なくとも一部に定義された該特定情報で該実行環境を特定し、該コード値および座標値に対応する該実行環境を復元するステップと、を、
    該情報処理装置の制御手段に実行させる
    ことを特徴とするプログラム。
  2. 前記表示手段に表示された画像は、ポインティング動作が可能な一または複数のソフトウェア実行画像であり、
    前記実行環境は、該ソフトウェアの実行状況を含み、
    前記復元するステップは、
    前記光学読取手段により前記ドットパターンを読み取った時点における該表示手段に表示された画像を替えて、取得した前記特定情報より前記実行環境を復元し、前記コード値および座標値に対応する該ソフトウェア実行画像とするステップである
    ことを特徴とする請求項１記載のプログラム。
  3. 前記表示手段に表示された画像は、デスクトップ画像であり、
    前記実行環境は、該デスクトップ画像のアイコンの配置情報を含み、
    前記復元するステップは、
    前記光学読取手段により前記ドットパターンを読み取った時点における該表示手段に表示されたデスクトップのアイコンの配置を替えて、取得した前記特定情報より前記実行環境を復元し、前記コード値および座標値に対応する該デスクトップ画像のアイコンの配置と同一の配置とするステップである
    ことを特徴とする請求項１記載のプログラム。
  4. 前記表示手段は、画像表示面への書き込みが可能であり、
    前記記憶するステップは、
    該画像表示面への書き込み操作を該情報処理装置にさらに備えられた認識手段により認識した書き込み画像データを、前記記憶手段に記憶するステップをさらに含み、
    前記形成するステップは、
    該書き込み画像を、前記コード値および座標値を定義するドットパターンと、前記画像と重畳して形成するステップであり、
    前記復元するステップは、
    取得した前記特定情報より前記実行環境を復元し、該コード値および座標値に対応する該書き込み画像データを該表示手段に表示するステップである
    ことを特徴とする請求項１記載のプログラム。
  5. 前記画像表示面には、座標値を定義するドットパターンが形成されており、
    前記認識手段は、
    該画像表示面への前記光学読取手段による書き込み操作を、該光学読取手段が読み取ったドットパターンが定義する該座標値により前記書き込み画像データとして認識する
    ことを特徴とする請求項４記載のプログラム。
  6. 前記表示手段に表示された画像は、デスクトップ画像であり、
    前記コード値は該デスクトップ画像上のアイコンへの対応付けを含み、
    前記実行環境は、該デスクトップ画像上のアイコンに対応するプログラムの実行情報を含み、
    前記復元するステップは、
    取得した前記特定情報より前記実行環境を復元し、前記ドットパターンに定義されたコード値に対応する該アイコンに対応するプログラムの実行を行うステップである
    ことを特徴とする請求項１記載のプログラム。
  7. 前記実行環境は、デスクトップ画像上のアイコンに対応するプログラムの実行情報をさらに含み、
    前記復元するステップは、
    前記同一の配置とするステップに加え、
    取得した前記特定情報より前記実行環境を復元し、前記ドットパターンに定義された座標値を、前記表示手段の座標値に変換し、該表示手段の座標値の位置に、該表示手段に表示されたカーソルを移動し、
    移動した該カーソルの座標値に位置するアイコンに対応するプログラムの実行を行うステップをさらに含む
    ことを特徴とする請求項３記載のプログラム。
  8. 前記表示手段に表示された画像は、入力を受け付けるソフトウェアの実行画像であり、
    前記実行環境は、該ソフトウェアの実行状況および、該実行状況に辿り着くまでにユーザにより入力された階層情報を含み、
    前記復元するステップは、
    取得した前記特定情報より前記実行環境を復元し、前記ドットパターンに定義された座標値を、該表示手段の座標値に変換し、該表示手段の座標値に位置するソフトウェアの実行を、前記コード値に対応する該階層情報を踏まえて行うステップである
    ことを特徴とする請求項１記載のプログラム。
  9. 前記形成するステップは、
    前記コード値および座標値を定義するドットパターンと、前記画像と、を、媒体に重畳して印刷するステップである
    ことを特徴とする請求項１記載のプログラム。
  10. 実行環境から過去の状態を復元したり、過去の操作を利用できるようにした情報処理装置であって、
    該情報処理装置は、
    記憶手段、制御手段を少なくとも有しており、
    該制御手段は、
    該情報処理装置と接続された表示手段に表示された画像を、該記憶手段に記憶するとともに、該画像が記憶された時点における該情報処理装置の該実行環境を該記憶手段に記憶し、
    少なくとも該実行環境を特定する特定情報が含まれるコード値および該画像に対応する座標値を定義するドットパターンと、該画像と、を重畳して形成し、
    該ドットパターンを読み取った、該情報処理装置と接続された光学読取手段から、該コード値および座標値を取得し、
    取得した該コード値の少なくとも一部に定義された前記特定情報より前記実行環境を特定し、該コード値および座標値に対応する該実行環境を復元する
    ことを特徴とする情報処理装置。
  11. 実行環境から過去の状態を復元したり、過去の操作を利用できるようにした情報処理装置と、該情報処理装置と接続された表示手段、光学読取手段から構成される情報処理システムにおいて、
    該情報処理装置は、
    記憶手段、制御手段を少なくとも有しており、
    該制御手段は、
    該表示手段に表示された画像を、該記憶手段に記憶するとともに、該画像が記憶された時点における該情報処理装置の該実行環境を該記憶手段に記憶し、
    少なくとも該実行環境を特定する特定情報が含まれるコード値および該画像に対応する座標値を定義するドットパターンと、該画像と、を重畳して形成し、
    該ドットパターンを読み取った、該光学読取手段から、該コード値および座標値を取得し、
    取得した該コード値の少なくとも一部に定義された前記特定情報より前記実行環境を特定し、該コード値および座標値に対応する該実行環境を復元する
    ことを特徴とする情報処理システム。
  12. 前記制御手段は、
    前記表示手段の２以上の隅角部および／または中央に、キャリブレーションマークを少なくとも一時的に表示させ、
    前記光学読取手段により、前記コード値および座標値を定義するドットパターンと、前記画像と、が重畳して形成された媒体の、該キャリブレーションマークに合致する位置を読み取ると、
    読み取った位置の該ドットパターンに定義された座標値を、該表示手段上のキャリブレーションマークが表示された位置の座標値に変換し、
    この処理を該表示手段に表示されたキャリブレーションマークのすべてについて行うことにより、該ドットパターンの座標値を該表示手段の座標値に変換する座標変換関数または座標変換テーブルを求め、
    その後に該光学読取手段で読み取られるドットパターンの座標値を、該座標変換関数または座標変換テーブルにより該表示手段上の座標値に変換して対応する前記実行環境を復元する処理をさらに含む
    ことを特徴とする請求項１１記載の情報処理システム。
  13. 前記表示手段は、
    プロジェクタと投影ボードから構成され、
    該投影ボードは、
    コード値および座標値を定義するドットパターンが形成されており、
    該投影ボードに前記画像を投影することで、該コード値および座標値を定義するドットパターンと、該画像と、を重畳して形成され
    前記制御手段において、該コード値により、該投影ボードを特定する
    ことを特徴とする請求項１１記載の情報処理システム。
  14. 前記投影ボードは、
    ホワイトボードである
    ことを特徴とする請求項１３記載の情報処理システム。
  15. 前記投影ボードは、
    フリップチャートである
    ことを特徴とする請求項１３記載の情報処理システム。
  16. 前記ドットパターンは、所定の規則にしたがって線状に連続して複数の基準ドットを配置する工程と、該複数の基準ドットを結ぶ、直線、折れ線および／または曲線からなる第一の仮想基準線を設ける工程と、該基準ドットおよび／または該第一の仮想基準線から所定の位置に定義される、直線および／または曲線からなる少なくとも１以上の第二の仮想基準線を設ける工程と、該第二の仮想基準線上の所定の位置に複数の仮想基準点を設ける工程と、該仮想基準点を始点としてベクトルにより表現した終点に、該仮想基準点からの距離と方向とでＸＹ座標値および／またはコード値が定義される情報ドットを配置する工程に従って配列した、ストリームドットパターンを複数並べて形成される請求項１〜９のいずれかに記載のプログラム、請求項１０記載の情報処理装置または請求項１１〜１５のいずれかに記載の情報処理システム。
  17. 前記ストリームドットは、
    第二の仮想基準線を定義するために、および/または前記ドットパターンの方向と１つのＸＹ座標値および／またはコード値を定義するために、さらに基準となる基準ドットを所定の位置に設けた
    ことを特徴とする請求項１６記載のプログラム、情報処理装置または情報処理システム。
JP2010159137A 2010-07-13 2010-07-13 プログラム、情報処理装置、情報処理システム Expired - Fee Related JP4716453B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010159137A JP4716453B1 (ja) 2010-07-13 2010-07-13 プログラム、情報処理装置、情報処理システム
US13/810,143 US20130194179A1 (en) 2010-07-13 2011-07-13 Program, information processing device, information processing system
KR1020137003604A KR20130029814A (ko) 2010-07-13 2011-07-13 프로그램, 정보 처리 장치, 정보 처리 시스템
CN201180034399.XA CN103038733B (zh) 2010-07-13 2011-07-13 程序、信息处理装置、信息处理系统
PCT/JP2011/066019 WO2012008505A1 (ja) 2010-07-13 2011-07-13 プログラム、情報処理装置、情報処理システム
EP11806835.2A EP2595037A4 (en) 2010-07-13 2011-07-13 PROGRAM, DATA PROCESSING DEVICE AND DATA PROCESSING SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010159137A JP4716453B1 (ja) 2010-07-13 2010-07-13 プログラム、情報処理装置、情報処理システム

Publications (2)

Publication Number Publication Date
JP4716453B1 true JP4716453B1 (ja) 2011-07-06
JP2012022472A JP2012022472A (ja) 2012-02-02

Family

ID=44350475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010159137A Expired - Fee Related JP4716453B1 (ja) 2010-07-13 2010-07-13 プログラム、情報処理装置、情報処理システム

Country Status (5)

Country Link
US (1) US20130194179A1 (ja)
EP (1) EP2595037A4 (ja)
JP (1) JP4716453B1 (ja)
KR (1) KR20130029814A (ja)
WO (1) WO2012008505A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5954049B2 (ja) * 2012-08-24 2016-07-20 カシオ電子工業株式会社 データ処理装置及びプログラム
CN104423792A (zh) * 2013-09-10 2015-03-18 中兴通讯股份有限公司 改变触摸屏幕终端图标位置的方法、装置及移动终端
US9679179B2 (en) * 2015-08-31 2017-06-13 I.R.I.S. Method for processing information from a hand-held scanning device
JP6197920B2 (ja) * 2016-06-08 2017-09-20 カシオ計算機株式会社 データ処理装置及びプログラム
JP7366883B2 (ja) * 2017-08-08 2023-10-23 ソシエテ・デ・プロデュイ・ネスレ・エス・アー 飲料又は食品調製動作のシーケンスを符号化するコードを有する容器
CN110942128B (zh) * 2019-12-06 2022-03-29 中铁第四勘察设计院集团有限公司 一种基于AutoCAD的绘制二维码方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152745A (ja) * 2006-03-10 2008-07-03 Kenji Yoshida 情報処理装置への入力処理システム
JP2010117821A (ja) * 2008-11-12 2010-05-27 Ricoh Co Ltd 作業環境管理装置、方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7942328B2 (en) * 2000-01-03 2011-05-17 Roelesis Wireless Llc Method for data interchange
US20050198066A1 (en) * 2004-03-03 2005-09-08 Meyer Allen W. Method and system for generating and organizing information in a meeting
JP4253029B2 (ja) * 2006-01-31 2009-04-08 健治 吉田 画像処理方法
CN101401059B (zh) * 2006-03-10 2012-08-15 吉田健治 信息处理装置的输入处理系统
JP2007252588A (ja) * 2006-03-23 2007-10-04 Aruze Corp 遊技情報提供システム及び遊技情報提供装置
JP2010140322A (ja) * 2008-12-12 2010-06-24 Sony Corp 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152745A (ja) * 2006-03-10 2008-07-03 Kenji Yoshida 情報処理装置への入力処理システム
JP2010117821A (ja) * 2008-11-12 2010-05-27 Ricoh Co Ltd 作業環境管理装置、方法及びプログラム

Also Published As

Publication number Publication date
WO2012008505A1 (ja) 2012-01-19
KR20130029814A (ko) 2013-03-25
JP2012022472A (ja) 2012-02-02
EP2595037A4 (en) 2014-12-31
EP2595037A1 (en) 2013-05-22
CN103038733A (zh) 2013-04-10
US20130194179A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
RU2669717C2 (ru) Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации и лист, обеспечивающий ввод информации
JP4716453B1 (ja) プログラム、情報処理装置、情報処理システム
JP4583690B2 (ja) グラフィックデザインのための方法およびシステム
US20140304586A1 (en) Electronic device and data processing method
JP5664164B2 (ja) 電子情報ボード装置、情報表示方法、プログラム
JP6044198B2 (ja) コンピュータ装置、プログラム及び情報処理システム
JP5994224B2 (ja) 端末装置、電子ペンシステム、及びプログラム
JP6100013B2 (ja) 電子機器および手書き文書処理方法
US10755461B2 (en) Display device, display method, and recording medium
JP2010111118A (ja) 筆記記録システム、筆記データ読取用シート体、及びマーカ装置
JP2008257530A (ja) 電子ペン入力データ処理システム
JP4066566B2 (ja) 電子ノート
JP5408511B2 (ja) 電子ペンシステム、コンピュータ装置及びそのプログラム
JP4748280B1 (ja) コンピュータ装置およびそのプログラム
JP2006127396A (ja) 電子ペンシステム
JP2011203829A (ja) コマンド生成装置、その制御方法及びそれを備えたプロジェクター
JP2012063974A (ja) ストローク表示システム及びプログラム
JP2009251813A (ja) 印刷システム、画像形成装置及び画像処理装置
JP2017071136A (ja) 冊子及びコンテンツ作成システム
JP7494507B2 (ja) 表示装置、表示方法、プログラム
JP2013020402A (ja) コンピュータ装置、ストローク表示システム及びプログラム
JP2009181519A (ja) 文書管理装置及びプログラム
JP2009181518A (ja) 文書管理装置及びプログラム
JP5768523B2 (ja) 情報処理システム及びプログラム
JP2012033130A (ja) 電子筆記パッド

Legal Events

Date Code Title Description
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110325

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees