JP4375377B2 - 筆記情報処理システム、筆記情報生成装置およびプログラム - Google Patents

筆記情報処理システム、筆記情報生成装置およびプログラム Download PDF

Info

Publication number
JP4375377B2
JP4375377B2 JP2006252667A JP2006252667A JP4375377B2 JP 4375377 B2 JP4375377 B2 JP 4375377B2 JP 2006252667 A JP2006252667 A JP 2006252667A JP 2006252667 A JP2006252667 A JP 2006252667A JP 4375377 B2 JP4375377 B2 JP 4375377B2
Authority
JP
Japan
Prior art keywords
visible light
information
writing
writing information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006252667A
Other languages
English (en)
Other versions
JP2008077168A (ja
Inventor
真 古木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2006252667A priority Critical patent/JP4375377B2/ja
Priority to US11/653,293 priority patent/US7933450B2/en
Priority to CNA2007100871905A priority patent/CN101149799A/zh
Publication of JP2008077168A publication Critical patent/JP2008077168A/ja
Application granted granted Critical
Publication of JP4375377B2 publication Critical patent/JP4375377B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Description

本発明は、紙等の媒体への筆記を電子化した筆記情報を処理する筆記情報処理システム等に関する。
特許文献１には、次のような技術が記載されている。すなわち、表面にそれぞれ異なるパターンで形成された微細なドットが印刷された特殊な用紙と、例えば撮像素子が内蔵されたペンデバイスとを用い、ペンデバイスによりこの特殊用紙上に筆記が行われると、筆記された文字や図形等の位置のドットパターンが撮像素子に読み込まれ、文字や図形等の位置(描画トレース)の座標が特定される。それにより、筆記された文字や図形等からなる電子文書の生成や、所定の電子文書への文字や図形等の付加等が可能となる。
特開２００４−９４９０７号公報(第１２−１４頁)
しかしながら、従来は、ユーザがペンデバイスがどのような動作状態にあるかを把握することができない場合があるという不都合があった。
そこで本発明は、以上のような技術的課題を解決するためになされたものであり、その目的とするところは、ユーザにペンデバイスの動作状態を伝達することにある。
請求項１に係る発明は、媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成手段と、前記筆記情報生成手段から前記筆記情報を取得して、当該筆記情報を記憶する情報処理装置とを備え、前記筆記情報生成手段は、当該筆記情報生成手段の動作状態を検出する動作状態検出部と、前記動作状態検出部にて検出された前記動作状態の各々をそれぞれ表現する可視光を生成し、当該可視光を前記媒体の表面に向けて照射する可視光生成部とを有する。
請求項２に係る発明は、請求項１記載の筆記情報処理システムにて、前記媒体に対して筆記を行なう筆記部をさらに有し、前記可視光生成部は、当該筆記部が当該媒体上と接触する位置周辺に前記可視光照射域を形成する。
請求項３に係る発明は、請求項１記載の筆記情報処理システムにて、可視光生成部は、前記動作状態の各々についてそれぞれ設定された色の前記可視光を生成する。
請求項４に係る発明は、請求項１記載の筆記情報処理システムにて、前記可視光生成部は、前記動作状態の各々についてそれぞれ設定された周期で点滅する前記可視光を生成する。
請求項５に係る発明は、請求項１記載の筆記情報処理システムにて、可視光生成部は、前記動作状態の各々についてそれぞれ設定される光量の前記可視光を生成する。
請求項６に係る発明は、媒体上に当該媒体または電子文書を識別するための識別情報と当該媒体上の位置を表す位置情報とのいずれか一方または双方を形成する画像形成装置と、前記媒体上に形成された前記識別情報と前記位置情報とのいずれか一方または双方に基づいて、媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成手段と、前記筆記情報生成手段から前記筆記情報を取得して、当該筆記情報を記憶する情報処理装置とを備え、前記筆記情報生成手段は、当該筆記情報生成手段の動作状態を検出する動作状態検出部と、前記動作状態検出部にて検出された前記動作状態の各々をそれぞれ表現する可視光を生成し、当該可視光を前記媒体の表面に向けて照射する可視光生成部とを有する。
請求項７に係る発明は、請求項６記載の筆記情報処理システムにて、前記画像形成装置は、前記識別情報と前記位置情報のいずれか一方または双方を符号化して得られる識別符号を画像化したコード画像を、赤外領域に吸収波長を持つ不可視の画像形成材料を用いて形成する。
請求項８に係る発明は、媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成装置であって、当該筆記情報生成装置の動作状態を検出する動作状態検出部と、前記動作状態検出部にて検出された前記動作状態の各々を表現する可視光を生成し、当該可視光を前記媒体の表面に向けて照射する可視光生成部とを備える。
請求項９に係る発明は、請求項８記載の筆記情報生成装置にて、可視光生成部は、前記媒体上でのユーザの筆記位置周辺に前記可視光を照射する。
請求項１０に係る発明は、請求項８記載の筆記情報生成装置にて、可視光生成部は、当該筆記情報生成装置の前記媒体側の端部側面に配置される。
請求項１１に係る発明は、媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成装置であって、前記媒体の表面に向けて照射される可視光を生成する可視光生成部と、前記可視光生成部にて生成する可視光を制御する可視光照射制御部を備え、前記可視光照射制御部は、当該筆記情報生成装置の動作状態に応じて、前記可視光生成部が当該動作状態の各々を表現する可視光を発光し、当該可視光を前記媒体の表面に向けて照射するように制御する。
請求項１２に係る発明は、コンピュータに、媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成部の動作状態を検出する機能と、検出された前記動作状態の各々を表現する可視光を生成するための制御信号を生成する機能と、前記制御信号により生成された可視光を前記媒体の表面に向けて照射する機能とを実現させるプログラムである。
請求項１３に係る発明は、請求項１２記載のプログラムにて、前記筆記情報生成部における前記筆記情報の生成開始および／または生成完了を検出し、当該筆記情報の生成開始および／または生成完了を表現する前記可視光を生成するための前記制御信号を生成する機能を実現する。
請求項１４に係る発明は、請求項１２記載のプログラムにて、筆記情報を記憶する情報処理装置に対して、当該筆記情報を送信する機能をさらに有し、前記情報処理装置との通信の成否を検出し、検出された当該通信の成否を表現する前記可視光を生成するための前記制御信号を生成する機能を実現する。
請求項１５に係る発明は、請求項１２記載のプログラムにて、前記筆記情報生成部に入力されたコマンドを検出し、入力された当該コマンドの種類を表現する前記可視光を生成するための前記制御信号を生成する機能を実現する。
なお、このプログラムは、例えば、ハードディスクやＤＶＤ−ＲＯＭ等の予約領域に格納されたプログラムを、ＲＡＭにロードして実行される場合がある。また、予めＲＯＭに格納された状態にて、ＣＰＵで実行される形態がある。さらに、ＥＥＰＲＯＭ等の書き換え可能なＲＯＭを備えている場合には、機器がアッセンブリされた後に、プログラムだけが提供されてＲＯＭにインストールされる場合がある。このプログラムの提供に際しては、インターネット等のネットワークを介してデータ記録装置を備えたコンピュータにプログラムが伝送され、データ記録装置の有するＲＯＭにインストールされる形態も考えられる。
本発明の請求項１によれば、ユーザは、筆記する際に視線を変えなくても、筆記情報生成手段にて多種多様の動作・処理が行なわれる毎に、その動作状態を区別して把握することができる。
本発明の請求項２によれば、筆記動作を行いながら、動作状態を把握することができる。
本発明の請求項３によれば、表示色によりユーザは動作状態を把握することができる。
本発明の請求項４によれば、点滅の周期によりユーザは動作状態を把握することができる。
本発明の請求項５によれば、光量によりユーザは動作状態を把握することができる。
本発明の請求項６によれば、ユーザは、筆記する際に視線を変えなくても、筆記情報生成手段にて多種多様の動作・処理が行なわれる毎に、その動作状態を区別して把握することができる。
本発明の請求項７によれば、媒体に印刷される画像の色調に影響を与えず、識別情報や位置情報を埋め込むことができる。
本発明の請求項８によれば、ユーザは、筆記する際に視線を変えなくても、筆記情報生成手段にて多種多様の動作・処理が行なわれる毎に、その動作状態を区別して把握することができる。
本発明の請求項９によれば、ユーザは、筆記動作を行いながら、動作状態を把握することができる。
本発明の請求項１０によれば、ユーザは、筆記動作を行う領域で動作状態を把握することができる。
本発明の請求項１１によれば、ユーザは、筆記する際に視線を変えなくても、筆記情報生成部にて多種多様の動作・処理が行なわれる毎に、その動作状態を区別して把握することができる。
本発明の請求項１２によれば、ユーザは、筆記する際に視線を変えなくても、筆記情報生成部にて多種多様の動作・処理が行なわれる毎に、その動作状態を区別して把握することができる。
本発明の請求項１３によれば、ユーザは、筆記情報生成部での筆記情報の入力の開始やその完了を把握することができる。
本発明の請求項１４によれば、ユーザは、筆記情報が情報処理装置に対して正常に転送されたか否かを把握することができる。
本発明の請求項１５によれば、ユーザは、現在筆記情報生成部にて設定されているコマンドを容易に把握することができる。
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図１は、本実施の形態が適用される筆記情報処理システムの構成の一例を示した図である。本実施の形態の筆記情報処理システムは、電子文書の印刷を指示する端末装置１００、電子文書を保存する文書サーバ２００、電子文書の画像とコードパターン画像との重畳画像を印刷する画像形成装置４００を含んで構成されている。
また、本実施の形態の筆記情報処理システムは、画像形成装置４００にて出力される印刷物５００、印刷物５００に文字または図形を記録し、その文字または図形の軌跡を読み取る電子ペン６００、電子ペン６００から受信した軌跡と文書サーバ２００から取得した電子文書とを重ね合わせて表示する端末装置７００を構成要素としている。
そして、本実施の形態の筆記情報処理システムでは、端末装置１００、文書サーバ２００、画像形成装置４００および端末装置７００は、ネットワーク９００を介して相互に接続されている。
以下、本実施の形態の筆記情報処理システムの動作の概略を説明する。
まず、端末装置１００は、文書サーバ２００から印刷対象の電子文書を取得する(Ａ)。そして、画像形成装置４００に対し、この電子文書の印刷を指示する(Ｂ)。このとき、端末装置１００は、印刷に関するパラメータである印刷属性を指定する。この印刷属性には、通常の印刷と同様、用紙サイズ、向き、両面印刷等が含まれる。また、コードパターン画像に関し、コードパターン画像を印刷すべき領域の指定等が含まれてもよい。
この電子文書の印刷指示を受けると、画像形成装置４００は、電子文書の画像にコードパターン画像を重畳した画像を紙等の媒体に印刷した印刷物５００を出力する(Ｃ)。この場合、コードパターン画像は、識別情報に対応する識別コードと、位置情報に対応する位置コードとを画像化したものである。或いは、その他の情報である付加情報を含めて画像化したものであってもよい。なお、電子文書の画像とコードパターン画像とを重畳する処理は、端末装置１００で行なってもよいし、画像形成装置４００で行なってもよい。
ここで、識別情報としては、個々の媒体を一意に識別する情報を採用することができる。例えば、画像形成装置４００の識別番号と画像形成装置４００における媒体の印刷の一連番号または印刷の日時とを組み合わせて得られる情報であってもよいし、所定のサーバにて重複がないように一元管理されている情報であってもよい。或いは、個々の媒体を一意に識別する情報ではなく、媒体に印刷された電子文書を一意に識別する情報を、識別情報として採用してもよい。
また、位置情報とは、個々の媒体上の座標位置(Ｘ座標、Ｙ座標)を特定するための情報である。例えば、媒体の左上点を原点とし、媒体の右方向にＸ軸をとり、下方向にＹ軸をとることにより設定した座標系で、座標を表すことが考えられる。
さらに、付加情報としては、印刷指示を行なったユーザの識別情報や、コピー禁止であるかどうかの情報等がある。
また、画像形成装置４００は、コードパターン画像を、赤外光の吸収率が一定の基準以上である不可視のトナーを用いて不可視画像として形成する。一方、電子文書の文書画像は、赤外光の吸収率が一定の基準以下である可視のトナーを用いて可視画像として形成することが好ましい。なお、コードパターン画像の形成に用いるトナーと文書画像の形成に用いるトナーとで、赤外光の吸収率に差を設けたのは、赤外光を照射してコードパターン画像を読み取る際の読取り精度を確保するためである。なお、本明細書では、赤外光照射によるコードパターン画像の読取りを前提として説明するが、紫外光によりコードパターン画像を読み取るものであってもよい。
その後、ユーザが、電子ペン６００を用いて印刷物５００に文字または図形を筆記したとする(Ｄ)。それにより、電子ペン６００は、印刷物５００に対し赤外光を照射し、その反射光を検出することで、電子ペン６００にコードパターン画像が入力される。そして、コードパターン画像から情報を取得または生成し、有線通信または無線通信を介して、その情報を端末装置７００に送信する(Ｅ)。なお、ここで送信される情報には、例えば、印刷物５００の識別情報や、印刷物５００に対して筆記された文字または図形の位置情報が含まれる。或いは、位置情報は、一定の時間における文字または図形の位置情報を連結させた軌跡情報として送信するように構成してもよい。
その後、端末装置７００は、電子ペン６００から受信した識別情報に基づいて、印刷物５００に印刷された文書画像の元となる電子文書を文書サーバ２００から取得する(Ｆ)。そして、文書サーバ２００から取得した電子文書と、電子ペン６００から取得した情報とを重ね合わせて表示する。
ここで、電子ペン６００から受信した識別情報が、個々の媒体を一意に識別する情報である場合、この識別情報に基づいて電子文書を取得できるようにするためには、識別情報と電子文書との対応関係を管理しておく必要がある。図１の筆記情報処理システムでは、この対応関係をどこで管理するかについては明示しなかったが、端末装置７００からアクセス可能であれば、どこで管理するようにしてもよい。例えば、文書サーバ２００であってもよいし、画像形成装置４００であってもよい。なお、電子ペン６００から受信した識別情報が、媒体に印刷された電子文書を一意に識別する情報である場合は、このような対応関係を参照することなく、電子文書を取得することができる。
また、端末装置７００が電子ペン６００から軌跡情報を受信した場合、この軌跡情報は、印刷物５００上での筆記位置に対応する電子文書上の位置に重ね合わせて表示される。これは、電子ペン６００で読み取ったコードパターン画像に筆記位置の情報が含まれるので、その情報から電子文書の表示イメージに対応する位置が特定できるからである。
上記した本実施の形態が適用される筆記情報処理システムの構成は、あくまで一例に過ぎない。例えば、電子文書の画像とコードパターン画像とを重畳する処理を、端末装置１００から画像形成装置４００への印刷指示を中継するサーバコンピュータ等で行なうように構成してもよい。また、文書サーバ２００は、端末装置１００内にあってもよい。さらに、端末装置１００と端末装置７００とは、同一の端末装置で構成してもよい。
なお、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、その他の印刷可能な電子データも含めて「電子文書」としている。
次に、画像形成装置４００にて印刷されるコードパターン画像について説明する。
図２(ａ)〜(ｃ)は、上述したコードパターン画像を説明するための図である。図２(ａ)は、不可視画像として形成される２次元コード配列を模式的に示している。また、図２(ｂ)は、図２(ａ)における２次元コード配列の１単位である２次元コードを拡大して示した図である。さらに、図２(ｃ)は、バックスラッシュ「＼」とスラッシュ「／」のパターン画像を説明するための図である。
本実施の形態において、図２(ａ)〜(ｃ)に示すコードパターン画像は、赤外領域に吸収波長を持つ不可視の画像形成材料を用いて形成される。図２(ａ)〜(ｃ)に示すコードパターン画像は、可視光領域(４００ｎｍ〜７００ｎｍ)における最大吸収率が例えば７％以下であり、近赤外領域(８００ｎｍ〜１０００ｎｍ)における吸収率が例えば３０％以上の不可視トナーの一例である透明トナーによって形成される。また、この画像形成材料の一例である不可視トナーは、画像の機械読取りのために必要な近赤外光吸収能力を高めるために、平均分散径は１００ｎｍ〜６００ｎｍの範囲のものが採用される。ここで、「可視」および「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが、人間の目で認識し難いものも「不可視」に含める。
このように、本実施の形態では、コードパターン画像を不可視トナーの一例である透明トナーで形成することで、媒体に印刷される画像の色調に影響を与えず、識別情報や位置情報を埋め込むことができる。
また、このコードパターン画像は、赤外光照射による機械読取りと復号化処理とが長期に亘って安定して可能で、かつ、情報が高密度に記録できる不可視画像で形成される。さらに、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能な不可視画像であることが好ましい。さらに、例えば、目視した際に光沢差によって認識できる不可視画像であることがさらに好ましい。また、例えば、印刷される媒体の大きさに合わせて媒体面(紙面)の全面に不可視画像が形成される。但し、「全面」とは、用紙の四隅をすべて含む意味ではない。電子写真方式等の装置では、通常、紙面の周囲は印刷できない範囲である場合が多いことから、かかる範囲には不可視画像を印刷する必要はない。
図２(ｂ)に示す２次元コードは、媒体上の座標位置を示す位置コードが格納される領域と、媒体等を一意に特定するための識別コードが格納される領域とを含んでいる。また、同期コードが格納される領域も含んでいる。そして、図２(ａ)に示すように、この２次元コードが媒体面に複数、格子状に配置される。すなわち、媒体面に、図２(ｂ)に示すような２次元コードが複数個、配置され、その各々が、位置コード、識別コード、および同期コードを備えている。そして、複数の位置コードの領域には、それぞれ配置される場所により異なる位置情報が格納されている。一方、複数の識別コードの領域には、配置される場所によらず同じ識別情報が格納されている。
図２(ｂ)において、位置コードは、６ビット×６ビットの矩形領域内に配置されている。各ビット値は、回転角度が異なる複数の微小ラインビットマップで形成され、図２(ｃ)に示されるパターン画像(パターン０とパターン１)で、ビット値０とビット値１を表現している。より具体的には、相互に異なる傾きを有するバックスラッシュ「＼」およびスラッシュ「／」を用いて、それぞれビット値０とビット値１とを表現している。パターン画像は６００ｄｐｉで８画素×８画素の大きさで構成されており、左上がりの斜線のパターン画像(パターン０)がビット値０を、右上がりの斜線のパターン画像(パターン１)がビット値１を表現する。したがって、１つのパターン画像で１ビットの情報(０または１)を表現できる。このような２種類の傾きからなる微小ラインビットマップを用いることで、可視画像に与えるノイズが極めて小さく、かつ、大量の情報を高密度にデジタル化して埋め込むことが可能な２次元コードを提供することが可能となる。
すなわち、図２(ｂ)に示した位置コード領域には合計３６ビットの位置情報が格納されている。この３６ビットのうち、１８ビットをＸ座標の符号化に、１８ビットをＹ座標の符号化に使用することができる。各１８ビットをすべて位置の符号化に使用すると、２１８通り(約２６万通り)の位置を符号化できる。各パターン画像が図２(ｃ)に示したように８画素×８画素(６００ｄｐｉ)で構成されている場合には、６００ｄｐｉの１ドットは０.０４２３ｍｍであることから、図２(ｂ)の２次元コード(同期コードを含む)の大きさは、縦横共に３ｍｍ程度(８画素×９ビット×０.０４２３ｍｍ)となる。３ｍｍ間隔で２６万通りの位置を符号化した場合、約７８６ｍの長さを符号化できる。このように１８ビットすべてを位置の符号化に使用してもよいし、或いは、パターン画像の検出誤りが発生するような場合には、誤り検出や誤り訂正のための冗長ビットを含めてもよい。
また、識別コードは、２ビット×８ビットおよび６ビット×２ビットの矩形領域に配置されており、合計２８ビットの識別情報を格納できる。識別情報として２８ビットを使用した場合は、２２８通り(約２億７千万通り)の識別情報を表現できる。識別コードも位置コードと同様に、２８ビットの中に誤り検出や誤り訂正のための冗長ビットを含めることができる。
なお、図２(ｃ)に示す例では、２つのパターン画像は互いに角度が９０度異なるが、角度差を４５度とすれば４種類のパターン画像を構成できる。このように構成した場合は、１つのパターン画像で２ビットの情報(０〜３)を表現できる。すなわち、パターン画像の角度種類を増やすことで、表現できるビット数を増加することができる。
また、図２(ｃ)に示す例では、パターン画像を使用してビット値の符号化を説明しているが、パターン画像以外を採用してもよい。例えば、ドットのＯＮ/ＯＦＦや、ドットの位置を基準位置からずらす方向により符号化することも可能である。
次いで、本実施の形態の電子ペン６００について説明する。
図３は、電子ペン６００の構成を示した図である。
本実施の形態の電子ペン６００は、文書画像とコードパターン画像との重畳画像が印刷された印刷物（「媒体」、「用紙」ともいう）５００に対して通常のペンと同様の操作により文字や図形等を記録するペンチップからなる筆記部６９、電子ペン６００による筆記動作を筆記部６９に加わる圧力によって検出する圧力センサからなる筆圧検出部６２を備えている。
また、本実施の形態の電子ペン６００は、電子ペン６００の全体の電子的な動作(電気信号の処理を伴う動作を意味し、以下、単に「動作」ともいう)を制御する制御部６１、用紙上のコードパターン画像を読み取るために赤外光を照射する赤外照射部６３、反射される赤外光を受光することによりコードパターン画像を認識して入力する画像入力部６４、端末装置７００との間にてデータやコマンドの送受信を制御する通信部６６、電子ペン６００を駆動するためのバッテリ６７を備えている。
さらには、本実施の形態の電子ペン６００は、ユーザに対して筆記情報処理システムにおける各種の電子的な動作状態を伝えるための、用紙上に各種の可視光を照射する可視光生成部８２、可視光生成部８２にて照射する可視光を制御するための制御信号を生成する可視光照射制御部８１を備えている。
ここで、電子ペン６００の制御部６１は、情報取得部６１１、軌跡算出部６１２、ステータス情報生成部６１３を含んで構成されている。
情報取得部６１１は、画像入力部６４から入力された画像を解析して、識別情報および位置情報を取得する機能部である。軌跡算出部６１２は、情報取得部６１１により取得した位置情報に対し、筆記部６９のペン先の座標と画像入力部６４が捕捉した画像の座標とのずれを補正してペン先の軌跡を算出する機能部である。
ステータス情報生成部６１３は、動作状態検出部の一例であって、電子ペン６００の電子的な動作状態や、通信部６６を介した端末装置７００とのデータおよびコマンドの送受信の状態等といった各種の電子的な動作状態(以下、「ステータス」ともいう)を検出し、ステータスに関する情報（以下、「ステータス情報」という）を生成する機能部である。そして、ステータス情報生成部６１３は、ステータス情報を可視光照射制御部８１に出力する。
また、制御部６１には情報記憶部６５が接続されており、情報記憶部６５は、情報取得部６１１が取得した識別情報や軌跡算出部６１２が算出した軌跡情報を記憶する。
スイッチ６８は、制御部６１に対して３つの処理モードを設定するために用いられる。１つは、印刷物５００に筆記された文字や図形等を端末装置７００に送信する「通常モード」である。１つは、後段（第２の実施の形態）で述べる参照指示領域５１７（図５参照）を指示することにより参照情報を取得する「参照情報取得モード」である。他の１つは、現在筆記している文字または図形を参照指示領域５１７とし、この領域に対する参照情報の割当てを登録する「参照情報登録モード」である。例えば、スイッチ６８を押下しない状態を「通常モード」、スイッチ６８を１回押下した状態を「参照情報取得モード」とし、スイッチ６８を２回押下した状態を「参照情報登録モード」とすることが考えられる。
可視光照射制御部８１は、制御部６１のステータス情報生成部６１３から上記したステータス情報を取得する。そして、取得したステータス情報に基づいて、例えば、電子ペン６００からコードパターン画像の入力が開始された旨、各種動作にエラーが生じた旨、各種動作が正常に完了した旨、各種コマンドが正常に受け付けられた旨等といった様々なステータス毎に、それぞれのステータスを表出する異なる表現を持った可視光を可視光生成部８２にて生成するための制御信号を生成する。
対応テーブル記憶部８３は、それぞれのステータスに対応した可視光の表現パターンを対応テーブルとして記憶する。可視光照射制御部８１は、対応テーブル記憶部８３に記憶された対応テーブルを参照して、それぞれのステータスを表出する異なる表現を持った可視光を生成するための制御信号を生成する。
可視光生成部８２は、発光部として赤(Ｒｅｄ)、緑(Ｇｒｅｅｎ)、青(Ｂｌｕｅ)の３原色のＬＥＤ(Light Emitting Diode：発光ダイオード)が各々１個ずつまたは複数個ずつ配設されて構成されている。そして、可視光照射制御部８１からの制御信号に基づいて、発光部から各種ステータスに対応した可視光を生成するように構成されている。そして、用紙上の筆記部６９が置かれる位置の周辺領域に照射する。それにより、筆記部６９が置かれる位置の周辺領域には、可視光照射域が形成される。
なお、ここでの「可視光」は、通常の人間の目により認識できる光を意味する。
以下において、本実施の形態の電子ペン６００における可視光生成部８２での動作を説明する。通常設定される「通常モード」における可視光生成部８２での動作を第１の実施の形態とし、特殊処理の一例として、スイッチ６８から「参照情報登録モード」が設定された場合の可視光生成部８２での動作を第２の実施の形態として説明する。さらに、第３の実施の形態として、電子ペン６００にて筆記される画像に付する色や線の太さ等といった書式の指定が行なわれた場合の可視光生成部８２での動作を説明する。
［第１の実施の形態］
第１の実施の形態では、印刷物５００に筆記された文字や図形等を電子ペン６００から端末装置７００に送信することで、端末装置７００において、文書サーバ２００から取得した印刷物５００に印刷された文書画像の元となる電子文書と、電子ペン６００から取得した情報とを重ね合わせて表示することを可能とする「通常モード」における電子ペン６００の可視光生成部８２での動作を説明する。
図４は、電子ペン６００の制御部６１および可視光照射制御部８１にて実行される処理の一例を示したフローチャートである。
図４に示したように、まず、電子ペン６００を用いて、ユーザにより印刷物(用紙)５００に文字や図形の記録が行なわれると、制御部６１は、印刷物５００に対して電子ペン６００による記録が行われていることの検出信号を筆圧検出部６２から取得する(ステップ１０１)。
制御部６１は、筆圧検出部６２から検出信号を取得すると、ステータス情報生成部６１３は、入力開始信号を生成する。そして、ステータス情報生成部６１３は、生成した入力開始信号を可視光照射制御部８１に出力する。可視光照射制御部８１は、取得した入力開始信号に基づいて、可視光生成部８２に対して青色の光を２回点滅させる制御信号を出力する。そして、可視光生成部８２は、青色光を２回点滅させる(ステップ１０２)。それにより、ユーザは、電子ペン６００からコードパターン画像の入力が開始されたことを知ることができる。
それと同時に、赤外照射部６３に対して、赤外光を印刷物５００に照射するように指示する(ステップ１０３)。赤外照射部６３によって印刷物５００に照射される赤外光は不可視画像にて吸収され、それ以外の部分では反射される。画像入力部６４ではこの反射された赤外光を受光し、赤外光が反射されなかった部分をコードパターン画像として認識する。制御部６１は、画像入力部６４からこのコードパターン画像を入力(スキャン)する(ステップ１０４)。
その後、制御部６１の情報取得部６１１では、次のステップ１０５〜ステップ１０８に示す情報検出処理が実行される。まず、情報取得部６１１は、入力されたスキャン画像を整形する(ステップ１０５)。このスキャン画像の整形は、傾き補正やノイズ除去等である。そして、整形されたスキャン画像からスラッシュ「／」やバックスラッシュ「＼」等のビットパターン(斜線パターン)を検出する(ステップ１０６)。また一方で、整形されたスキャン画像から、２次元コード位置決め用のコードである同期コードを検出し、情報取得部６１１は、この同期コード位置を参照して２次元コードを検出する(ステップ１０７)。また、２次元コードからＥＣＣ(Error Correcting Code：誤り訂正符号)等の情報を取り出し復号し、復号した情報を元の情報に復元することにより、識別情報および位置情報を取り出す(ステップ１０８)。
引き続いて、情報取得部６１１は、ステップ１０８にて識別情報および位置情報が正常に取り出されたか否かを判断する(ステップ１０９)。
ステップ１０９にて識別情報および位置情報が正常に取り出されたと判断された場合には、ステータス情報生成部６１３は、正常に取り出された旨を示す信号を可視光照射制御部８１に対して出力する。可視光照射制御部８１は、取得した信号に基づいて、可視光生成部８２に対して青色光を１回点灯させる制御信号を出力する。そして、可視光生成部８２は、青色光を１回点灯させる(ステップ１１０)。それにより、ユーザは、電子ペン６００による画像入力が正常に行なわれたことを知ることができる。
一方、ステップ１０９にて識別情報および位置情報の取り出しが正常に行なわれなかったと判断された場合には、ステータス情報生成部６１３は、識別情報および位置情報の取り出しに異常が生じた旨を示す信号を可視光照射制御部８１に対して出力する。可視光照射制御部８１は、取得した信号に基づいて、可視光生成部８２に対して赤色光を３回点滅させる制御信号を出力する。そして、可視光生成部８２は、赤色光を３回点滅させる(ステップ１１５)。それにより、ユーザは、識別情報および位置情報の取り出しが正常に行なわれなかったことを知ることができる。
ステップ１１５での赤色光の３回の点滅の後、可視光照射制御部８１は、可視光生成部８２での赤色光の点灯を継続させる(ステップ１１６)。そして、ユーザに対して、再度の筆記を要求する。その後、情報取得部６１１が再び筆圧検出部６２から検出信号を取得する(ステップ１１７)と、ステータス情報生成部６１３は、入力開始信号を生成する。ステータス情報生成部６１３は、生成した入力開始信号を可視光照射制御部８１に出力する。可視光照射制御部８１は、取得した入力開始信号に基づいて、可視光生成部８２に対して青色の光を２回点滅させる制御信号を出力する。そして、可視光生成部８２は、赤色光の点灯を停止し、青色光を２回点滅させる(ステップ１１８)。それにより、ユーザは、電子ペン６００からコードパターン画像の入力が再度開始されたことを知ることができる。
また、識別情報および位置情報が正常に取り出され、ステップ１１０にて可視光生成部８２での青色光の１回の点灯が行なわれた場合に、制御部６１では、情報取得部６１１が識別情報をそのまま情報記憶部６５に記憶し、軌跡算出部６１２が位置情報を軌跡情報に変換した上で情報記憶部６５に記憶する(ステップ１１１)。
その後、情報記憶部６５に記憶された軌跡情報から筆跡情報（筆記情報）が取得され、端末装置７００へと送信される(ステップ１１２)。
その際に、制御部６１は、ステップ１１２での通信部６６と端末装置７００との通信が正常に行なわれたか否かを判断する(ステップ１１３)。
ステップ１１３にて通信が正常に行なわれたと判断された場合には、ステータス情報生成部６１３は、通信が正常に行なわれた旨を示す信号を可視光照射制御部８１に対して出力する。可視光照射制御部８１は、取得した信号に基づいて、可視光生成部８２に対して青色光を１回点灯させる制御信号を出力する。そして、可視光生成部８２は、青色光を１回点灯させる(ステップ１１４)。それにより、ユーザは、通信部６６と端末装置７００との通信が正常に行なわれ、筆跡情報が端末装置７００に送信されたことを知ることができる。
一方、ステップ１１３にて通信が正常に行なわれなかったと判断された場合には、ステータス情報生成部６１３は、通信に異常が生じた旨を示す信号を可視光照射制御部８１に対して出力する。可視光照射制御部８１は、取得した信号に基づいて、可視光生成部８２に対して赤色光を３回点滅させる制御信号を出力する。そして、可視光生成部８２は、赤色光を３回点滅させる(ステップ１１５)。それにより、ユーザは、通信部６６と端末装置７００との通信が正常に行なわれず、筆跡情報が端末装置７００に送信されなかったことを知ることができる。
ステップ１１５での赤色光の３回の点滅の後、可視光照射制御部８１は、可視光生成部８２での赤色光の点灯を継続させる(ステップ１１６)。そして、ユーザに対して、再度の筆記を要求する。そして、情報取得部６１１が再び筆圧検出部６２から検出信号を取得すると、ステータス情報生成部６１３は、入力開始信号を生成する。ステータス情報生成部６１３は、生成した入力開始信号を可視光照射制御部８１に出力する。可視光照射制御部８１は、取得した入力開始信号に基づいて、可視光生成部８２に対して青色の光を２回点滅させる制御信号を出力する。そして、可視光生成部８２は、赤色光の点灯を停止し、青色光を２回点滅させる(ステップ１１８)。それにより、ユーザは、電子ペン６００からコードパターン画像の入力が再度開始されたことを知ることができる。
本実施の形態の電子ペン６００では、図４の処理フローでのステップ１０２やステップ１１０、ステップ１１４のように動作や処理が正常に行なわれたことを示す際の光の点灯を青色にて行なっている。これは、青色は一般的に「安全・正常」を示す固定概念を有することからの設定である。また、ステップ１１５のように動作や処理が正常に行なわれなかったことを示す際の光の点灯を赤色にて行なっている。これは、赤色は一般的に「危険・異常」を示す固定概念を有することからの設定である。
この場合に、例えばステップ１１５での動作や処理が正常に行なわれなかったことを示す際に、赤色の点滅を行なう前に、問題が生じたことを知らせるように、黄色を連続して点滅させることもできる。この場合にも、黄色は一般的に「注意」を示す固定概念を有することからの設定である。
また、本実施の形態の電子ペン６００では、可視光生成部８２からの光の照射が、用紙上にて筆記部６９が置かれる位置（筆記位置）の周辺領域にて照射するように構成されている。これは、ユーザは用紙上に筆記する際には、必ずペン先を見るため、確実にステータス情報を伝達できるからである。また、ユーザは、視線を変えずに、ステータス情報を把握することもできるからである。
加えて、本実施の形態の電子ペン６００において、電子ペン６００に例えば傾きセンサを配設しておき、図４での処理フローを実行する際に、電子ペン６００が所定角度以上に傾いた場合には、所定の光の照射、例えば黄色での速い点滅を行なうことで、ユーザに注意を喚起するように構成することもできる。
また、印刷物５００の筆記可能領域を判断し、筆記部６９が筆記可能領域を外れた場合には、同様に所定の光の照射、例えば赤色での速い点滅を行なうことで、ユーザに注意を喚起するように構成することもできる。
以上のように、本実施の形態の筆記情報処理システムでは、電子ペン６００における各種の動作状態（ステータス）をユーザに伝達するために、各種ステータスに対応した光信号を可視光生成部８２から照射するように構成している。それにより、ユーザは、電子ペン６００にて多種多様の動作・処理が行なわれる毎に、その動作状態を確実に把握することができる。
なお、本実施の形態の電子ペン６００では、コードパターン画像を読み取るための赤外照射部６３と各種ステータスに対応した可視光を生成する可視光生成部８２とを別体に構成したが、赤外照射部６３と可視光生成部８２とを同じモールド内にて一体化させたチップにより構成することもできる。
［第２の実施の形態］
第２の実施の形態では、本実施の形態の筆記情報処理システムにおいて、印刷物５００の特定の領域を指定することで所定の情報または機能へアクセスすることを事後的に可能にする「参照情報登録モード」が設定された場合での本実施の形態の電子ペン６００における可視光生成部８２での動作を説明する。ここでは、このように事後的に参照情報を付与する必要がある代表的な例として、病院で用いられるカルテ用紙５１０を想定する。
なお、一般的な参照情報としては、特定の情報へリンクするための情報や、特定のアプリケーションプログラム(機能)を呼び出すための情報が例示される。
ここでまず、印刷物５００であるカルテ用紙５１０について説明しておく。図５は、カルテ用紙５１０に形成されるカルテフォームの例を示した図である。図１の画像形成装置４００では、可視トナーを用いて、カルテフォームの罫線等のレイアウト情報がカルテ用紙５１０に印字される。また、それと同時に、画像形成装置４００では、不可視トナーを用いて、カルテ一枚一枚を一意に特定可能な識別情報の一例であるカルテＩＤとカルテ用紙５１０上の位置情報(座標情報)とを示すコードパターン画像がカルテ用紙５１０の全面に印字される。
図５に示したように、カルテ用紙５１０のカルテフォームには、患者氏名、生年月日、患者顔写真、既往症やアレルギー情報等の患者基本情報５１１と、例えば２号様式のカルテフォームに対応するフリー手書き記入欄５１２とが設けられている。また、これらのエリアの他に、記入種別選択欄５１３、過去履歴参照指示欄５１４、システム連携機能欄５１５が設けられている。さらに、不可視トナーを用いた透かし画像５１６が形成されている。
上記したように、カルテ用紙５１０の全面には、識別情報の一例としてのカルテＩＤと紙上の位置情報とがコードパターン画像として印字されている。そして、コードパターン画像を読み取り可能な電子ペン６００を用いてカルテ用紙５１０に手書き入力がなされると、それと同時に、カルテＩＤと位置情報とが電子ペン６００によって検出される。これによって、カルテ用紙５１０のどの位置に手書きがなされたかを電子情報として取得することができる。なお、不可視トナーを用いた透かし画像５１６を印字することで、印字されたカルテ用紙５１０が、不可視トナーで識別情報と位置情報とを含むコードパターン画像が印字された用紙であることを、透かし画像５１６の用紙との光沢差で目視確認することが可能となる。
医師は、患者の診察に従い、カルテ用紙５１０のカルテフォームに形成されたフリー手書き記入欄５１２に電子ペン６００を用いて診療録を記入する。電子ペン６００は、印字されたコードパターン画像を読み取り、カルテＩＤとカルテ用紙５１０上の電子ペン６００の移動軌跡を検出し、どのカルテにどのような手書き記入があったか、電子ペン６００がカルテ用紙５１０上のどこを指示しているかを認識することができる。
このカルテ用紙５１０のフリー手書き記入欄５１２に記入される内容としては、図５の記入種別選択欄５１３に示すようなＳ、Ｏ、Ａ、Ｐに対応する内容がある。例えば、主訴(Ｓ: subjective)を指定して患者の自覚症状が記入される。また、客観所見(Ｏ:objective)を指定して医師による診察所見や検査所見が記入される。さらに、診断(Ａ:assessment)を指定して、医師による診断、鑑別診断、治療法選択と根拠、治療に対する評価などが記入される。またさらに、計画(Ｐ:plan)を指定して治療計画等が記入される。
ここで、医師がこのカルテ用紙５１０のフリー手書き記入欄５１２に診療録を記入する際、特定の領域を電子ペン６００で指示することで、診断に必要な情報を参照できるようにしておくことができれば便利である。例えば、図５では、フリー手書き記入欄５１２にレントゲン撮影を行った旨の記述があるが、その近くの特定の領域を電子ペン６００で指示することでそのレントゲンの画像データにアクセスできれば便利である。そこで、本実施の形態では、電子ペン６００のスイッチ６８により「参照情報登録モード」を設定して、参照指示領域５１７を手書きする（図５では四角形の枠で示した）ことにより、電子ペン６００によりこの参照指示領域５１７を指示するだけで所望の情報または機能にアクセスできるように構成している。
図６は、「参照情報登録モード」が設定された場合の電子ペン６００の制御部６１および可視光照射制御部８１にて実行される処理の一例を示したフローチャートである。
図６に示したように、まず、制御部６１は、スイッチ６８からの信号を判断して、設定されたモードを把握する(ステップ２０１)。そして、制御部６１は、設定されたモードを表す信号を可視光照射制御部８１に出力する。可視光照射制御部８１は、取得したモードを表す信号に基づいて、設定されたモードに対応した色の光を点灯させる制御信号を可視光生成部８２に対して出力する。そして、可視光生成部８２は、「参照情報登録モード」に対応した光として、例えば橙色を点灯させる(ステップ２０２)。この場合に、例えば、「通常モード」が設定された場合には、可視光生成部８２での光の点灯を行なわないように設定することができる。また、例えば、「参照情報取得モード」が設定された場合には、それに対応した光として、例えば紫色を点灯させることができる。
また、「参照情報登録モード」や「参照情報取得モード」といった特殊処理モードが設定されている場合には、ユーザに注意を喚起するため、ステップ２０２にて設定された色の点灯は、他のステータスを表出する場合を除き、一連の処理が終了するまで継続する。
引き続いて、電子ペン６００を用いて、ユーザによりカルテ用紙５１０に文字や図形の記録が行なわれると、制御部６１は、カルテ用紙５１０に対してペンによる記録が行われていることの検出信号を筆圧検出部６２から取得する(ステップ２０３)。
制御部６１は、筆圧検出部６２から検出信号を取得すると、ステータス情報生成部６１３は、入力開始信号を生成する。そして、ステータス情報生成部６１３は、生成した入力開始信号を可視光照射制御部８１に出力する。可視光照射制御部８１は、取得した入力開始信号に基づいて、ステップ２０２にて設定された橙色の点灯を一旦停止し、可視光生成部８２に対して青色の光を２回点滅させる制御信号を出力する。そして、可視光生成部８２は、橙色の点灯を停止して(ステップ２０４)、青色光を２回点滅させる(ステップ２０５)。それにより、ユーザは、電子ペン６００からコードパターン画像の入力が開始されたことを知ることができる。
ステップ２０６での青色光の２回点滅が行なわれた後、橙色の点灯を再開する(ステップ２０６)。
それに引き続いて、制御部６１は、赤外照射部６３に対して、赤外光をカルテ用紙５１０に照射するように指示する。そして、赤外照射部６３によってカルテ用紙５１０に照射される赤外光は不可視画像にて吸収され、それ以外の部分では反射される。画像入力部６４ではこの反射された赤外光を受光し、赤外光が反射されなかった部分をコードパターン画像として認識する。制御部６１は、画像入力部６４からこのコードパターン画像を入力(スキャン)する(ステップ２０７)。
その後、制御部６１の情報取得部６１１では、次の情報検出処理が実行される(ステップ２０８)。すなわち、ステップ２０８の情報検出処理では、まず、情報取得部６１１は、入力されたスキャン画像を整形する。このスキャン画像の整形は、傾き補正やノイズ除去等である。そして、整形されたスキャン画像からスラッシュ「／」やバックスラッシュ「＼」等のビットパターン(斜線パターン)を検出する。また一方で、整形されたスキャン画像から、２次元コード位置決め用のコードである同期コードを検出し、情報取得部６１１は、この同期コード位置を参照して２次元コードを検出する。また、２次元コードからＥＣＣ等の情報を取り出し復号し、復号した情報を元の情報に復元することにより、識別情報の一例としてのカルテＩＤおよび位置情報を取り出す。
続いて、情報取得部６１１は、ステップ２０８にて識別情報の一例としてのカルテＩＤおよび位置情報が正常に取り出されたか否かを判断する(ステップ２０９)。
ステップ２０９にて識別情報の一例としてのカルテＩＤおよび位置情報が正常に取り出されたと判断された場合には、ステータス情報生成部６１３は、正常に取り出された旨を示す信号を可視光照射制御部８１に対して出力する。可視光照射制御部８１は、取得した信号に基づいて、可視光生成部８２に対して青色光を１回点灯させる制御信号を出力する。そして、可視光生成部８２は、青色光を１回点灯させる(ステップ２１０)。それにより、ユーザは、電子ペン６００による画像入力が正常に行なわれたことを知ることができる。なお、ステップ２１０での青色光を１回点灯させる際には、ステップ２０４およびステップ２０６と同様の処理が行なわれて、橙色の点灯の停止／再開が行なわれる。
可視光生成部８２での青色光の１回の点灯が行なわれるのと同時に、制御部６１では、情報取得部６１１がカルテＩＤをそのまま情報記憶部６５に記憶し、軌跡算出部６１２が位置情報を軌跡情報に変換した上で情報記憶部６５に記憶する(ステップ２１１)。なお、ここでは、電子ペン６００で筆記される参照指示領域５１７は矩形であることを前提とし、軌跡情報は、矩形領域の左上点の座標と右下点の座標との組み合わせ(以下、「矩形情報」という)で表すものとする。ただし、手書きした領域は厳密には矩形とはならないので、手書きした領域を正確な矩形にて近似する。
そして、本実施の形態では、「参照情報登録モード」が設定されているので、電子ペン６００の通信部６６は、端末装置７００に対し、カルテＩＤおよび矩形情報（筆記情報）に対する参照情報登録指示を送信する(ステップ２１２)。
なお、スイッチ６８により「参照情報取得モード」が設定されていたとした場合には、電子ペン６００による指示位置が参照指示領域５１７内であれば、ステップ２１２においては、その指示位置に対応する参照情報の取得指示を端末装置７００に対して送信する。そして、それにより、端末装置７００への参照情報の取得指示に基づいて、所定の情報または機能へのアクセスがなされることとなる。
ステップ２１２にて端末装置７００に対してカルテＩＤおよび矩形情報に対する参照情報登録指示が送信された際に、制御部６１は、通信部６６と端末装置７００との通信が正常に行なわれたか否かを判断する(ステップ２１３)。
ステップ２１３にて通信が正常に行なわれたと判断された場合には、ステータス情報生成部６１３は、通信が正常に行なわれた旨を示す信号を可視光照射制御部８１に対して出力する。可視光照射制御部８１は、取得した信号に基づいて、可視光生成部８２に対して青色光を１回点灯させる制御信号を出力する。そして、可視光生成部８２は、青色光を１回点灯させる(ステップ２１４)。それにより、ユーザは、通信部６６と端末装置７００との通信が正常に行なわれ、カルテＩＤおよび矩形情報に対する参照情報登録指示が送信されたことを知ることができる。なお、ステップ２１４での青色光を１回点灯させる前には、橙色の点灯が停止される。
一方、ステップ２１３にて通信が正常に行なわれなかったと判断された場合には、ステータス情報生成部６１３は、通信に異常が生じた旨を示す信号を可視光照射制御部８１に対して出力する。可視光照射制御部８１は、取得した信号に基づいて、可視光生成部８２に対して赤色光を３回点滅させる制御信号を出力する。そして、可視光生成部８２は、赤色光を３回点滅させる(ステップ２１５)。それにより、ユーザは、通信部６６と端末装置７００との通信が正常に行なわれず、カルテＩＤおよび矩形情報に対する参照情報登録指示が送信されなかったことを知ることができる。
ステップ２１５での赤色光の３回の点滅の後、可視光照射制御部８１は、可視光生成部８２での赤色光の点灯を継続させる(ステップ２１６)。すなわち、点灯を橙色から赤色に変える。そして、ユーザに対して、再度の筆記（参照指示領域５１７の手書き）を要求する。その後、情報取得部６１１が再び筆圧検出部６２から検出信号を取得する(ステップ２１７)と、ステータス情報生成部６１３は、入力開始信号を生成する。ステータス情報生成部６１３は、生成した入力開始信号を可視光照射制御部８１に出力する。可視光照射制御部８１は、取得した入力開始信号に基づいて、可視光生成部８２に対して青色の光を２回点滅させる制御信号を出力する。そして、可視光生成部８２は、赤色光の点灯を停止し、青色光を２回点滅させる(ステップ２１８)。それにより、ユーザは、電子ペン６００からコードパターン画像の入力が再度開始されたことを知ることができる。
次に、この参照情報登録指示を受けた端末装置７００が行なう処理について説明する。
図７は、端末装置７００の機能構成を示した図である。
図７に示したように、端末装置７００は、受信部７１、制御部７２、入出力部７３、記憶部７４、送信部７５を含んで構成されている。
受信部７１は、電子ペン６００から参照情報登録指示を受信する。制御部７２は、受信部７１からの参照情報登録指示に応じて各機能部を制御する。入出力部７３は、端末装置７００のディスプレイに情報を出力したり、キーボード等から入力された情報を受け取る。記憶部７４は、ユーザが媒体上の特定の領域に付与する参照情報による参照先の候補を記憶しており、例えば、磁気ディスクによって実現されている。送信部７５は、参照情報の登録要求をサーバコンピュータ(不図示)に対して行なう。
なお、これらの各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。すなわち、端末装置７００の図示しないＣＰＵが、受信部７１、制御部７２、入出力部７３、送信部７５を実現するプログラムを、例えばハードディスク等の外部記憶装置からメインメモリに読み込んで、端末装置７００内にこれらの各機能部を実現する。
図８は、端末装置７００にて実行される処理の一例を示したフローチャートである。
まず、端末装置７００では、受信部７１が、電子ペン６００からカルテＩＤおよび矩形情報に対する参照情報登録指示を受信し、その旨の情報が制御部７２に出力される(ステップ３０１)。
これにより、制御部７２は、入出力部７３に対し、参照情報による参照先を検索するための検索条件入力画面の表示を指示し、入出力部７３が、この指示に従い、検索条件入力画面を表示する(ステップ３０２)。この検索条件入力画面としては、カルテＩＤに対応付けられた検査データを、期間で絞り込むための画面が考えられる。
そこで、医師は、この検索条件入力画面に検索条件を入力する。これにより、入出力部７３は、検索条件を受け付け、制御部７２が、記憶部７４からこの検索条件を満足する参照先を検索する。そして、この参照先を取得した入出力部７３は、参照先の一覧を表示する(ステップ３０３)。ここで表示される参照先としては、カルテＩＤに対応付けられた検査データ(レントゲンの画像データや、ＭＲＩの画像データ等)が想定できる。
これに応じ、医師が参照先を選択すると、入出力部７３がその選択情報を受け付け(ステップ３０４)、送信部７５が、カルテＩＤと矩形情報と参照情報との対応を参照情報テーブルに登録するよう、サーバコンピュータ(不図示)に対して要求する(ステップ３０５)。
このように、本実施の形態の筆記情報処理システムでは、電子ペン６００により印刷後の媒体（カルテ用紙５１０）上で領域を指定し、その媒体の識別情報と、領域の位置情報と、所定の情報または機能への参照情報との対応を登録するように構成することで、既に印刷した紙文書に対し電子情報への参照情報を付与することができるように構成している。そして、かかる構成において、電子ペン６００での各種の動作状態（ステータス）をユーザに伝達するために、各種ステータスに対応した光信号を可視光生成部８２から照射するように構成している。それにより、ユーザは、電子ペン６００にて多種多様の動作・処理が行なわれる毎に、その動作状態を確実に把握することができる。
［第３の実施の形態］
第３の実施の形態では、本実施の形態の筆記情報処理システムにおいて、電子ペン６００にて筆記される画像に付する色や線の太さ等といった書式の指定が行なわれた場合の可視光生成部８２での動作を説明する。ここでは、電子ペン６００により書式設定シート５２０に設定されたチェックボックスにチェックマークを記入することで表示書式(表示属性)の指定が行なわれる場合を想定する。
ここでまず、印刷物５００である書式設定シート５２０について説明しておく。図９は、書式設定シート５２０の一例を示した図である。図９に示したように、書式設定シート５２０には、表示書式(表示属性)に関する項目として、例えば、線の太さを設定する線太さ設定ボックス５２２、色を設定する色設定ボックス５２３、無彩色（グレー）の段階および黒を選択できる無彩色設定ボックス５２４、さらには、線の太さおよび色を予め定められた状態に設定する初期設定ボックス５２１が形成されている。各設定ボックス５２２〜５２４には、それぞれの詳細な設定が記されたチェックボックス５２２ａ〜５２２ｆ、５２３ａ〜５２３ｆ、５２４ａ〜５２４ｄが備えられている。
そして、ユーザは、電子ペン６００を用いて、各設定ボックス５２１〜５２４の中から所望の設定が記されたチェックボックスにチェックマークを記入することにより、端末装置７００において、電子ペン６００から出力された情報が文書サーバ２００から取得した電子文書に重ね合わせて表示される際に、電子ペン６００からの情報の表示書式が設定される。
ここで、本実施の形態の電子ペン６００においては、電子ペン６００により所望のチェックボックスにチェックマークが記入され、端末装置７００での電子ペン６００からの情報の表示書式が設定された場合に、電子ペン６００では表示書式の内容に対応して、可視光生成部８２から照射する可視光の表現形態を設定している。
本実施の形態の電子ペン６００では、例えば、線太さ設定ボックス５２２に備えられたチェックボックス５２２ａ〜５２２ｆのいずれかにチェックマークが記入されると、設定された線の太さに対応して、可視光生成部８２から照射される光の点滅の周期を変化させるように構成している。例えば、線を太く設定するほど、点滅の周期を速く設定している。それにより、ユーザは、設定された線の太さを正確に把握できないまでも、大まかな把握をすることが可能となる。そのため、設定したつもりの太さと実際に設定された太さとの比較を視覚的によって容易に行なうことができる。
ここで、図１０は、（ａ）が一例としてチェックボックス５２２ｆ内にチェックマークを記入した場合を表し、（ｂ）がいずれのチェックボックスの枠内からも外れた領域にチェックマークを記入した場合を示した図である。図１０（ａ）に示したように、例えばチェックボックス５２２ｆ内にチェックマークを記入した場合には、チェックボックス５２２ｆに設定された線の太さに対応した点滅周期の光が、可視光生成部８２から書式設定シート５２０上の可視光照射域に照射される。一方、図１０（ｂ）に示したように、いずれのチェックボックスの枠内からも外れた領域にチェックマークを記入した場合には、可視光生成部８２からは光が照射されない。
また、例えば、色設定ボックス５２３に備えられたチェックボックス５２３ａ〜５２３ｆのいずれかにチェックマークが記入されると、可視光生成部８２から照射される光を設定された色と同様の色に設定するように構成している。そして、例えば、図４の処理フローでのステップ１０２やステップ１１０、ステップ１１４、さらには、図６の処理フローでのステップ２０５やステップ２１０、ステップ２１４にて、動作や処理が正常に行なわれたことを示す青色光の点灯を、設定された色で行なうように構成する。それにより、設定された色を視覚的に確認することができる。
また、例えば、無彩色設定ボックス５２４に備えられたチェックボックス５２４ａ〜５２４ｄのいずれかにチェックマークが記入されると、無彩色（グレー）の段階および黒に対応して、可視光生成部８２から照射される光の光量を変化させている。それにより、設定された無彩色の段階を視覚的に確認することができる。
さらに、初期設定ボックス５２１にチェックマークが記入されると、可視光生成部８２から照射される光の色をデフォルトとしての例えば青色に設定する。そして、上記した動作や処理が正常に行なわれたことを示す際の光の点灯を青色にて行なう。それにより、ユーザは、表示書式の内容が初期設定であることを把握することができる。
ところで、その場合に、電子ペン６００では線の太さおよび色の双方が指定されるので、例えば設定された色と設定された点滅の周期とが同時に実行されることなる。
このように、本実施の形態では、電子ペン６００により端末装置７００での電子ペン６００からの情報の表示書式が設定された場合に、各種ステータスに対応した光信号を可視光生成部８２から照射するように構成している。それにより、ユーザは、電子ペン６００での筆記の途中において、設定された情報の表示書式を把握することができる。
［第４の実施の形態］
上記した図３に示した電子ペン６００では、可視光生成部８２からの光の照射が、用紙上にて筆記部６９が置かれる位置の周辺領域に照射するように構成されている。本実施の形態の電子ペン６１０では、可視光生成部８２が電子ペン６００のペン先の筆記部６９が設置されている位置に設置されている構成について説明する。なお、図３に示した実施の形態での電子ペン６００と同様な構成については同様な符号を用い、ここではその詳細な説明を省略する。
図１１は、本実施の形態の電子ペン６１０の構成を示した図である。
本実施の形態の電子ペン６１０では、可視光生成部８２が電子ペン６１０のペン先の筆記部６９が設置されている位置の側面に設置されている。それにより、ユーザは、可視光生成部８２から照射される光を直接的に見ることができる。
このように構成することによっても、ユーザは用紙上に筆記する際には、必ずペン先を見るため、ユーザに対して確実にステータスを伝達できる。また、ユーザは、視線を変えずに、ステータスを把握することもできる。
なお、本実施の形態の電子ペン６１０においては、可視光生成部８２を電子ペン６１０のペン先の筆記部６９が設置されている位置の側面に設置した。一方、このような構成の他に、可視光生成部８２を電子ペン６００の内部に配置し、可視光生成部８２からの光を導光路を用いて電子ペン６００のペン先の側面まで導くように構成することもできる。すなわち、可視光生成部８２から照射される光が電子ペン６００のペン先の側面にてユーザが視認できる構成であれば、可視光生成部８２の設置位置は、電子ペン６００の内部または側面に限定されるものではない。
その際に、赤外照射部６３と可視光生成部８２とを一体化させたチップにて構成し、かかるチップからの光を導光路を用いて電子ペン６１０のペン先の側面まで導くように構成することもできる。このような構成を採用しても、赤外照射部６３から照射される赤外光は、通常、人間の目では視認できないので、可視光生成部８２からの光の視認性に影響を及ぼすことは殆どない。
本発明の筆記情報処理システムの構成の一例を示した図である。 コードパターン画像を説明するための図である。 電子ペンの構成を示した図である。 「通常モード」での電子ペンの制御部および可視光照射制御部にて実行される処理の一例を示したフローチャートである。 カルテ用紙に形成されるカルテフォームの例を示した図である。 「参照情報登録モード」が設定された場合の電子ペンの制御部および可視光照射制御部にて実行される処理の一例を示したフローチャートである。 端末装置の機能構成を示した図である。 端末装置にて実行される処理の一例を示したフローチャートである。 書式設定シートの一例を示した図である。 （ａ）が一例としてチェックボックス５２２ｆ内にチェックマークを記入した場合を表し、（ｂ）がいずれのチェックボックスの枠内からも外れた領域にチェックマークを記入した場合を示した図である。 電子ペンの構成を示した図である。
符号の説明
６１…制御部、６２…筆圧検出部、６３…赤外照射部、６４…画像入力部、６５…情報記憶部、６６…通信部、６７…バッテリ、６８…スイッチ、６９…筆記部、８１…可視光照射制御部、８２…可視光生成部、１００,７００…端末装置、２００…文書サーバ、４００…画像形成装置、５００…印刷物、６００,６１０…電子ペン

Claims (15)

  1. 媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成手段と、
    前記筆記情報生成手段から前記筆記情報を取得して、当該筆記情報を記憶する情報処理装置とを備え、
    前記筆記情報生成手段は、
    当該筆記情報生成手段の動作状態を検出する動作状態検出部と、
    前記動作状態検出部にて検出された前記動作状態の各々をそれぞれ表現する可視光を生成し、当該可視光を前記媒体の表面に向けて照射する可視光生成部と
    を有することを特徴とする筆記情報処理システム。
  2. 前記筆記情報生成手段は、前記媒体に対して筆記を行なう筆記部をさらに有し、前記可視光生成部は、当該筆記部が当該媒体上と接触する位置周辺に前記可視光照射域を形成することを特徴とする請求項１記載の筆記情報処理システム。
  3. 前記可視光生成部は、前記動作状態の各々についてそれぞれ設定された色の前記可視光を生成することを特徴とする請求項１記載の筆記情報処理システム。
  4. 前記可視光生成部は、前記動作状態の各々についてそれぞれ設定された周期で点滅する前記可視光を生成することを特徴とする請求項１記載の筆記情報処理システム。
  5. 前記可視光生成部は、前記動作状態の各々についてそれぞれ設定される光量の前記可視光を生成することを特徴とする請求項１記載の筆記情報処理システム。
  6. 媒体上に当該媒体または電子文書を識別するための識別情報と当該媒体上の位置を表す位置情報とのいずれか一方または双方を形成する画像形成装置と、
    前記媒体上に形成された前記識別情報と前記位置情報とのいずれか一方または双方に基づいて、媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成手段と、
    前記筆記情報生成手段から前記筆記情報を取得して、当該筆記情報を記憶する情報処理装置とを備え、
    前記筆記情報生成手段は、
    当該筆記情報生成手段の動作状態を検出する動作状態検出部と、
    前記動作状態検出部にて検出された前記動作状態の各々をそれぞれ表現する可視光を生成し、当該可視光を前記媒体の表面に向けて照射する可視光生成部と
    を有することを特徴とする筆記情報処理システム。
  7. 前記画像形成装置は、前記識別情報と前記位置情報のいずれか一方または双方を符号化して得られる識別符号を画像化したコード画像を、赤外領域に吸収波長を持つ不可視の画像形成材料を用いて形成することを特徴とする請求項６記載の筆記情報処理システム。
  8. 媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成装置であって、
    当該筆記情報生成装置の動作状態を検出する動作状態検出部と、
    前記動作状態検出部にて検出された前記動作状態の各々を表現する可視光を生成し、当該可視光を前記媒体の表面に向けて照射する可視光生成部と
    を備えたことを特徴とする筆記情報生成装置。
  9. 前記可視光生成部は、前記媒体上でのユーザの筆記位置周辺に前記可視光を照射することを特徴とする請求項８記載の筆記情報生成装置。
  10. 前記可視光生成部は、当該筆記情報生成装置の前記媒体側の端部側面に配置されたことを特徴とする請求項８記載の筆記情報生成装置。
  11. 媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成装置であって、
    前記媒体の表面に向けて照射される可視光を生成する可視光生成部と、
    前記可視光生成部にて生成する可視光を制御する可視光照射制御部を備え、
    前記可視光照射制御部は、当該筆記情報生成装置の動作状態に応じて、前記可視光生成部が当該動作状態の各々を表現する可視光を発光し、当該可視光を前記媒体の表面に向けて照射するように制御することを特徴とする筆記情報生成装置。
  12. コンピュータに、
    媒体へのユーザの筆記操作に関連した情報である筆記情報を生成する筆記情報生成部の動作状態を検出する機能と、
    検出された前記動作状態の各々を表現する可視光を生成するための制御信号を生成する機能と、
    前記制御信号により生成された可視光を前記媒体の表面に向けて照射する機能と
    を実現させるプログラム。
  13. 前記筆記情報生成部における前記筆記情報の生成開始および／または生成完了を検出し、当該筆記情報の生成開始および／または生成完了を表現する前記可視光を生成するための前記制御信号を生成する機能を実現することを特徴とする請求項１２記載のプログラム。
  14. 前記筆記情報を記憶する情報処理装置に対して、当該筆記情報を送信する機能をさらに有し、
    前記情報処理装置との通信の成否を検出し、検出された当該通信の成否を表現する前記可視光を生成するための前記制御信号を生成する機能を実現することを特徴とする請求項１２記載のプログラム。
  15. 前記筆記情報生成部に入力されたコマンドを検出し、入力された当該コマンドの種類を表現する前記可視光を生成するための前記制御信号を生成する機能を実現することを特徴とする請求項１２記載のプログラム。
JP2006252667A 2006-09-19 2006-09-19 筆記情報処理システム、筆記情報生成装置およびプログラム Active JP4375377B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006252667A JP4375377B2 (ja) 2006-09-19 2006-09-19 筆記情報処理システム、筆記情報生成装置およびプログラム
US11/653,293 US7933450B2 (en) 2006-09-19 2007-01-16 Writing information processing system, writing information generating device and computer readable storage medium
CNA2007100871905A CN101149799A (zh) 2006-09-19 2007-03-23 书写信息处理系统、书写信息生成装置及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006252667A JP4375377B2 (ja) 2006-09-19 2006-09-19 筆記情報処理システム、筆記情報生成装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2008077168A JP2008077168A (ja) 2008-04-03
JP4375377B2 true JP4375377B2 (ja) 2009-12-02

Family

ID=39187395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006252667A Active JP4375377B2 (ja) 2006-09-19 2006-09-19 筆記情報処理システム、筆記情報生成装置およびプログラム

Country Status (3)

Country Link
US (1) US7933450B2 (ja)
JP (1) JP4375377B2 (ja)
CN (1) CN101149799A (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556705B2 (ja) * 2005-02-28 2010-10-06 富士ゼロックス株式会社 ２次元座標同定装置、画像形成装置及び２次元座標同定方法
US8416188B2 (en) * 2007-02-08 2013-04-09 Silverbrook Research Pty Ltd System for controlling movement of a cursor on a display device
WO2009036486A1 (en) * 2007-09-21 2009-03-26 Silverbrook Research Pty Ltd Coding pattern comprising direction codes
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
JP5257055B2 (ja) 2008-12-24 2013-08-07 富士ゼロックス株式会社 読取装置
US8860548B2 (en) * 2009-04-02 2014-10-14 Devecka Enterprises, Inc. Methods and apparatus for art supply useage compliance
JP5312186B2 (ja) * 2009-05-08 2013-10-09 キヤノン株式会社 原稿読取装置
JP2012100137A (ja) 2010-11-04 2012-05-24 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及び画像処理プログラム
JP5732866B2 (ja) * 2011-01-20 2015-06-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
CN102999180B (zh) * 2011-09-15 2016-04-20 汉王科技股份有限公司 一种扫描笔及其扫描方法
KR101910578B1 (ko) * 2012-11-09 2018-10-22 삼성전자주식회사 전자 패널용 칼라 광펜
US10753746B2 (en) * 2012-11-29 2020-08-25 3M Innovative Properties, Inc. Multi-mode stylus and digitizer system
US9348438B2 (en) * 2013-02-19 2016-05-24 Dell Products L.P. Advanced in-cell touch optical pen
KR102162836B1 (ko) 2013-08-30 2020-10-07 삼성전자주식회사 필드 속성을 이용한 컨텐트를 제공하는 전자 장치 및 방법
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) * 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
JP6268056B2 (ja) * 2014-07-22 2018-01-24 ブラザー工業株式会社 筆記データ処理プログラム、及び、筆記データ処理装置
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
KR102312888B1 (ko) * 2015-05-13 2021-10-15 삼성전자주식회사 입력장치, 이를 구비하는 전자기기 및 그 제어방법
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9899038B2 (en) 2016-06-30 2018-02-20 Karen Elaine Khaleghi Electronic notebook system
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
EP3734422B1 (en) 2017-12-27 2023-11-01 Sony Group Corporation Information processing device, information processing method, and information processing system
US10235998B1 (en) 2018-02-28 2019-03-19 Karen Elaine Khaleghi Health monitoring system and appliance
CN109263362A (zh) * 2018-10-29 2019-01-25 广东小天才科技有限公司 一种智能笔及其控制方法
CN109452778B (zh) * 2018-11-01 2021-08-31 江西金虎保险设备集团有限公司 一种家用红外天线触发式智能书架
US10559307B1 (en) 2019-02-13 2020-02-11 Karen Elaine Khaleghi Impaired operator detection and interlock apparatus
US10735191B1 (en) 2019-07-25 2020-08-04 The Notebook, Llc Apparatus and methods for secure distributed communications and data access
WO2021150206A1 (en) * 2020-01-21 2021-07-29 Hewlett-Packard Development Company, L.P. Data packets for controlling light sources

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4016414A (en) * 1975-04-09 1977-04-05 Browning Scott M Writing device incorporating illuminating means
US5627349A (en) * 1993-07-01 1997-05-06 Integral Information Systems Interactive data entry apparatus
JP3006448B2 (ja) 1995-02-09 2000-02-07 富士ゼロックス株式会社 情報入出力システム
US5544967A (en) * 1995-09-08 1996-08-13 Yao; Lu Multipurpose pen with illuminator means
US6000809A (en) * 1997-11-26 1999-12-14 Belo; Michele Adjustable, self-illuminating, writing instrument
US6549935B1 (en) * 1999-05-25 2003-04-15 Silverbrook Research Pty Ltd Method of distributing documents having common components to a plurality of destinations
US6957768B1 (en) 1999-05-25 2005-10-25 Silverbrook Research Pty Ltd Computer system control via interface surface
US6959866B2 (en) 2002-05-30 2005-11-01 Ricoh Company, Ltd. 2-Dimensional code pattern, 2-dimensional code pattern supporting medium, 2-dimensional code pattern generating method, and 2-dimensional code reading apparatus and method
JP4198456B2 (ja) 2002-07-10 2008-12-17 株式会社リコー ２次元コードパターン、２次元コードパターンを担持するパターン担持媒体、２次元コードパターンの生成方法、２次元コード読取装置および読取方法
JP4385744B2 (ja) * 2003-11-28 2009-12-16 株式会社日立製作所 記載内容改ざん防止機能つき電子ペン利用書類記入システム
KR100618287B1 (ko) * 2004-08-24 2006-08-31 삼신이노텍 주식회사 블루투스를 이용한 펜타입의 휴대용 무선통신 단말기
KR20060025845A (ko) 2004-09-17 2006-03-22 엘지전자 주식회사 휴대폰의 배터리전압 잔량 표시 방법 및 장치
US20060197755A1 (en) * 2005-03-02 2006-09-07 Bawany Muhammad A Computer stylus cable system and method
JP2007115201A (ja) * 2005-10-24 2007-05-10 Fuji Xerox Co Ltd 電子文書管理システム、医療情報システム、カルテ用紙の印刷方法、およびカルテ用紙

Also Published As

Publication number Publication date
US7933450B2 (en) 2011-04-26
US20080066973A1 (en) 2008-03-20
CN101149799A (zh) 2008-03-26
JP2008077168A (ja) 2008-04-03

Similar Documents

Publication Publication Date Title
JP4375377B2 (ja) 筆記情報処理システム、筆記情報生成装置およびプログラム
JP4973310B2 (ja) 電子筆記具、コンピュータシステム
US7654463B2 (en) Electronic document management system, medical information system, method for printing sheet of chart paper, and sheet of chart paper
KR101152724B1 (ko) 도트 패턴 판독 기능을 구비한 마우스
JP4821716B2 (ja) 電子筆記具、キャップ、コンピュータシステム
US8699039B2 (en) Document generating apparatus, display control apparatus, document generating method, display control method and computer readable medium
JP2008204328A (ja) 読取り装置、筆記情報処理システムおよびプログラム
JP2007279842A (ja) 電子カルテシステム及びデータ処理装置並びにその方法
JP2008257530A (ja) 電子ペン入力データ処理システム
JP4844354B2 (ja) 文書管理装置及びプログラム
JP4654906B2 (ja) コンピュータシステム、参照情報登録装置、及びプログラム
JP2009181521A (ja) 筆跡情報生成装置、プログラムおよび筆跡情報管理システム
US20060274963A1 (en) Image recording apparatus, image recording method and program therefor
JP2008021120A (ja) 筆記情報処理システム、筆記情報処理方法およびプログラム
JP2007053443A (ja) 電子文書管理システム、文書画像出力装置、および画像処理方法
JP5387086B2 (ja) 情報照合支援システム及びプログラム
JP5186935B2 (ja) 筆跡情報管理システムおよび筆跡情報生成装置
JP2013084148A (ja) 電子ペンシステム及びプログラム
JP2009170979A (ja) 文書管理システム、文書管理装置およびプログラム
JP4665754B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP5109377B2 (ja) 筆記情報処理装置、及びプログラム
JP5181700B2 (ja) 筆跡情報生成装置、プログラムおよび筆跡情報管理システム
JP4830873B2 (ja) 読み取り装置、情報処理システムおよびプログラム
JP5251252B2 (ja) 情報処理装置、文書管理システム、及びプログラム
JP2006033756A (ja) 画像処理装置、画像処理装置の制御方法、プログラム及び印刷物

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090224

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090831

R150 Certificate of patent or registration of utility model

Ref document number: 4375377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350