JP4635945B2 - 筆記情報処理装置、筆記情報処理方法、及びプログラム - Google Patents

Description

本発明は、紙等の媒体に対する筆記を電子化した筆記情報を処理する筆記情報処理装置等に関する。

近年、紙面に電子ペンで筆記することにより、その筆記を電子化した筆記情報を取得する技術が注目されている。こうした技術では、まず、紙面に対し、紙面上の位置に固有な符号パターンを印刷しておく。これにより、電子ペンで紙面に筆記すると、電子ペンがペン先の位置にある符号パターンを読み取って復号し、筆記位置を判別する。そして、判別された複数の筆記位置から筆記情報を生成する。

また、電子文書が印刷された紙面に電子ペンで筆記した場合に、筆記情報を電子文書に関連付ける技術も、種々提案されている(例えば、特許文献１〜３参照)。
特許文献１では、座標情報及び同一性情報を含むコードシンボルが多数配列された記録媒体に対し、画像ソースに基づいて生成された画像データに従い画像を形成する。その際、記録媒体から読み取ったコードシンボルをデコードして同一性情報を獲得し、その同一性情報と画像ソースを特定する画像ソース特定情報との対応付けを行う。そして、筆記動作に伴い、認識された座標情報から加筆情報を得、これを認識された同一性情報に対応付けられた画像ソース特定情報によって特定される画像ソースにデータ上で加筆する。

特許文献２では、電子的に記憶された文書を、位置コーディングパターンを備えた表面に印刷する。次に、位置コーディングパターン読取り手段を備えたデジタルペンと、表面にマーキングを付けるペンポイントとで、プリントアウト表面を編集する。すると、このマーキングがコンピュータに転送され、コンピュータ内で解釈され、この解釈に基づいて記憶済み文書に変更が加えられる。

特許文献３では、紙文書に対する筆記情報のうち、手書きされた部分の情報である筆記画像情報を抽出する。そして、この筆記画像情報を、それが取得された電子文書の文書ＩＤを含む属性情報と共に保存して管理している。

特開２００２−１９６８７０号公報 特表２００３−５２８３８８号公報 特開２００６−０１８６５５号公報

このように、電子文書が印刷された紙面に電子ペンで筆記した場合に、筆記情報を電子文書に関連付ける試みは、従来よりなされていた。
しかしながら、特許文献１〜３の技術において、筆記情報は、紙面に印刷した電子文書そのもの(オリジナルの電子文書)に対して関連付けられている。従って、オリジナルの電子文書が複数のユーザで共有される場合には、次のような問題点があった。

第一に、電子文書に関連付けた筆記情報が他のユーザにも見えてしまうという問題点である。つまり、オリジナルの電子文書はそれを印刷したユーザ以外からも閲覧される場合がある。そのような場合に、電子文書を印刷したユーザによる筆記情報、特に、個人的なメモ書き等が他人に見えてしまい、好ましくない状態になるのである。
第二に、電子文書が修正された場合に、電子文書に関連付けられた筆記情報との間に矛盾が生じてしまうという問題点である。つまり、オリジナルの電子文書は将来編集される可能性があるが、筆記情報をそれに合わせて編集することは困難である。従って、このような場合に、電子文書の適切な位置に筆記情報が反映されなくなってしまうのである。

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、オリジナルの電子文書の共有化の妨げとならずに、筆記情報を電子文書に関連付けることにある。
また、本発明の他の目的は、電子文書に関連付けた筆記情報が他のユーザに見えることを防止することにある。
更に、本発明の他の目的は、電子文書に関連付けた筆記情報と電子文書との間に矛盾が生じることを防止することにある。

かかる目的のもと、本発明では、文書画像が印刷された媒体に対する筆記情報を、その文書画像の元となる電子文書ではなく、その電子文書を複製して得た複製文書に関連付けるようにした。即ち、本発明の筆記情報処理装置は、筆記情報を取得する筆記取得手段と、筆記情報の取得に応じて、文書画像の元となる第１の電子文書から第２の電子文書を生成する文書生成手段と、第２の電子文書と関連付けて筆記情報を記憶する筆記記憶手段とを備えている。

また、本発明は、文書画像が印刷された媒体に対する筆記情報をその電子文書に対する複製文書に関連付ける方法として捉えることもできる。その場合、本発明の筆記情報処理方法は、筆記情報を取得するステップと、文書画像の元となる第１の電子文書を特定するステップと、筆記情報の取得に応じて、第１の電子文書から第２の電子文書を生成するステップと、第２の電子文書と関連付けて筆記情報を記憶するステップとを含んでいる。

一方、本発明は、文書画像が印刷された媒体に対する筆記情報をその電子文書に対する複製文書に関連付ける機能をコンピュータに実現させるためのプログラムとして捉えることもできる。その場合、本発明のプログラムは、筆記情報を取得する機能と、文書画像の元となる第１の電子文書を特定する機能と、筆記情報の取得に応じて、第１の電子文書から第２の電子文書を生成する機能と、第２の電子文書と関連付けて筆記情報を記憶する機能とをコンピュータに実現させるためのものである。

本発明によれば、オリジナルの電子文書の共有化の妨げとならずに、筆記情報を電子文書に関連付けることが可能となる。

以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
本実施の形態では、紙等の媒体に対し、電子文書の文書画像に加え、コードパターン画像を印刷する。コードパターン画像とは、識別情報及び位置情報を符号化して得られる識別符号及び位置符号を画像化したものである。
ここで、識別情報としては、媒体を一意に識別する識別情報、又は、媒体に印刷された電子文書を一意に識別する識別情報のいずれかが採用される。前者の識別情報を採用した場合、同じ電子文書を複数部数印刷すると、異なる媒体には異なる識別情報が付与される。一方、後者の識別情報を採用した場合、同じ電子文書を印刷すると、異なる媒体であっても同じ識別情報が付与される。
また、位置情報は、媒体上の座標位置を表す情報である。

本実施の形態では、このような画像が印刷された媒体に対し、電子ペンで筆記する。これにより、コードパターン画像に含まれる位置情報に基づいて筆記情報が生成される。また、コードパターン画像に含まれる識別情報に基づいて電子文書が特定される。尚、コードパターン画像に含まれる識別情報が媒体の識別情報である場合は、この識別情報と媒体に印刷された電子文書との対応を管理しておくことで、電子文書を特定することができる。
そして、この特定された電子文書に対し、筆記情報が関連付けられる。

尚、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ(ラスタデータかベクターデータかによらない)、その他の印刷可能な電子データも含めて「電子文書」としている。

以下、このような概略動作を行う本実施の形態について、具体的に説明する。
ところで、上述したように、識別情報としては、媒体を一意に識別する識別情報と、媒体に印刷された電子文書を一意に識別する識別情報とがある。そこで、前者の識別情報を採用したシステムを第１の実施の形態として、また、後者の識別情報を採用したシステムを第２の実施の形態として説明する。

［第１の実施の形態］
本実施の形態では、既に述べたように、媒体の識別情報をコードパターン画像に埋め込む。そこで、本実施の形態において「識別情報」というときは、媒体の識別情報を指すものとする。例えば、同じ電子文書から作成した印刷文書に各人が別々にメモ等を書き込むような場合に、媒体ごとに異なる識別情報を埋め込むと便利である。媒体に対する筆記情報を媒体ごとに別々に管理することが容易に行えるからである。
また、媒体ごとに異なる識別情報を埋め込んでおけば、情報追跡にも役立つ。例えば、媒体の識別情報と印刷を指示したユーザとの対応を記録しておくことで、特定の印刷文書を誰が出力したか容易に把握できるようになる。
尚、以下では、説明を簡単にするために、識別情報と位置情報とは明確に区別して用いる。しかしながら、媒体ごとに異なる位置情報をコードパターン画像に埋め込み、その位置情報の違いにより媒体を識別するという手法もある。そこで、このような手法を採用した場合は、位置情報に媒体を識別する機能も備わっているものと見て、これを識別情報と考えるものとする。

まず、本実施の形態におけるシステム構成について説明する。
図１は、本実施の形態が適用されるシステムの構成を示したものである。このシステムは、端末装置１０と、文書サーバ２０と、識別情報サーバ３０と、画像形成装置４０とがネットワーク９０に接続されることにより構成されている。また、このシステムは、印刷文書５０と、電子ペン６０とを含む。

端末装置１０は、電子文書の印刷を指示したり、筆記情報を生成したりするために用いられる。尚、この端末装置１０としては、ＰＣ(Personal Computer)が例示される。
文書サーバ２０は、電子文書を記憶している。そして、電子文書の印刷指示があると、電子文書の画像とコードパターン画像とを重畳した重畳画像の形成指示を出力する。また、本実施の形態において、文書サーバ２０は、電子文書を複製する機能も有する。尚、この文書サーバ２０は、汎用のサーバコンピュータによって実現することができる。

識別情報サーバ３０は、媒体に付与する識別情報を発行する。そして、発行した識別情報を、その媒体に印刷される電子文書と関連付けて管理する。また、本実施の形態において、識別情報サーバ３０は、筆記情報を関連付ける電子文書を特定する機能も有する。尚、この識別情報サーバ３０も、汎用のサーバコンピュータによって実現することができる。
画像形成装置４０は、媒体に画像を形成する。ここで、画像形成装置４０における画像形成方式としては、例えば、電子写真方式を用いることができるが、その他の如何なる方式を用いてもよい。

印刷文書５０は、電子文書の画像とコードパターン画像とを重畳した重畳画像が印刷された媒体である。
電子ペン６０は、印刷文書５０に文字又は図形を記録する機能を有するペンデバイスである。また、本実施の形態において、電子ペン６０は、コードパターン画像から取得した情報を他の装置に送信する機構も有する。

次に、このシステムにおいて印刷文書５０を生成する際の動作を説明する。
図２は、このときの動作を示したシーケンス図である。
まず、ユーザが、端末装置１０を操作し、文書サーバ２０に格納された電子文書の中から印刷対象の電子文書を指定する。これにより、端末装置１０は、その電子文書の印刷指示を文書サーバ２０に送信する(ステップ１０１)。尚、このとき、端末装置１０は、ユーザが指定した印刷パラメータも送信する。ここで、印刷パラメータには、ページ、部数、用紙サイズ、Ｎ−ｕｐ(用紙の１ページ内に電子文書のＮページを割り付ける印刷)、余白等がある。

すると、文書サーバ２０は、電子文書の印刷指示を受信する(ステップ２０１)。そして、印刷を指示された電子文書の格納場所と、端末装置１０から受信した印刷パラメータとを識別情報サーバ３０に送信する(ステップ２０２)。

これにより、識別情報サーバ３０は、電子文書の格納場所と印刷パラメータとを受信する(ステップ３０１)。そして、識別情報を管理するデータベースから未使用の識別情報を取り出す(ステップ３０２)。ここで、取り出す識別情報の数は、印刷パラメータに応じて決められる。つまり、基本的には、印刷するページ数に印刷部数を乗じて得られる数の識別情報が取り出される。但し、印刷パラメータ中に、Ｎ−ｕｐの指定等がある場合は、それも考慮される。例えば、１０ページの電子文書を２−ｕｐで５部印刷する場合は、２５(＝１０÷２×５)個の識別情報が取り出される。
次に、識別情報サーバ３０は、識別情報と、電子文書の格納場所と、印刷パラメータとを関連付けてデータベースに登録する(ステップ３０３)。そして、識別情報サーバ３０は、文書サーバ２０に対し、識別情報を送信する(ステップ３０４)。

これにより、文書サーバ２０は、識別情報を受信する(ステップ２０３)。そして、識別情報及び位置情報を埋め込んだコードパターン画像を生成する(ステップ２０４)。尚、コードパターン画像の生成処理の詳細は後述する。
その後、文書サーバ２０は、電子文書の文書画像とコードパターン画像とを画像形成装置４０に送信し、画像形成を指示する(ステップ２０５)。この指示は、例えば、電子文書、識別情報、位置情報からページ記述言語(ＰＤＬ：Print Description Language)を生成し、これを送信することで行うことができる。

すると、画像形成装置４０は、電子文書の文書画像とコードパターン画像とを受信する(ステップ４０１)。そして、画像形成装置４０は、まず、文書画像をＣ(シアン)、Ｍ(マゼンタ)、Ｙ(イエロー)の画像に展開する(ステップ４０２)。次に、文書画像はＣ、Ｍ、Ｙのトナーを用いて、コードパターン画像はＫ(黒)のトナーを用いて、画像形成を行う(ステップ４０３)。

ところで、上述した例では、識別情報サーバ３０は識別情報を発行するだけで、文書サーバ２０が、識別情報を含むコードパターン画像を生成し、画像形成装置４０に画像形成を指示する構成とした。しかしながら、識別情報サーバ３０が、コードパターン画像を生成し、画像形成装置４０に画像形成を指示する構成としてもよい。
また、コードパターン画像は、画像形成装置４０で生成することもできる。この場合は、文書サーバ２０又は識別情報サーバ３０が、電子文書から生成したＰＤＬに識別情報を付加して画像形成装置４０へ送信し、画像形成装置４０が識別情報を含むコードパターン画像を生成することになる。

また、上記では、識別情報と、電子文書の格納場所と、印刷パラメータとを関連付けたデータベースを識別情報管理サーバ３０に置く構成について説明した。これは、かかるデータベースを共有可能な装置に置くことで、複数ユーザへの対応や、サーバのアクセス制御技術を利用した電子文書のセキュリティ確保が可能となるからである。しかしながら、必ずしもこのような構成を採用しなければならないというわけではなく、端末装置１０や文書サーバ２０にこのようなデータベースを置く構成を採用してもよい。

また、上述した例では、コードパターン画像をＫのトナーを用いて形成するようにした。これは、Ｋのトナーが、Ｃ、Ｍ、Ｙのトナーよりも赤外光の吸収量が多く、電子ペン６０でコードパターン画像を読み取ることができるからである。しかしながら、コードパターン画像は、特殊トナーを用いて形成することも可能である。
ここで、特殊トナーとしては、可視光領域(４００ｎｍ〜７００ｎｍ)における最大吸収率が７％以下であり、近赤外領域(８００ｎｍ〜１０００ｎｍ)における吸収率が３０％以上の不可視トナーが例示される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが、人間の目で認識し難いものも「不可視」に含める。
また、この不可視トナーは、画像の機械読取りのために必要な近赤外光吸収能力を高めるために、平均分散径が１００ｎｍ〜６００ｎｍの範囲のものが望ましい。

次に、本実施の形態で生成されるコードパターン画像の元となるコードパターンについて説明する。
図３は、コードパターンについて説明するための図である。
まず、コードパターンを構成するビットパターンについて説明する。
図３(ａ)に、ビットパターンの配置の一例を示す。
ビットパターンとは、情報埋め込みの最小単位である。ここでは、図３(ａ)に示すように、９箇所の中から選択した２箇所にビットを配置する。図では、黒の四角が、ビットが配置された位置を示し、斜線の四角が、ビットが配置されていない位置を示している。９箇所の中から２箇所を選択する組み合わせは、３６(＝_９Ｃ_２)通りある。従って、このような配置方法により、３６通り(約５．２ビット)の情報を表現することができる。
但し、識別情報及び位置情報は、この３６通りのうち３２通り(５ビット)を使用して表現するものとする。

ところで、図３(ａ)に示した最小の四角は、６００ｄｐｉにおける２ドット×２ドットの大きさを有している。６００ｄｐｉにおける１ドットの大きさは０．０４２３ｍｍなので、この最小の四角の一辺は、８４．６μｍ(＝０．０４２３ｍｍ×２)である。コードパターンを構成するドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、ドットの大きさとして、５０μｍより大きく１００μｍより小さい上記の値を採用している。これにより、プリンタで印刷可能な最適な大きさのドットを形成することができる。つまり、８４．６μｍ×８４．６μｍが、プリンタで安定的に形成可能な最小の大きさなのである。
尚、ドットをこのような大きさにすることで、１つのビットパターンの一辺は、約０．５(＝０．０４２３×２×６)ｍｍとなる。

また、このようなビットパターンから構成されるコードパターンについて説明する。
図３(ｂ)に、コードパターンの配置の一例を示す。
ここで、図３(ｂ)に示した最小の四角が、図３(ａ)に示したビットパターンに相当する。即ち、識別情報を符号化した識別符号は、１６(＝４×４)個のビットパターンを使用して埋め込まれる。また、Ｘ方向の位置情報を符号化したＸ位置符号と、Ｙ方向の位置情報を符号化したＹ位置符号とは、それぞれ、４個のビットパターンを使用して埋め込まれる。更に、左上角部に、コードパターンの位置と回転を検出するための同期符号が、１つのビットパターンを使用して埋め込まれる。
尚、１つのコードパターンの大きさは、ビットパターンの５個分の幅に等しいため、約２．５ｍｍとなる。本実施の形態では、このように生成したコードパターンを画像化したコードパターン画像を、用紙全面に配置する。

次いで、識別情報及び位置情報を符号化し、符号化された情報からコードパターン画像を生成する処理について説明する。尚、図１を参照して説明したシステムの場合、この処理は、文書サーバ２０にて実行される。
図４は、このような符号化及び画像生成の処理について説明するための図である。
まず、識別情報の符号化について説明する。
識別情報の符号化には、ブロック符号化方式のＲＳ(リードソロモン)符号が使用される。図３で説明した通り、本実施の形態では、５ビットの情報を表現できるビットパターンを用いて情報を埋め込む。従って、情報の誤りも５ビット単位で発生するため、ブロック符号化方式で符号化効率が良いＲＳ符号を使用している。但し、符号化方式はＲＳ符号に限定するものでなく、その他の符号化方式、例えば、ＢＣＨ符号等を使用することもできる。

上述したように、本実施の形態では、５ビットの情報量を持つビットパターンを用いて情報を埋め込む。従って、ＲＳ符号のブロック長を５ビットとする必要がある。そのため、識別情報を５ビットずつに区切り、ブロック化する。図４では、識別情報「００１１１０１１０１００１…」から、第１のブロック「００１１１」と、第２のブロック「０１１０１」とが切り出されている。
そして、ブロック化された識別情報に対し、ＲＳ符号化処理を行う。図４では、「ｂｌｋ１」、「ｂｌｋ２」、「ｂｌｋ３」、「ｂｌｋ４」、…というようにブロック化した後、ＲＳ符号化が行われる。

ところで、本実施の形態において、識別情報は、１６(＝４×４)個のブロックに分けられる。そこで、ＲＳ符号における符号ブロック数を１６とすることができる。また、情報ブロック数は、誤りの発生状況に応じて設計することができる。例えば、情報ブロック数を８とすれば、ＲＳ(１６，８)符号となる。この符号は、符号化された情報に４ブロック(＝(１６−８)÷２)の誤りが発生しても、それを補正することができる。また、誤りの位置を特定できれば、訂正能力を更に向上することができる。尚、この場合、情報ブロックに格納される情報量は、４０ビット(＝５ビット×８ブロック)である。従って、約１兆種類の識別情報が表現可能である。

次に、位置情報の符号化について説明する。
位置情報の符号化には、擬似乱数系列の一種であるＭ系列符号が使用される。ここで、Ｍ系列とは、Ｋ段の線形シフトレジスタで発生できる最大周期の系列であり、２^Ｋ−１の系列長をもつ。このＭ系列から取り出した任意の連続したＫビットは、同じＭ系列中の他の位置に現れない性質を持つ。そこで、この性質を利用することにより、位置情報を符号化することができる。

ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なＭ系列の次数を求め、Ｍ系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、Ｍ系列を毎回生成する必要はない。即ち、固定のＭ系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長８１９１のＭ系列(Ｋ＝１３)を使用したとする。
この場合、位置情報も５ビット単位で埋め込むため、系列長８１９１のＭ系列から５ビットずつ取り出してブロック化する。図４では、Ｍ系列「１１０１００１１０１１０１０…」が、５ビットずつブロック化されている。

このように、本実施の形態では、位置情報と識別情報とで、異なる符号化方式を用いている。これは、識別情報の検出能力を、位置情報の検出能力よりも高くなるように設定する必要があるからである。つまり、位置情報は、紙面の位置を取得するための情報なので、ノイズ等によって復号できない部分があっても、その部分が欠損するだけで他の部分には影響しない。これに対し、識別情報は、復号に失敗すると、筆記情報を反映する対象を検出できなくなるからである。更に、このような構成とすることによって、位置情報と識別情報を復号する際の画像読取範囲を最小化できる。即ち、位置情報にＲＳ符号等の境界を有する符号化方式を使用すると、それを復号する際には境界間の符号を読み取る必要があるため、画像を読み取る範囲は図３(ｂ)に示した領域の２倍の領域とする必要がある。しかし、Ｍ系列を使用することで、図３(ｂ)に示した領域と同じ大きさの領域を読み取ればよい構成にできる。これは、Ｍ系列の性質上、Ｍ系列の任意の部分系列から位置情報を復号できるからである。即ち、識別情報と位置情報を復号する際には、図３(ｂ)に示した大きさの領域を読み取る必要があるが、その読み取る位置は、図３(ｂ)に示した境界と一致させる必要はない。位置情報は、Ｍ系列の任意位置の部分系列から復号できる。識別情報は、同じ情報が用紙全面に配置されるため、図３(ｂ)に図示した境界から読取位置がずれても、読み取られた情報の断片を再配置することで元の情報を復元することができる。

以上のように、識別情報がブロック分割された後、ＲＳ符号により符号化され、また、位置情報がＭ系列により符号化された後、ブロック分割されると、図示するように、ブロックが合成される。即ち、これらのブロックは、図示するようなフォーマットで２次元平面に展開される。図４に示したフォーマットは、図３(ｂ)に示したフォーマットに対応している。即ち、黒の四角が同期符号を意味している。また、横方向に配置された「１」、「２」、「３」、「４」、…がＸ位置符号を、縦方向に配置された「１」、「２」、「３」、「４」、…がＹ位置符号を、それぞれ意味している。位置符号は、媒体の位置が異なれば異なる情報が配置されるので、座標位置に対応する数字で示しているのである。一方、グレーの四角が識別符号を意味している。識別符号は、媒体の位置が異なっても同じ情報が配置されるので、全て同じマークで示しているのである。

ところで、図からも分かる通り、２つの同期符号の間には、４個のビットパターンがある。従って、２０(＝５×４)ビットのＭ系列の部分系列を配置することができる。２０ビットの部分系列から１３ビットの部分系列を取り出せば、その１３ビットが全体(８１９１)の中のどの部分の部分系列なのかを特定することができる。このように、２０ビットのうち１３ビットを位置の特定に使用した場合、取り出した１３ビットの誤りの検出又は訂正を、残りの７ビットを使用して行うことができる。即ち、Ｍ系列を生成した時と同じ生成多項式を使用して、２０ビットの整合性を確認することで、誤りの検出と訂正が可能となるのである。
その後、各ブロックにおけるビットパターンが、ドット画像を参照することにより画像化される。そして、図４の最右に示すようなドットで情報を表す出力画像が生成される。

次に、このシステムにおける筆記情報の電子文書への反映について説明する。但し、以下の説明において、筆記情報は、電子文書に直接付加されるものとする。
まず、印刷文書５０に対する筆記を読み取るのに用いられる電子ペン６０について説明する。
図５は、電子ペン６０の機構を示した図である。
図示するように、電子ペン６０は、ペン全体の動作を制御する制御回路６１を備える。また、制御回路６１は、入力画像から検出したコードパターン画像を処理する画像処理部６１ａと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部６１ｂとを含む。
そして、制御回路６１には、電子ペン６０による筆記動作をペンチップ６９に加わる圧力によって検出する圧力センサ６２が接続されている。また、媒体上に赤外光を照射する赤外ＬＥＤ６３と、画像を入力する赤外ＣＭＯＳ６４も接続されている。更に、識別情報及び位置情報を記憶するための情報メモリ６５と、外部装置と通信するための通信回路６６と、ペンを駆動するためのバッテリ６７と、ペンの識別情報(ペンＩＤ)を記憶するペンＩＤメモリ６８も接続されている。

ここで、この電子ペン６０の動作の概略を説明する。
電子ペン６０による筆記が行われると、ペンチップ６９に接続された圧力センサ６２が、筆記動作を検出する。これにより、赤外ＬＥＤ６３が点灯し、赤外ＣＭＯＳ６４がＣＭＯＳセンサによって媒体上の画像を撮像する。
尚、赤外ＬＥＤ６３は、消費電力を抑制するために、ＣＭＯＳセンサのシャッタタイミングに同期させてパルス点灯する。
また、赤外ＣＭＯＳ６４は、撮像した画像を同時に転送できるグローバルシャッタ方式のＣＭＯＳセンサを使用する。そして、赤外領域に感度があるＣＭＯＳセンサを使用する。また、外乱の影響を低減するために、ＣＭＯＳセンサ全面に可視光カットフィルタを配置している。ＣＭＯＳセンサは、７０ｆｐｓ〜１００ｆｐｓ(frame per second)程度の周期で、画像を撮像する。尚、撮像素子はＣＭＯＳセンサに限定するものではなく、ＣＣＤ等、他の撮像素子を使用してもよい。

このように撮像した画像が制御回路６１に入力されると、制御回路６１は、撮像した画像からコードパターン画像を取得する。そして、それを復号し、コードパターン画像に埋め込まれている識別情報及び位置情報を取得する。
以下、このときの制御回路６１の動作について説明する。
図６は、制御回路６１の動作を示したフローチャートである。
まず、画像処理部６１ａは、画像を入力する(ステップ６０１)。そして、画像に含まれるノイズを除去するための処理を行う(ステップ６０２)。ここで、ノイズとしては、ＣＭＯＳ感度のばらつきや電子回路により発生するノイズ等がある。ノイズを除去するために如何なる処理を行うかは、電子ペン６０の撮像系の特性に応じて決定すべきである。例えば、ぼかし処理やアンシャープマスキング等の先鋭化処理を適用することができる。

次に、画像処理部６１ａは、画像からドットパターン(ドット画像の位置)を検出する(ステップ６０３)。例えば、２値化処理によりドットパターン部と背景部とを切り分け、２値化された個々の画像位置からドットパターンを検出することができる。２値化画像にノイズ成分が多数含まれる場合は、例えば、２値化画像の面積や形状によりドットパターンの判定を行うフィルタ処理を組み合わせる必要がある。
また、画像処理部６１ａは、検出したドットパターンを２次元配列上のデジタルデータに変換する(ステップ６０４)。例えば、２次元配列上で、ドットがある位置を「１」、ドットがない位置を「０」というように変換する。そして、この２次元配列上のデジタルデータは、画像処理部６１ａからデータ処理部６１ｂへと受け渡される。

次いで、データ処理部６１ｂは、受け渡されたデジタルデータから、図３(ａ)に示した２つのドットの組み合わせからなるビットパターンを検出する(ステップ６０５)。例えば、ビットパターンに対応するブロックの境界位置を２次元配列上で動かし、ブロック内に含まれるドットの数が２つになるような境界位置を検出することにより、ビットパターンを検出することができる。
このようにしてビットパターンが検出されると、データ処理部６１ｂは、ビットパターンの種類を参照することにより、同期符号を検出する(ステップ６０６)。そして、同期符号からの位置関係に基づいて、識別符号及び位置符号を検出する(ステップ６０７)。
その後、データ処理部６１ｂは、識別符号を復号して識別情報を取得し、位置符号を復号して位置情報を取得する(ステップ６０８)。識別符号については、ＲＳ復号処理を施すことで識別情報を得る。一方、位置符号については、読み出した部分系列の位置を、画像生成時に使用したＭ系列と比較することで、位置情報を得る。

次に、電子ペン６０が取得した情報から筆記情報を生成し、電子文書に付加する処理について説明する。この処理は、端末装置１０、文書サーバ２０、識別情報サーバ３０が情報を交換することによって実現される。
図７は、端末装置１０、文書サーバ２０、識別情報サーバ３０の機能構成を示した図である。尚、端末装置１０、文書サーバ２０、識別情報サーバ３０は、印刷文書５０を生成するための機能も有しているが、ここでは、筆記情報を電子文書に付加するための機能のみを示す。

図示するように、端末装置１０は、入力部１１と、出力部１２と、筆記生成部１３と、送信部１４と、受信部１５とを備える。
入力部１１は、ユーザへの問い合わせに対する応答等を入力し、出力部１２は、ユーザへの問い合わせ等を出力する。筆記生成部１３は、電子ペン６０から得た位置情報に基づいて筆記情報を生成する。送信部１４は、識別情報、筆記情報、ユーザへの問い合わせに対する応答等を送信する。受信部１５は、電子ペン６０からは、識別情報及び位置情報を受信し、識別情報サーバ３０からは、ユーザへの問い合わせ等を受信する。
このうち、筆記生成部１３は、筆記情報を生成していることから、筆記情報取得手段としての機能を有する。

尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、端末装置１０の図示しないＣＰＵが、入力部１１、出力部１２、筆記生成部１３、送信部１４、受信部１５の各機能を実現するプログラムを外部記憶装置から主記憶装置に読み込んで処理を行う。

また、文書サーバ２０は、文書記憶部２１と、文書生成部２２と、筆記付加部２３と、送信部２４と、受信部２５とを備える。
文書記憶部２１は、電子文書を記憶する。文書生成部２２は、文書記憶部２１に記憶された電子文書を複製した新たな電子文書(以下、「複製文書」という)を生成し、これを文書記憶部２１に記憶する。筆記付加部２３は、文書記憶部２１に記憶された複製文書に筆記情報を付加する。送信部２４は、複製文書の生成や、複製文書に対する筆記情報の付加の結果を送信し、受信部２５は、複製文書の生成や、複製文書に対する筆記情報の付加の指示を受信する。

尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、文書サーバ２０の図示しないＣＰＵが、文書生成部２２、筆記付加部２３、送信部２４、受信部２５の各機能を実現するプログラムを外部記憶装置から主記憶装置に読み込んで処理を行う。また、文書記憶部２１は、例えば、磁気ディスクによって実現される。

また、識別情報サーバ３０は、ＤＢ(データベース)記憶部３１と、制御部３２と、登録部３３と、送信部３４と、受信部３５とを備える。
ＤＢ記憶部３１は、識別情報と、電子文書の格納場所と、印刷パラメータと、複製文書の存否を示すフラグとを対応付けたデータベースを記憶する。制御部３２は、識別情報サーバ３０全体の動作を制御し、登録部３３は、ＤＢ記憶部３１に記憶されたデータベースに情報を登録する。送信部３４は、端末装置１０へは、ユーザへの問い合わせ等を送信し、文書サーバ２０へは、複製文書の生成や、複製文書に対する筆記情報の付加の指示を送信する。受信部３５は、端末装置１０からは、識別情報、筆記情報、ユーザへの問い合わせに対する応答等を受信し、文書サーバ２０からは、複製文書の生成や、複製文書に対する筆記情報の付加の結果を受信する。
このうち、送信部３４は、複製文書の生成や、複製文書に対する筆記情報の付加のための処理を行っていることから、文書生成手段や筆記記憶手段としての機能を有する。また、受信部３５は、筆記情報を受信していることから、筆記情報取得手段としての機能を有する。

尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、識別情報サーバ３０の図示しないＣＰＵが、制御部３２、登録部３３、送信部３４、受信部３５の各機能を実現するプログラムを外部記憶装置から主記憶装置に読み込んで処理を行う。また、ＤＢ記憶部３１は、例えば、磁気ディスクによって実現される。

次に、識別情報サーバ３０内のＤＢ記憶部３１が記憶するデータベースの内容について具体的に説明しておく。
図８は、このデータベース内のデータの一例を示している。
このうち、図８(ａ)は、各媒体に印刷された電子文書を管理するためのテーブルを示している。
図示するように、このテーブルには、識別情報と、電子文書の格納場所と、印刷パラメータと、フラグとが項目として設けられている。

識別情報は、本実施の形態では、上述したように、各媒体の識別情報である。
電子文書の格納場所は、各媒体に印刷された電子文書が格納された場所の情報(アドレス情報)である。
印刷パラメータは、各媒体に電子文書を印刷した際に設定した印刷パラメータである。図では、印刷パラメータを、「ページ(Ｐ)，余白(Ａ，Ｂ，Ｃ，Ｄ)」という形式で示している。Ｐはページ番号であり、Ａ、Ｂ、Ｃ、Ｄは、それぞれ、左側、右側、上側、下側の余白(単位はｍｍ)である。尚、ここでは、印刷パラメータとしてページ及び余白を示したが、これに限られるものではない。この他にも、通常の印刷で用いられる種々の印刷パラメータを管理することが可能である。

また、フラグは、各媒体に印刷された電子文書に対し、複製文書が生成されているかどうかを示すものである。本実施の形態において、フラグ「ＯＮ」は、複製文書が生成されていることを示し、フラグ「ＯＦＦ」は、複製文書が生成されていないことを示している。図２のステップ３０３でデータが登録された直後は、対応するフラグは初期値である「ＯＦＦ」に設定されている。しかしながら、その後、印刷文書５０に筆記がなされることにより複製文書が生成されると、フラグは「ＯＮ」になる。

図８(ａ)のデータベースについて、より具体的に説明する。
まず、１行目から４行目は、電子文書「ａａａ．ｄｏｃ」の第１ページから第２ページが２部印刷されたことを示している。その際、１部は、左右上下の余白が１ｍｍで印刷され、もう１部は、左右上下の余白が２ｍｍで印刷されている。
また、５行目は、電子文書「ｂｂｂ．ｄｏｃ」の第１ページが１部印刷されたことを示している。その際、左右の余白は１ｍｍで、上下の余白は２ｍｍで印刷されている。

そして、１行目から５行目のうち、３行目から５行目におけるフラグは「ＯＦＦ」なので、オリジナルの電子文書は複製されていない。これに対し、１行目及び２行目におけるフラグは「ＯＮ」となっている。これは、１行目で管理される媒体、又は、２行目で管理される媒体に筆記がなされ、そのオリジナルの電子文書である「ａａａ．ｄｏｃ」が複製されていることを示している。

このようにオリジナルの電子文書に対する複製文書が生成されると、本実施の形態では、これを別のテーブルで管理している。
図８(ｂ)は、このような複製文書を管理するテーブルを示している。
即ち、図８(ａ)の１行目で管理される媒体に対し、「ａａａ．ｄｏｃ」に対する複製文書である「ａａａ．ｘｄｗ」の１ページ目が関連付けられている。また、図８(ａ)の２行目で管理される媒体に対し、「ａａａ．ｄｏｃ」に対する複製文書である「ａａａ．ｘｄｗ」の２ページ目が関連付けられている。

尚、ここでは、図８(ａ)の１行目及び２行目で管理される電子文書の複製文書が図８(ｂ)で管理される例を示した。しかしながら、このことは、図８(ａ)の１行目及び２行目で管理される媒体の両方に実際に筆記がなされたことを意味しない。ある媒体に筆記がなされた場合、オリジナルの電子文書全体について複製文書を生成してもよいし、オリジナルの電子文書のうちその媒体に印刷されたページのみについて複製文書を生成してもよいからである。

次に、筆記情報を電子文書に付加する際の動作について説明する。
図９は、このときの動作を示したシーケンス図である。
まず、電子ペン６０は、図６の処理により取得した識別情報及び位置情報を端末装置１０に送信する(ステップ６１１)。

すると、端末装置１０では、受信部１５が、識別情報及び位置情報を受信し、これらの情報を筆記生成部１３に受け渡す(ステップ１１１)。
次に、筆記生成部１３は、受け渡された情報のうち位置情報に基づいて筆記情報を生成し、送信部１４に受け渡す(ステップ１１２)。このとき、筆記情報は、媒体上の複数の位置を示す位置情報に基づいて生成される。

尚、電子ペン６０から受信した位置情報に誤りがあった場合、筆記生成部１３は、次のような処理を行うことで、位置情報を補正するようにしてもよい。
第一に、複数の位置情報を比較し、その中で特異点を取り除くフィルタ処理である。即ち、１回の筆記動作(ストローク)によって取得した複数の位置情報の連続性を検査し、連続性から大きく外れる点は、復号エラーがあった点として除外する。これにより、スムーズな筆記情報を得ることができる。
第二に、復号に失敗した位置情報を検出し、その位置情報を周辺の位置情報に基づいて補正する補正処理である。即ち、１回の筆記動作(ストローク)によって取得した複数の位置情報の連続性を検査することで、復号エラーを検出する。そして、復号に失敗した位置情報を、その近傍の復号に成功した位置情報を用いて補正する。ここで、補正方法としては、線形補間、スプライン補間等、公知の手法を用いることができる。

また、筆記生成部１３は、受信部１５から受け渡された識別情報は、そのまま送信部１４に受け渡す。
その後、送信部１４は、識別情報及び筆記情報を識別情報サーバ３０に送信する(ステップ１１３)。

これにより、識別情報サーバ３０では、受信部３５が、識別情報及び筆記情報を受信し、制御部３２に受け渡す(ステップ３１１)。そして、制御部３２は、ＤＢ記憶部３１に記憶されたデータベースを参照し、受信した識別情報に対応するフラグが「ＯＮ」になっているかどうかを判定する(ステップ３１２)。つまり、過去に同じ媒体に筆記がなされたことにより、その媒体に印刷された電子文書に対する複製文書が生成済みであるかどうかを判定する。

ここで、フラグが「ＯＮ」であると判定された場合、即ち、複製文書があると判定された場合、制御部３２は、端末装置１０に問い合わせを送信するよう送信部３４に指示する。そして、送信部３４は、端末装置１０に問い合わせを送信する(ステップ３１３)。
複製文書があれば、その複製文書に筆記情報を追加する場合と、その複製文書とは別に新たな複製文書を生成してその新たな複製文書に筆記情報を付加する場合とが考えられる。そこで、本実施の形態では、このどちらを選択するかをユーザの判断に委ねているのである。例えば、図８(ａ)の１行目で管理される媒体に筆記がなされた場合、図８(ｂ)の１行目で管理される複製文書に筆記情報を追加するか、図８(ａ)の１行目で管理されるオリジナルの電子文書から生成された新たな複製文書に筆記情報を付加するかが、問い合わせられる。

これにより、端末装置１０では、受信部１５が、問い合わせを受信する(ステップ１１４)。そして、受信部１５が、この問い合わせを出力部１２に受け渡し、出力部１２が、問い合わせのメッセージを出力し、ユーザが、この問い合わせに対する応答を入力する。ここで、応答の内容は、既にある複製文書に筆記情報を追加するか、新たに生成した複製文書に筆記情報を付加するか、の選択情報である。このような応答が入力されると、入力部１１が、応答を受け付けて送信部１４に受け渡し、送信部１４が応答を識別情報サーバ３０に送信する(ステップ１１５)。

これにより、識別情報サーバ３０では、受信部３５が、応答を受信し、制御部３２に受け渡す(ステップ３１４)。そして、制御部３２は、応答内容を参照し、既にある複製文書に筆記情報を追加するか、新たに複製文書を生成してそれに筆記情報を付加するかを判定する(ステップ３１５)。
ここで、既にある複製文書に筆記情報を追加すると判定した場合は、その旨の指示を送信部３４に対して行う。そして、送信部３４が、ステップ３１２で特定した複製文書に対する筆記情報の追加を文書サーバ２０に指示する(ステップ３１９)。

これにより、文書サーバ２０では、受信部２５が、筆記情報の追加指示を受信し、筆記付加部２３に受け渡す。そして、筆記付加部２３は、文書記憶部２１に記憶された複製文書のうち、指定された複製文書に筆記情報を追加する(ステップ２１３)。

一方、新たに複製文書を生成してそれに筆記情報を付加すると判定した場合は、ステップ３１６へ進む。また、本実施の形態では、媒体に印刷された電子文書そのもの(オリジナルの電子文書)に筆記情報を付加することはしない。従って、ステップ３１２でフラグが「ＯＦＦ」であると判定された場合、即ち、複製文書がないと判定された場合も、同様にステップ３１６へ進む。
即ち、制御部３２は、ステップ３１２で特定したオリジナルの電子文書に対する複製文書の生成指示を文書サーバ２０に送信するよう送信部３４に指示する。そして、送信部３４は、文書サーバ２０に対し、複製文書の生成を指示する(ステップ３１６)。例えば、図８(ａ)の３行目で管理される媒体に筆記がなされた場合、「ａａａ．ｄｏｃ」に対する複製文書の生成が指示される。

これにより、文書サーバ２０では、受信部２５がこの指示を受信し、文書生成部２２に受け渡す。そして、文書生成部２２が、文書記憶部２１に記憶された電子文書のうち、指定された電子文書に対する複製文書を生成し、文書記憶部２１に記憶する(ステップ２１１)。

尚、このとき、識別情報サーバ３０の制御部３２は、ＤＢ記憶部３１内のデータベースにおいて媒体に対応付けられた印刷パラメータを取得する。そして、送信部３４が、この印刷パラメータを文書サーバ２０に送信する。こうすることにより、文書サーバ２０の文書生成部２２は、印刷文書と見た目が同じ複製文書を生成することができる。その結果、筆記情報の電子文書への反映がより高精度に行えるようになる。
また、電子文書が編集されてしまうと、電子文書と筆記情報との対応関係が崩れ、矛盾が生じる場合がある。更に、電子文書の中には、Ｗｅｂページ等のように、印刷文書に相当するページ構造を持たないものもあり、印刷時の設定により印刷文書のレイアウトが大きく異なる場合がある。このような場合であっても、印刷文書と同じレイアウトを持つ電子文書を生成することで、筆記情報を適切な位置に反映させることができるのである。

このとき、更に、複製文書は、オリジナルの電子文書に相当する部分が編集できない形式とすることができる。このような複製文書の形式としては、富士ゼロックス社の「ＤｏｃｕＷｏｒｋｓ」における「ＸＤＷ形式」や、米国アドビシステムズ社の「Ａｃｒｏｂａｔ」における「ＰＤＦ形式」等がある。そして、このようにオリジナルの電子文書に相当する部分が編集できない形式の複製文書を生成した場合、例えば、富士ゼロックス社の「ＤｏｃｕＷｏｒｋｓ」における「アノテーション」の機能を用いて複製文書に筆記情報を貼り付けることができる。

このように複製文書が生成されると、文書生成部２２は、複製文書の格納場所(ファイル名を含む)の情報を取得し、それを送信部２４に受け渡す。そして、送信部２４が、この情報を識別情報サーバ３０に送信する(ステップ２１２)。

これにより、識別情報サーバ３０では、受信部３５が、複製文書の格納場所の情報を受信し、制御部３２を介して登録部３３に受け渡す(ステップ３１７)。そして、登録部３３は、識別情報とこの格納場所との対応をＤＢ記憶部３１に記憶する。また、複製元のオリジナルの電子文書に対応するフラグを「ＯＮ」に変更する(ステップ３１８)。例えば、図８(ａ)の１行目が登録された直後において媒体に筆記がなされたとすると、ここで図８(ｂ)の１行目が登録される。そして、図８(ａ)の１行目のフラグが「ＯＦＦ」から「ＯＮ」へ変更される。

その後、制御部３２は、複製文書への筆記情報の追加を送信部３４に指示する。そして、送信部３４が、ステップ３１７で特定した複製文書に対する筆記情報の付加を文書サーバ２０に指示する(ステップ３１９)。例えば、図８(ａ)の１行目が登録された直後において媒体に筆記がなされたとすると、図８(ｂ)に１行目に登録された「ａａａ．ｘｄｗ」の１ページ目への筆記情報の付加が指示される。

これにより、文書サーバ２０では、受信部２５が、筆記情報の付加指示を受信し、筆記付加部２３に受け渡す。そして、筆記付加部２３は、文書記憶部２１に記憶された複製文書のうち、指定された複製文書に筆記情報を付加する(ステップ２１３)。

尚、以上では、筆記情報の付加対象を既にある複製文書とするか新たに生成した複製文書とするかを、ユーザに問い合わせて判断したが、これには種々のバリエーションが考えられる。
まず、ユーザに対する問い合わせ等を行うことなく、筆記情報を付加する電子文書をシステム側で決めてしまうという方法である。
或いは、筆記情報を付加すべき電子文書の選択方法が印刷時に既に決まっている場合は、その選択方法を指定する指定情報をコードパターン画像の一部として媒体に埋め込んでおいてもよい。この場合は、電子ペン６０がコードパターン画像から識別情報及び位置情報を取得する際に、この指定情報も取得し、識別情報サーバ３０に送信する。そして、識別情報サーバ３０では、ステップ３１５での判定をこの指定情報に基づいて行う。

以上述べたように、本実施の形態では、筆記情報を、オリジナルの電子文書ではなく、その複製である複製文書に付加する構成とした。そして、このような構成により、オリジナルの電子文書の共有化の妨げとならずに、筆記情報を電子文書に反映することが可能となった。

第一に、オリジナルの電子文書は、それを印刷したユーザ以外からも閲覧される可能性がある。従って、本実施の形態では、電子文書を印刷したユーザごとに複製文書を生成してそれに筆記情報を付加するようにし、他のユーザに個人的なメモ書き等が見えないようにしているのである。
第二に、オリジナルの電子文書が編集された場合、電子文書と筆記情報との間に矛盾が生じる可能性がある。従って、本実施の形態では、筆記した時点での電子文書の状態を保存してそれに筆記情報を付加するようにし、かかる矛盾が生じないようにしているのである。特に、複製文書を「ＸＤＷ形式」や「ＰＤＦ形式」で生成し、筆記情報をアノテーション等により付加する構成とすることで、このような矛盾の発生はより確実に防止できる。

また、本実施の形態では、電子文書が印刷された媒体に対して筆記があったタイミングで、筆記情報を反映させる複製文書を生成している。この点に関しては、電子文書を印刷するタイミングで、複製文書を生成する構成も考えられる。しかしながら、このような構成とすると、ハードウェア資源の無駄が発生してしまいかねない。例えば、同じ電子文書を１００部印刷した場合に、１００個の複製文書が生成されてしまうからである。しかも、その複製文書に筆記情報が付加されないかもしれないからである。

［第２の実施の形態］
本実施の形態では、既に述べたように、電子文書の識別情報をコードパターン画像に埋め込む。そこで、本実施の形態において「識別情報」というときは、電子文書の識別情報を指すものとする。例えば、アンケート等、同じ電子文書から作成した複数の印刷文書に対する筆記情報を後で統合するような場合に、電子文書ごとの識別情報を埋め込むと便利である。また、識別情報の数が少なく、枯渇が懸念される場合にも、電子文書ごとの識別情報を採用するメリットがある。
尚、電子文書の識別情報としては、電子文書のファイル名や格納場所の情報も考えられる。しかしながら、本実施の形態では、電子文書の識別情報として、電子文書のファイル名や格納場所の情報とは別に付与された「文書ＩＤ」を想定する。また、電子文書が複数ページからなる場合は、ページ番号も併せて埋め込むことが望ましい。但し、以下では、説明を簡単にするため、ページについては考えないものとする。

まず、本実施の形態におけるシステム構成について説明する。
図１０は、本実施の形態が適用されるシステムの構成を示したものである。このシステムは、端末装置１０と、文書サーバ２０と、画像形成装置４０とがネットワーク９０に接続されることにより構成されている。また、このシステムは、印刷文書５０と、電子ペン６０とを含む。

この第２の実施の形態におけるシステム構成は、第１の実施の形態におけるシステム構成と、識別情報サーバ３０が存在しない点でのみ相違する。即ち、第１の実施の形態では、媒体に埋め込む識別情報として個々の媒体に付与する識別情報を想定した。従って、媒体に付与する識別情報に重複が生じないように管理する識別情報サーバ３０を特別に設けていた。しかしながら、本実施の形態において、識別情報は、電子文書の識別情報である。この場合、電子文書を管理する文書サーバ２０がこの識別情報も管理するのが自然なので、識別情報サーバ３０は設けていない。
尚、このシステムにおける各構成要素については、第１の実施の形態で述べたものと同様であるので、説明を省略する。

次に、このシステムにおいて印刷文書５０を生成する際の動作を説明する。
図１１は、このときの動作を示したシーケンス図である。
まず、ユーザが、端末装置１０を操作し、文書サーバ２０に格納された電子文書の中から印刷対象の電子文書を指定する。これにより、端末装置１０は、その電子文書の印刷指示を文書サーバ２０に送信する(ステップ１２１)。

すると、文書サーバ２０は、電子文書の印刷指示を受信し(ステップ２２１)、その電子文書の識別情報を取得する(ステップ２２２)。そして、識別情報及び位置情報を埋め込んだコードパターン画像を生成する(ステップ２２３)。尚、コードパターン画像の生成については、第１の実施の形態と同様である。
その後、文書サーバ２０は、電子文書の文書画像とコードパターン画像とを画像形成装置４０に送信し、画像形成を指示する(ステップ２２４)。この指示は、例えば、電子文書、識別情報、位置情報からページ記述言語(ＰＤＬ：Print Description Language)を生成し、これを送信することで行うことができる。

すると、画像形成装置４０は、電子文書の文書画像とコードパターン画像とを受信する(ステップ４２１)。そして、画像形成装置４０は、まず、文書画像をＣ(シアン)、Ｍ(マゼンタ)、Ｙ(イエロー)の画像に展開する(ステップ４２２)。次に、文書画像はＣ、Ｍ、Ｙのトナーを用いて、コードパターン画像はＫ(黒)のトナーを用いて、画像形成を行う(ステップ４２３)。

ところで、上述した例では、文書サーバ２０が、識別情報を含むコードパターン画像を生成するようにした。しかしながら、コードパターン画像の生成は、画像形成装置４０で行うこともできる。この場合は、文書サーバ２０が、電子文書から生成したＰＤＬに識別情報を付加して画像形成装置４０へ送信し、画像形成装置４０が識別情報を含むコードパターン画像を生成することになる。

また、上述した例では、コードパターン画像をＫのトナーを用いて形成するようにした。これは、Ｋのトナーが、Ｃ、Ｍ、Ｙのトナーよりも赤外光の吸収量が多く、電子ペン６０でコードパターン画像を読み取ることができるからである。しかしながら、コードパターン画像は、特殊トナーを用いて形成することも可能である。尚、この特殊トナーの詳細については、第１の実施の形態と同様である。
更に、本実施の形態で生成されるコードパターン画像の元となるコードパターンについても、第１の実施の形態で述べたものと同様であるので、説明を省略する。

次に、このシステムにおける筆記情報の電子文書への反映について説明する。但し、以下の説明において、筆記情報は、電子文書に直接付加されるものとする。
まず、印刷文書５０に対する筆記を読み取るのに用いられる電子ペン６０については、その機構及び動作共、第１の実施の形態で述べたものと同様であるので、説明を省略する。

次に、電子ペン６０が取得した情報から筆記情報を生成し、電子文書に付加する処理について説明する。この処理は、端末装置１０と文書サーバ２０が情報を交換することによって実現される。
図１２は、端末装置１０と文書サーバ２０の機能構成を示した図である。尚、端末装置１０と文書サーバ２０は、印刷文書５０を生成するための機能も有しているが、ここでは、筆記情報を電子文書に付加するための機能のみを示す。

図示するように、端末装置１０は、入力部１１と、出力部１２と、筆記生成部１３と、送信部１４と、受信部１５とを備える。
入力部１１は、ユーザへの問い合わせに対する応答等を入力し、出力部１２は、ユーザへの問い合わせ等を出力する。筆記生成部１３は、電子ペン６０から得た位置情報に基づいて筆記情報を生成する。送信部１４は、識別情報、筆記情報、ユーザへの問い合わせに対する応答等を送信する。受信部１５は、電子ペン６０からは、識別情報及び位置情報を受信し、文書サーバ２０からは、ユーザへの問い合わせ等を受信する。
このうち、筆記生成部１３は、筆記情報を生成していることから、筆記情報取得手段としての機能を有する。

尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、端末装置１０の図示しないＣＰＵが、入力部１１、出力部１２、筆記生成部１３、送信部１４、受信部１５の各機能を実現するプログラムを外部記憶装置から主記憶装置に読み込んで処理を行う。

また、文書サーバ２０は、文書記憶部２１と、文書生成部２２と、筆記付加部２３と、送信部２４と、受信部２５と、ＤＢ記憶部２６と、制御部２７と、登録部２８とを備える。
文書記憶部２１は、電子文書を記憶する。文書生成部２２は、文書記憶部２１に記憶された電子文書を複製した新たな電子文書(複製文書)を生成し、これを文書記憶部２１に記憶する。筆記付加部２３は、文書記憶部２１に記憶された複製文書に筆記情報を付加する。送信部２４は、ユーザへの問い合わせ等を送信し、受信部２５は、識別情報、筆記情報、ユーザへの問い合わせに対する応答等を受信する。ＤＢ記憶部２６は、識別情報と、電子文書の格納場所と、複製文書へのポインタとを対応付けたデータベースを記憶する。制御部２７は、文書サーバ２０全体の動作を制御し、登録部２８は、ＤＢ記憶部２６に記憶されたデータベースに情報を登録する。
このうち、受信部２５は、筆記情報を受信していることから、筆記情報取得手段としての機能を有する。

尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、文書サーバ２０の図示しないＣＰＵが、文書生成部２２、筆記付加部２３、送信部２４、受信部２５、制御部２７、登録部２８の各機能を実現するプログラムを外部記憶装置から主記憶装置に読み込んで処理を行う。また、文書記憶部２１、ＤＢ記憶部２６は、例えば、磁気ディスクによって実現される。

次に、文書サーバ２０内のＤＢ記憶部２６が記憶するデータベースの内容について具体的に説明しておく。
図１３は、このデータベース内のデータの一例を示している。
図示するように、データベースには、識別情報と、電子文書の格納場所と、複製文書へのポインタ(以下、単に「ポインタ」という)とが項目として設けられている。

識別情報は、本実施の形態では、上述したように、各電子文書の識別情報(文書ＩＤ)である。
電子文書の格納場所は、各媒体に印刷された電子文書が格納された場所の情報(アドレス情報)である。
ポインタは、各電子文書に対して複製文書が生成されている場合に、その複製文書の識別情報を示すものである。具体的には、複製文書が生成されると、その生成された複製文書へのポインタが、既に存在していた関連文書に対して記憶される。ここで、関連文書とは、その時まで最も新しかった複製文書、又は、複製文書がなかった場合はオリジナルの電子文書である。本実施の形態では、このようなポインタを記憶することにより、複数の複製文書の管理を可能にしている。例えば、図１３は、１行目で管理される「ａａａ．ｘｄｗ」に対する複製文書として、「ａａａ＿０１．ｘｄｗ」、「ａａａ＿０２．ｘｄｗ」、「ａａａ＿０３．ｘｄｗ」が生成されていることを示している。尚、複製文書が生成されていない場合、ポインタとしては、「ＮＵＬＬ」が記憶される。

次に、筆記情報を電子文書に付加する際の動作について説明する。
図１４は、このときの動作を示したシーケンス図である。
まず、電子ペン６０は、図６の処理により取得した識別情報及び位置情報を端末装置１０に送信する(ステップ６３１)。

すると、端末装置１０では、受信部１５が、識別情報及び位置情報を受信し、これらの情報を筆記生成部１３に受け渡す(ステップ１３１)。
次に、筆記生成部１３は、受け渡された情報のうち位置情報に基づいて筆記情報を生成し、送信部１４に受け渡す(ステップ１３２)。このとき、筆記情報は、媒体上の複数の位置を示す位置情報に基づいて生成される。尚、電子ペン６０から受信した位置情報に誤りがあった場合、筆記生成部１３は、第１の実施の形態で述べたような処理を行うことで、位置情報を補正するようにしてもよい。

また、筆記生成部１３は、受信部１５から受け渡された識別情報は、そのまま送信部１４に受け渡す。
その後、送信部１４は、識別情報及び筆記情報を文書サーバ２０に送信する(ステップ１３３)。

これにより、文書サーバ２０では、受信部２５が、識別情報及び筆記情報を受信し、制御部２７に受け渡す(ステップ２３１)。そして、制御部２７は、ＤＢ記憶部２６に記憶されたデータベースを参照し、受信した識別情報に対応するポインタが「ＮＵＬＬ」になっていないかを判定する(ステップ２３２)。つまり、過去に同じ電子文書が印刷された媒体に筆記がなされたことにより、その電子文書に対する複製文書が生成済みであるかどうかを判定する。

ここで、ポインタが「ＮＵＬＬ」でないと判定された場合、即ち、複製文書があると判定された場合、制御部２７は、端末装置１０に問い合わせを送信するよう送信部２４に指示する。そして、送信部２４は、端末装置１０に問い合わせを送信する(ステップ２３３)。
複製文書があれば、その複製文書のいずれかに筆記情報を追加する場合と、その複製文書とは別に新たな複製文書を生成してその新たな複製文書に筆記情報を付加する場合とが考えられる。そこで、本実施の形態では、このどちらを選択するかをユーザの判断に委ねているのである。例えば、図１３の「ａａａ．ｘｄｗ」が印刷された媒体に筆記がなされた場合、「ａａａ＿０１．ｘｄｗ」に筆記情報を追加するか、「ａａａ＿０２．ｘｄｗ」に筆記情報を追加するか、「ａａａ＿０３．ｘｄｗ」に筆記情報を追加するか、「ａａａ．ｘｄｗ」から生成された新たな複製文書に筆記情報を付加するかが、問い合わせられる。

これにより、端末装置１０では、受信部１５が、問い合わせを受信する(ステップ１３４)。そして、受信部１５が、この問い合わせを出力部１２に受け渡し、出力部１２が、問い合わせのメッセージを出力し、ユーザが、この問い合わせに対する応答を入力する。ここで、応答の内容は、既にある複製文書のうちのどの複製文書に筆記情報を追加するか、或いは、新たに生成した複製文書に筆記情報を付加するか、の選択情報である。このような応答が入力されると、入力部１１が、応答を受け付けて送信部１４に受け渡し、送信部１４が応答を文書サーバ２０に送信する(ステップ１３５)。

これにより、文書サーバ２０では、受信部２５が、応答を受信し、制御部２７に受け渡す(ステップ２３４)。そして、制御部２７は、応答内容を参照し、既にある複製文書のうちのどの複製文書に筆記情報を追加するか、或いは、新たに複製文書を生成してそれに筆記情報を付加するかを判定する(ステップ２３５)。
ここで、既にある複製文書のいずれかに筆記情報を追加すると判定した場合は、ステップ２３４で特定した複製文書に筆記情報を追加する(ステップ２３９)。

一方、新たに複製文書を生成してそれに筆記情報を付加すると判定した場合は、ステップ２３６へ進む。また、本実施の形態では、媒体に印刷された電子文書そのもの(オリジナルの電子文書)に筆記情報を付加することはしない。従って、ステップ２３２でポインタが「ＮＵＬＬ」であると判定された場合、即ち、複製文書がないと判定された場合も、同様にステップ２３６へ進む。
即ち、制御部２７は、ステップ２３２で特定したオリジナルの電子文書に対する複製文書を生成する(ステップ２３６)。

ここで、複製文書は、オリジナルの電子文書に相当する部分が編集できない形式とすることができる。このような複製文書の形式としては、富士ゼロックス社の「ＤｏｃｕＷｏｒｋｓ」における「ＸＤＷ形式」や、米国アドビシステムズ社の「Ａｃｒｏｂａｔ」における「ＰＤＦ形式」等がある。そして、このようにオリジナルの電子文書に相当する部分が編集できない形式の複製文書を生成した場合、例えば、富士ゼロックス社の「ＤｏｃｕＷｏｒｋｓ」における「アノテーション」の機能を用いて複製文書に筆記情報を貼り付けることができる。

このように複製文書が生成されると、文書生成部２２は、複製文書の格納場所(ファイル名を含む)の情報を取得し、制御部２７を介して登録部２８に受け渡す(ステップ２３７)。そして、登録部２８が、未使用の識別情報を複製文書に付与し、この識別情報と複製文書との対応をＤＢ記憶部２６に記憶する。また、この識別情報を、複製文書へのポインタとしてＤＢ記憶部２６に登録する(ステップ２３８)。この場合、ポインタは、その時点で最も新しかった複製文書、又は、複製文書がなかった場合はオリジナルの電子文書に対応付けて登録される。例えば、図１３の１行目が登録された直後において媒体に筆記がなされたとすると、ここで「ａａａ＿０１．ｘｄｗ」の行が登録され、「ａａａ＿０１．ｘｄｗ」の識別情報がポインタとして１行目に登録される。

その後、制御部２７は、複製文書への筆記情報の追加を筆記付加部２３に指示する。そして、筆記付加部２３が、ステップ２３７で特定した複製文書に筆記情報を付加する(ステップ２３９)。例えば、図１３の１行目が登録された直後において媒体に筆記がなされたとすると、「ａａａ＿０１．ｘｄｗ」へ筆記情報が付加される。

尚、以上では、筆記情報の付加対象を既にある複製文書とするか新たに生成した複製文書とするかを、ユーザに問い合わせて判断したが、これには種々のバリエーションが考えられる。
まず、ユーザに対する問い合わせ等を行うことなく、筆記情報を付加する電子文書をシステム側で決めてしまうという方法である。
或いは、筆記情報を付加すべき電子文書の選択方法が印刷時に既に決まっている場合は、その選択方法を指定する指定情報をコードパターン画像の一部として媒体に埋め込んでおいてもよい。この場合は、電子ペン６０がコードパターン画像から識別情報及び位置情報を取得する際に、この指定情報も取得し、文書サーバ２０に送信する。そして、文書サーバ２０では、ステップ２３５での判定をこの指定情報に基づいて行う。

また、本実施の形態では、電子文書の識別情報として文書ＩＤを想定した。しかしながら、電子文書のＵＲＬ(Uniform Resource Locator)等を直接埋め込むこともできる。このような構成とすると、識別情報に基づくデータベースの検索を行うことなく、即座に電子文書を取得できるようになる。

以上述べたように、本実施の形態では、筆記情報を、オリジナルの電子文書ではなく、その複製である複製文書に付加する構成とした。そして、このような構成により、オリジナルの電子文書の共有化の妨げとならずに、筆記情報を電子文書に反映することが可能となった。

また、本実施の形態では、電子文書が印刷された媒体に対して筆記があったタイミングで、筆記情報を反映させる複製文書を生成している。この点に関しては、電子文書を印刷するタイミングで、複製文書を生成する構成も考えられる。しかしながら、このような構成とすると、ハードウェア資源の無駄が発生してしまいかねない。その複製文書に筆記情報が付加されないかもしれないからである。

以上、本発明の第１の実施の形態、及び、第２の実施の形態について述べてきた。
ところで、これらの実施の形態では、複製文書に筆記情報を直接付加することを前提として説明してきた。しかしながら、複製文書の属性情報(リンク情報等)と筆記情報とをデータベース上で関係付けておくような構成としてもよい。或いは、複製文書の属性情報と筆記情報とをファイルとして一体に保持するような構成としてもよい。即ち、複製文書と筆記情報を関連付けておき、必要に応じて複製文書と筆記情報とを重畳して表示できるような手法であれば、如何なる手法でも用いることができる。

本発明の第１の実施の形態が適用されるシステム構成を示した図である。 本発明の第１の実施の形態における印刷文書の生成に関するシーケンス図である。 本発明の実施の形態で生成されるコードパターンを説明するための図である。 本発明の実施の形態における情報の符号化及びコードパターン画像の生成について説明するための図である。 本発明の実施の形態における電子ペンの機構を示した図である。 本発明の実施の形態における電子ペンの動作を示したフローチャートである。 本発明の第１の実施の形態における筆記情報の電子文書への反映に関する端末装置、文書サーバ、識別情報サーバの構成を示したブロック図である。 本発明の第１の実施の形態で用いるデータベースの内容の例を示した図である。 本発明の第１の実施の形態における筆記情報の電子文書への反映に関するシーケンス図である。 本発明の第２の実施の形態が適用されるシステム構成を示した図である。 本発明の第２の実施の形態における印刷文書の生成に関するシーケンス図である。 本発明の第２の実施の形態における筆記情報の電子文書への反映に関する端末装置、文書サーバの構成を示したブロック図である。 本発明の第２の実施の形態で用いるデータベースの内容の例を示した図である。 本発明の第２の実施の形態における筆記情報の電子文書への反映に関するシーケンス図である。

符号の説明

１０…端末装置、２０…文書サーバ、３０…識別情報サーバ、４０…画像形成装置、５０…印刷文書、６０…電子ペン

Claims (13)

1. 文書画像と、媒体上の位置情報を表すコードパターン画像とが印刷された媒体に対する筆記を電子化した筆記情報を処理する筆記情報処理装置であって、
   電子ペンが前記コードパターン画像から取得した前記位置情報に基づいて端末装置が生成した前記筆記情報を、当該端末装置から取得する筆記取得手段と、
   前記筆記情報の取得に応じて、前記文書画像の元となる第１の電子文書から当該第１の電子文書の複製である第２の電子文書が生成されるように制御する文書生成制御手段と、
   前記第２の電子文書と関連付けて前記筆記情報が記憶されるように制御する筆記記憶制御手段と
   を備えたことを特徴とする筆記情報処理装置。
2. 前記文書生成制御手段は、前記第１の電子文書をその内容が編集できない形式に変換することにより、前記第２の電子文書が生成されるように制御することを特徴とする請求項１記載の筆記情報処理装置。
3. 前記筆記記憶制御手段は、前記第２の電子文書に付加した状態で前記筆記情報が記憶されるように制御することを特徴とする請求項１記載の筆記情報処理装置。
4. 前記筆記記憶制御手段は、前記第２の電子文書へのリンク情報と関連付けて前記筆記情報が記憶されるように制御することを特徴とする請求項１記載の筆記情報処理装置。
5. 前記筆記記憶制御手段は、前記第２の電子文書と関連付けて記憶された筆記情報がある場合において、当該第２の電子文書と関連付けて新たな筆記情報が記憶されるように制御することを特徴とする請求項１記載の筆記情報処理装置。
6. 前記筆記記憶制御手段は、前記第２の電子文書と関連付けて記憶されている筆記情報がある場合において、当該第２の電子文書、及び、前記第１の電子文書から生成された第３の電子文書の中から、新たな筆記情報を関連付けるべき電子文書を選択することを特徴とする請求項１記載の筆記情報処理装置。
7. 前記筆記記憶制御手段は、ユーザへの問い合わせに対する応答内容に従い、前記新たな筆記情報を関連付けるべき電子文書を選択することを特徴とする請求項６記載の筆記情報処理装置。
8. 前記新たな筆記情報を関連付けるべき電子文書の指定情報を表すコードパターン画像が更に印刷された前記媒体から当該コードパターン画像を入力する画像入力手段と、
   前記コードパターン画像から前記指定情報を取得する指定取得手段とを更に備え、
   前記筆記記憶制御手段は、前記指定情報に従い、前記新たな筆記情報を関連付けるべき電子文書を選択することを特徴とする請求項６記載の筆記情報処理装置。
9. 文書画像と、媒体上の位置情報を表すコードパターン画像とが印刷された媒体に対する筆記を電子化した筆記情報を少なくとも１つのコンピュータが処理する筆記情報処理方法であって、
   電子ペンが前記コードパターン画像から取得した前記位置情報に基づいて端末装置が生成した前記筆記情報を、当該端末装置から取得するステップと、
   前記文書画像の元となる第１の電子文書を特定するステップと、
   前記筆記情報の取得に応じて、前記第１の電子文書から当該第１の電子文書の複製である第２の電子文書を生成するステップと、
   前記第２の電子文書と関連付けて前記筆記情報を記憶するステップと
   を含むことを特徴とする筆記情報処理方法。
10. 前記媒体の識別情報を取得するステップと、
    媒体ごとに当該媒体の識別情報と当該媒体に印刷された文書画像の元となる電子文書との対応情報を記憶する記憶装置から、当該対応情報を読み出すステップとを更に含み、
    前記第１の電子文書を特定するステップでは、前記取得した識別情報に基づいて前記対応情報を検索することにより、当該第１の電子文書を特定することを特徴とする請求項９記載の筆記情報処理方法。
11. 前記文書画像の元となる電子文書の識別情報を取得するステップを更に含み、
    前記第１の電子文書を特定するステップでは、前記識別情報に基づいて当該第１の電子文書を特定することを特徴とする請求項９記載の筆記情報処理方法。
12. 前記媒体の識別情報を取得するステップと、
    媒体ごとに当該媒体の識別情報と当該媒体に対する印刷に用いられた印刷パラメータとの対応情報を記憶する記憶装置から、当該対応情報を読み出すステップと、
    前記取得した識別情報に基づいて前記対応情報を検索することにより、前記文書画像の印刷に用いられた印刷パラメータを取得するステップとを更に含み、
    前記第２の電子文書を生成するステップでは、前記第１の電子文書を前記取得した印刷パラメータを用いて印刷イメージに変換することにより、当該第２の電子文書を生成することを特徴とする請求項９記載の筆記情報処理方法。
13. 文書画像と、媒体上の位置情報を表すコードパターン画像とが印刷された媒体に対する筆記を電子化した筆記情報の処理をコンピュータに実行させるためのプログラムであって、
    電子ペンが前記コードパターン画像から取得した前記位置情報に基づいて端末装置が生成した前記筆記情報を、当該端末装置から取得する機能と、
    前記文書画像の元となる第１の電子文書を特定する機能と、
    前記筆記情報の取得に応じて、前記第１の電子文書から当該第１の電子文書の複製である第２の電子文書が生成されるように制御する機能と、
    前記第２の電子文書と関連付けて前記筆記情報が記憶されるように制御する機能と
    を前記コンピュータに実現させるためのプログラム。

Images