JP3021323B2

JP3021323B2 - 筆跡記憶・再現装置及び筆跡再現方法及び画像再現方法

Info

Publication number: JP3021323B2
Application number: JP17336695A
Authority: JP
Inventors: 俊夫田口; 清滋阿草; 晋一郎山本; 裕紀中村
Original assignee: Yashima Denki Co Ltd
Current assignee: Yashima Denki Co Ltd
Priority date: 1994-07-13
Filing date: 1995-07-10
Publication date: 2000-03-15
Anticipated expiration: 2015-07-10
Also published as: JPH08129443A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、紙面等に筆記具
で文字、記号等を記録するとともに、その筆跡を自らが
記憶し、かつ記憶した筆跡を再現する筆跡記憶・再現装
置及び筆跡再現方法に関する。

【０００２】

【従来の技術】近年、筆記具で文字、記号等を筆記する
とともに、その筆跡を応力センサ、光学センサ等を用い
て検出し、この検出した筆跡を自らが記憶する記憶ペン
が提案されている。この記憶ペンの記憶した筆跡は、こ
れを読み出して表示装置に表示することにより、再利用
することが可能である。

【０００３】一方、手書き文字パターンを抽出再現する
方法として、筆記具の加速度を測定し、それに２回の積
分を施すことに筆跡パターンを抽出する方法が提案され
ている。

【０００４】

【発明が解決しようとする課題】上記した筆跡パターン
抽出方法では、２回の積分を行うので、極めて誤差に弱
く、精度の良い再現が困難であるという問題があった。
また、筆跡検出手段として、応力センサ等を使用する場
合、筆記具が紙面に接触している時は問題ないが、紙面
から離れて次の文字等を筆記する時、その移動距離、相
対位置が検出し難いという問題があった。さらに、また
ＣＣＤカメラ等の光学センサを用いる場合、所定のサン
プリング周期で筆記パターンを含む筆記具近傍の紙面を
撮像して筆跡を記憶してゆくが、この連続した小画像を
そのまま読み出し、表示装置等に表示しても記憶された
ものと同様の画像に再現できない、という問題があっ
た。

【０００５】この発明は、上記問題点に着目してなされ
たものであって、記憶された筆跡データを読み出して、
筆記具にて紙面等に記録されたものと全く同様の文字、
図形等のパターンを忠実に再現し得る筆跡再現方法を提
供することを目的としている。

【０００６】

【課題を解決するための手段及び作用】この発明の筆跡
記憶・再現装置は、被記録媒体に筆記する筆記具を備え
るとともに、この筆記具で記録する面の近傍を所定の周
期で撮像することにより、筆記具を含む所定範囲の単位
画像を順次に検出する光学的筆跡検出手段と、検出され
た筆跡を時間順次に記憶する記憶手段とを備える記憶ペ
ンと、前記記憶手段に記憶された筆跡データを順次に読
み出す読み出し手段と、読み出した単位画像と、前回に
読み出した画像とを比較し、筆跡部分で両者が一致する
部分があれば、その単位画像を前回の読み出し画像に一
致する位置で重ね合わせて、新たなそれまでの読み出し
画像とし、この読み出した画像を次に読み出した単位画
像と比較し、同じく筆跡部分で両者が一致すれば、その
位置で今回読み出した単位画像をそれまでの画像に重ね
合わせて、以後、順次単位画像を読み出す毎に、同様の
処理を繰り返す画像処理手段とを備えている。

【０００７】この筆跡記憶・再現装置では、使用者が記
憶ペンの筆記具で紙面等に手書きすると、所定の周期毎
に筆記具のペン先近傍の筆跡を含む紙面が筆跡データと
して光学的筆跡検出手段により検出され、順次に記憶手
段に記憶される。筆跡再現時には、記憶された時間順次
の単位画像を読み出して、順次比較しながら、一致の得
られる位置で、単位画像を重ねてゆくので、筆跡パター
ンの連続、非連続にかかわらず、筆跡を記録したものと
同様に忠実に再現することができる。

【０００８】

【発明の実施の形態】以下、実施の形態により、この発
明をさらに詳細に説明する。図１は、この発明の実施の
一形態を示す筆跡記憶・再現装置の概略構成を示すブロ
ック図である。この実施例筆跡記憶・再現装置は、筆跡
を検出し、記憶する記憶ペン１と、インタフェース装置
９と、記憶ペン１に記憶された筆跡データをインタフェ
ース装置９を介して読み出し、再現するコンピュータ１
０とから構成されている。

【０００９】記憶ペン１は、紙面等に筆記するためのボ
ールペン芯等のペン軸２、レンズ３、ＣＣＤ４、マイコ
ン５、記憶装置７、電源（バッテリ）８、及びペン軸２
の紙面への接触、非接触の有無を検知する圧力センサ１
３を内蔵しており、記憶装置７と電源８からなるユニッ
ト６は、ペン本体に対し、脱着可能に構成されている。

【００１０】ユニット６は記憶ペン１の本体から外し、
インタフェース装置９に接続すると、記憶装置７に記憶
されている筆跡データが筆記データの読み出し装置１１
を経て、コンピュータ１０に取り込まれるようになって
いる。また充電装置１２によって、電源８のバッテリが
充電可能となっている。コンピュータ１０は、取り込ま
れた筆記データに基づいて、筆跡を再生するためのソフ
トウェア（プログラム）を備え、基本機能としての筆跡
再生機能を備え、また別に文字認識ソフト、図形認識ソ
フト、通信ソフトを備え、文字認識機能、図面認識機
能、通信機能等を有する。このうち、この発明で最も重
要な筆跡再現機能については後に詳述する。

【００１１】図２は、記憶ペン１の断面図である。この
記憶ペン１は、丸棒状のケース体１ａを有するペンシル
形であり、ケース体１ａの先端部１ｂは幾分大径に拡張
している。ケース体１ａの先端部１ｂには、光透過性の
ペン軸保持板２１が取付けられ、このペン軸保持板２１
の中心からはペン軸２を保持するペン軸ホルダ２２が突
設されており、これらペン軸保持板２１、ペン軸２及び
ペン軸ホルダ２２で筆記手段が構成される。

【００１２】ペン軸保持板２１の内側には、テレセント
リックレンズ系としてテレセントリックレンズ３が配置
され、テレセントリックレンズ３の内側端部にＣＣＤエ
リアセンサ（筆跡検出手段）４が隣接して配置されてい
る。なお、図２では、テレセントリックレンズ３は図示
のような形状に描かれているが、これは光路を模型的に
表現したものであり、レンズ自体の形状を表現したもの
ではない。この実施例では、テレセントリックレンズ３
の光軸は、ペン軸２及びペン軸ホルダ２１の中心軸（及
びケース体１の中心軸）と一致しており、光軸上にＣＣ
Ｄエリアセンサ４が配置されている。但し、テレセント
リックレンズ３の光軸と筆記手段の中心軸とは必ずしも
一致させる必要はなく、ペン軸２の先端（即ち筆記され
つつある瞬間の筆跡ポイント）が光学的検出視野の中に
位置し、筆跡のポイントが検出されるのであれば、光軸
と中心軸は多少ずれてもよい。

【００１３】図２から分かるように、ペン軸保持板２
１、ペン軸２、ペン軸ホルダ２２、テレセントリックレ
ンズ３及びＣＣＤエリアセンサ４は、内ケース２３に一
体的に固定されており、内ケース２３は筆記時の筆圧に
よりケース体１の内側に光軸方向に沿って若干スライド
可能になっている。この内ケース２３の光軸方向のスラ
イドにより、筆記時の筆圧で内ケース２３がケース体１
の内部に移動すれば、圧力センサ１３が内ケース２３で
押圧されて筆記中であることを検出することができる。
なお、圧力センサ１３が筆記中であることを検出できる
のならば、例えば内ケース２３が光軸と垂直方向（ラジ
アル方向）に撓むことにより筆記中を検出してもよいまた、ケース体１内には、ＬＳＩ等を含む電子回路を搭
載したプリント基板２４が配置され、この電子回路にＣ
ＣＤエリアセンサ４が接続され、検出された筆跡信号が
取り込まれるようになっている。ケース体１の後部１ｃ
には、検出された筆跡情報を記憶する記憶装置やバッテ
リを内蔵したユニット６が設けられている。

【００１４】更に、ケース体１の内壁と内ケース２３と
の間には、筆記中であることを検知するセンサ（圧力セ
ンサ）１３が設けられている。この圧力センサ１３は、
前記したように本実施例では、筆記中の筆圧で内ケース
２３がケース体１の内側に若干移動すると内ケース２３
により押圧され、その押圧力で筆記中であることを検知
するものである。一方、圧力センサ１３の外側に位置す
るケース体１の部分には、スタートスイッチ２６が設け
られており、スタートスイッチ２６を操作することで記
憶ペンの電源をＯＮ／ＯＦＦするようになっている。

【００１５】上記のような記憶ペンの使用に際しては、
スタートスイッチ２６を押して電源をＯＮにすると共
に、ケース体１を持って図２のように紙面２５に対して
ケース体１を傾けて（通常の筆記状態で）文字、図形等
を記載すると、その筆圧により内ケース２３がケース体
１内に若干進入し、筆記中であることが圧力センサ１３
により検知される。そして、筆跡、即ち紙面２５上の像
は、光軸に平行な光線としてテレセントリックレンズ３
で受像され、ＣＣＤエリアセンサ４で筆記信号に変換さ
れる。この筆跡信号は、電子回路で間引き等によりデー
タ圧縮され、メモリに順次記憶される。但し、筆記中に
ペン軸２の先端が紙面２５から離れて空間を移動する
が、ペン軸２の先端が空間移動中であるか又は紙面２５
上での筆記中であるかの検出信号も、筆跡検出信号と同
時にメモリに記憶される。この空間移動中か筆跡中かの
検出信号は、図１で示したコンピュータ１０による筆跡
再生ソフト（筆跡再生手段）で筆跡を再生する場合に再
現を容易にするために利用される。

【００１６】次に、実施例筆跡記憶・再現装置の筆跡記
憶及び筆跡再現の処理について説明する。記憶ペンのボ
ールペン芯２で、紙面上に文字、例えばアルファベット
のＬを筆記するものとする。そして、ＣＣＤ４では一定
のサンプリングタイムで視野内の画像を順次、撮像す
る。図３に示すように、文字Ｌの上方から左下方に向け
て、ゆるい傾斜の第１の直線を描き、その後、左下方か
ら右下方に向けてゆるい傾斜の第２の直線が描かれる場
合を想定すると、今、ボールペン芯２の位置がサンプリ
ングタイム毎にＰ₁、Ｐ₂、…、Ｐ₆、…と移動するも
のとすると、ＣＣＤ４の視野もＳ₁、Ｓ₂、…、Ｓ₆、
…と移動し、筆跡記憶装置７には、図４に示すような同
じ大きさの画像Ｓ₁、Ｓ₂、…、Ｓ₆、…が画像データ
として記憶される。このように、一定の大きさの部分画
像が連続して記憶されたことにより、全体としての筆跡
が記憶されたことになる。

【００１７】筆跡再現を行う場合には、図４に示す部分
像を読み出して、そのまま表示しても、利用者は何の文
字であるかを認識しがたい。利用者は、一般に記憶ペン
によって書かれた全ての文字、すなわち全体像を必要と
するものであり、したがって図４に示す部分像から図３
に示す全体像を再現する必要がある。この実施例筆跡記
憶・再現装置では、筆跡再現処理に最も特徴がある。以
下、筆跡再現について詳述する。

【００１８】ここでの筆跡再現には、「セル」、「アク
ト」、「シーン」、「ページ」の概念を使用し、階層構
造を構成している。「セル」とは、固定長の画素からな
る部分像であり、基礎となる最も小単位の画像である。
図４に示すＳ₁、Ｓ₂、…、Ｓ₆、…がこれに相当す
る。他の具体例なセルの画像例を図５に示している。
「アクト」とは、時間的に連続する一連のセルの重ね合
わせによって構成される像をいう。ここで、一連のセル
とは、連続するセル間の位置関係が判明する限り、すな
わち直前のセルに対する相対位置が判明する限り、でき
る限り大きくとったセルの連なりのことをいう。

【００１９】「シーン」とは、位置関係が明らかな複数
のアクトから構成される像をいう。意味的なまとまりを
表す上述のように、連続するセル間の位置関係が判明し
ない場合に、それらのセルは別々のアクトの一部とな
る。しかし、それらのアクト間の位置関係が判明する場
合もあり、そのようなアクトはシーンとしてまとめられ
る。

【００２０】「ページ」とは、時間的に連続する一連の
シーンから構成される作業のまとまりを表す像をページ
と呼ぶ。１つのページを構成するシーンは重なりを持た
ない。また、ページの区切りは利用者が明示的に与え
る。なお、ここでは、セル、アクト、シーン、ページに
おいて、左上を原点とし、右手方向にｘが増加し、下方
向にｙが増加するｘｙ直交座標系を用いる。ただし、本
方式は座標系に依存するものではない。また、各々の像
において、黒である全ての画素を囲む最小の四角形をBo
undingBox （ＢＢ）と呼ぶ。

【００２１】セルを構成する画素は濃度としてBLACK 、
あるいはWHITE を取る。これを、多階調に拡張する方法
は後述する。また、アクト、シーン、ページを構成する
画素の濃度は、その画素が黒である可能性を表す非負整
数を値としてとる指標であり、値が大きい時にその画素
が黒である可能性が大きいことを表す。アクト、シー
ン、ページにおいて、白色の濃度は０である。セル、ア
クト、シーン、ページの関係の例を図６に示している。

【００２２】次に、アクトの構築について説明する。初
期のアクトact _j（０≦ｊ）は、空白の領域である。ア
クトの構築はセルcell_i（０≦ｉ）をアクトact _jの適
切な位置に重ね合わせることによって行われる。最初の
セルcell₀はアクトact ₀の適当な位置に置かれる。次
のセルcell₁には、セルcell₀に現れている筆跡、すな
わち既にアクトact ₀に存在する筆跡（以下、共通の筆
跡という）と、セルcell₀が取り込まれてから、セルce
ll₁が取り込まれるまでの間に書かれた新たな筆跡の両
方が映っている。セルcell₁とアクトact ₀の間で筆跡
のマッチングを行い、セルcell ₁の共通な筆跡が最も矛
盾なくアクトact ₀と重なる位置〈ｘ₁、ｙ₁〉を求
め、アクトact ₀の位置〈ｘ₁、ｙ₁〉にセルcell₁を
重ね合わせる。以下、同様に共通な筆跡が重ならないセ
ルcell_Iが出現するまで、各セルcell_iの共通な筆跡が
最も矛盾なく重なる位置〈ｘ_i、ｙ_i〉に重ね合わせ
る。この様子を図７に示す。ここで、セルcell_Iの共通
な筆跡が十分にアクトact _jと重ならない時、セルcell
₁以降のセルに関しては、新しいアクトact _j+1を対象
にして同様の作業を行う。アクトの構築手順を図９のフ
ローチャートに示す。

【００２３】図７において、薄い集点線はマッチングの
濃度１を、濃い集点線はマッチングの濃度２を、太実線
はマッチングの濃度３以上のものをそれぞれ示してい
る。続いて、セルとアクト間のマッチング方法について
説明する。以下では、セルとアクトを各々２次元の配列
cell〔CELL_-WIDTH 〕〔CELL_-HEIGHT〕と、act 〔ACT
_-WIDTH 〕〔ACT _-HEIGHT〕を用いて表す。

【００２４】セル・アクト間マッチングのアルゴリズム
は、入力としてセルとアクトを取り、セルとアクトが最
もよく重なるアクト上の位置〈ｘ、ｙ〉を返す。そのア
ルゴリズムを以下に示す。サンプリング時間は十分短い
ので、２つのセル間のペンの移動量は小さいと仮定でき
る。この仮定から、セルとアクトの間の共通な筆跡は、
直前セルが置かれた座標の近傍に現れると考えることが
できる。よって、マッチングを行う領域（以下、マッチ
ング領域という）は、直前のセルが重ね合わされた領域
の、セルの幅、高さのそれぞれ１／Ｎ（Ｎ：１以上の実
数）だけ周囲の部分とする、図１２にＮ＝２の様子を示
す。

【００２５】マッチング領域の全ての位置にセルを重ね
合わせて以下の手続きを行い、match の値が最大となる
位置〈ｘ、ｙ〉を求める。この〈ｘ、ｙ〉がセルとアク
トが最もマッチした位置、すなわちペンがそこにある可
能性が最も高い位置である。match は、２つの像の重ね
合わせの確からしさを表す値である。ここでmatch は、
以下の方法で求められる。

【００２６】アクト上の位置〈ａｘ、ａｙ〉にセルを重
ね合わせると仮定すると、セルの左上の画素cell

〔０〕

〔０〕は、アクトの画素ａｃｔ〔ａｘ〕〔ａｙ〕に、セ
ルの右下の画素cell〔CELL_-WIDTH −１〕〔CELL_-HEIG
HT−１〕はアクトの画素act〔ａｘ＋CELL_-WIDTH −
１〕〔ａｙ＋CELL_-HEIGHT−１〕に重ね合わされる。セ
ルを重ね合わされたアクトの領域（ａｘ≦ｘ≦ａｘ＋CE
LL．WIDTH 、ａｙ≦ｙ≦ａｙ＋CELL_-HEIGHT）におい
て、０より大きな濃度を持つ全ての画素（これを、act
〔ａｘ＋ｃｘ〕〔ａｙ＋ｃｙ〕とする）に対して、その
画素と対応するセルの画素（cell〔ｃｘ〕〔ｃｙ〕）に
筆跡が書かれているか調べる。

【００２７】・cell〔ｃｘ〕〔ｃｙ〕に筆跡が書かれて
いる場合 match にact 〔ａｘ＋ｃｘ〕〔ｘｙ＋ｃｙ〕が持つ濃度
を加える。これは、濃度が高いほど、その点に筆跡が書
かれている可能性が高いので、濃度をmatch に対する重
みとして用いていることになる。・cell〔ｃｘ〕〔ｃｙ〕に筆跡が書かれていない場合 match からact 〔ａｘ＋ｃｘ〕〔ｘｙ＋ｃｙ〕が持つ濃
度を差し引く。これも筆跡が書かれている場合と同様
に、濃度が高いほどその点に筆跡が書かれている可能性
が高いので、セルにおいてその点と対応している点に筆
跡が書かれていないと、マッチングを行っている座標が
間違いである可能性が高いことを示す。マッチングの手
順を図１０のフローチャートに示している。

【００２８】次に、セルのアクトへの重ね合わせ方法に
ついて説明する。セルcellをアクトact の位置〈Ｘ、
Ｙ〉に重ね合わせる方式を次式に示す。ここで、関数ｕ
ｐ（ｚ）は、濃度ｚを持つ画素に、黒点の画素を重ねた
後の濃度を、また、関数ｄｏｗｎ（ｚ）は、濃度ｚを持
つ画素に、白点の画素を重ねた後の濃度を返す関数であ
る。最も単純な場合は、ｕｐとして１を加算する。ｄｏ
ｗｎとして１を減算する関数が用いられる。

【００２９】ｆｏｒ（ｘ＝０；ｘ＜CELL_-WIDTH；ｘ⁺⁺）｛ｆｏｒ（ｙ＝０；ｙ＜CELL_-HEIGHT；ｘ⁺⁺）｛ｉｆ（cell〔ｘ〕〔ｙ〕＝＝BLACK ｛ act〔X+x〕〔Y+y〕＝up（act〔X+x〕〔Y+y〕）｝else｛ act〔X+x〕〔Y+y〕＝down（act〔X+x〕〔Y+y〕）｝｝｝重ね合わせの手順を図１１に示す。

【００３０】次に、シーンの構築について説明する。セ
ルからアクトを構築する時、セルとアクトの位置関係が
わからなくなった場合、以降のセルは新しいアクトを対
象にして再現を行う。この時、新しいアクトに以前のア
クトに書かれた筆跡の一部が現れ、アクト間の位置関係
が判明する時がある。このような場合、以前のアクトに
よって構成されたシーンとアクト間でマッチングを行
い、共通な筆跡を検出することにより、シーンにアクト
を重ね合わせてシーンを構築する。シーンの構築例を図
１３に示す。

【００３１】アクトとシーン間の相対位置関係を求める
ために、セルからアクトを構築する時と同様にマッチン
グを行う。アクトには、そのアクト内で実際に書いた筆
跡と以前のアクトに書かれた文字の筆跡の一部が存在す
る。セルからアクトを再現する時に求めたペンの位置デ
ータからペンの移動ベクトルを求めて、このアクト内で
実際に書いた筆跡を除去すると、以前に書かれた筆跡が
残る。以下、この筆跡を既存筆跡と呼ぶ。既存筆跡は、
それまでに再現されたシーンに存在するはずである。既
存筆跡を共有するシーンとアクトの位置関係を検出し、
アクトとシーンを重ね合わせる。

【００３２】以下のように、アクト内における既存筆跡
の位置により、５種類の場合分けを行い、マッチング領
域を定義する。マッチング領域の場合分けを図１４に示
す。（１）アクトの上部に既存筆跡が現れた場合、その筆跡
は以前に再現されたシーンの下部の筆跡であると考え
る。よって、マッチング領域は、アクトの上部とシーン
の下部にそれぞれ既存領域のＢＢの高さ分だけとる。同
様に（２）アクトの下部、（３）左部、（４）右部に既
存筆跡が現れた場合、マッチング領域はそれぞれ、アク
トの下部とシーンの上部、アクトの左部とシーンの右
部、アクトの右部とシーンの左部にとる。

【００３３】また、（５）アクトの内部に既存筆跡が現
れた場合、以前に書かれたシーンに重ねて書いたと考え
る。例えば、書いた文字を「×」や「＝」などで訂正す
るなどに代表される。この場合、既存筆跡の存在領域が
限定できないので、既存筆跡はアクトのＢＢ全域とシー
ンのＢＢ全域に現れる。よって、マッチング領域はアク
トのＢＢ全域とシーンのＢＢ全域とする。

【００３４】定義したマッチング領域にしたがって、ア
クトとシーンの間でマッチングを行う。以前に書かれた
筆跡の存在領域が複数の場合に当てはまる場合は、その
全ての場合のマッチング領域でマッチングを行う。ここ
で、アクトとシーンの位置関係は、必ずしも正確に縦ま
たは横にはならないので、マッチング領域は上下、左右
に既存筆跡のＢＢの高さ、幅のそれぞれ２分の１だけ余
分にマッチングさせる。

【００３５】次に、アクト、シーン間マッチングについ
て説明する。アクトとシーンのマッチング領域において
マッチングを行い、もっとも矛盾なくアクトとシーンを
重ね合わせることができる位置を求める。この位置は、
セルからアクトを構築する時と同様に、最大のmatch _sc
の値を与える位置とする。アクトact _iとシーンscene
_jの間でマッチングを行うとする。この時、アクトとシ
ーンのマッチング領域の全ての位置で、アクトとシーン
を重ね合わせて、セル、アクト間と同様のマッチングを
行い、match _scの値が最大となる位置〈ｘ、ｙ〉を求め
る。最初のアクトact ₀はシーンscene ₀の適当な位置
に置かれる。

【００３６】なお、match _scの最大値が十分に大きくな
い場合は、アクトact _iはシーンscene _jの構築に使用
しない。この時のアクトact _iの扱いは以下の２通りが
考えられる。（１）act _iが不明瞭なアクトの場合は、このact _iを
棄却する。（２）act _iがscene _jと共通な筆跡を持たない場合
は、scene _j以前のシーンと共通な筆跡を持つ可能性が
ある。よって、アクトact _iをシーンscene _j-1とマッ
チさせる。シーンscene _j-1とマッチすればそのシーン
と重ね合わせ、マッチしなければシーンscene _j-2と、
順次マッチングを行う。どのシーンともマッチしない場
合は、いずれのシーンとも共通を筆跡を持たない、独立
したアクトとみなし、新たにシーンscene _j+1を設けて
アクトact _iを重ね合わせる。

【００３７】このようにして、全てのアクトをシーン上
に再現する。しかし、アクトが複数のシーンと共通の筆
跡を持ち、位置関係のわからなかったシーン間の関係が
判明することがある。この場合は、アクトと複数のシー
ンを対応する位置で重ね合わせ、シーン番号の小さいシ
ーンにまとめる。その他のシーンは再び空白の領域にす
る。

【００３８】他のシーン構築方法を説明する。この方法
は、マッチング領域決定手順において上述のシーン構築
方法と異なっている。マッチング領域決定手順は以下の
とおりである。新たに書かれた筆跡を除去してアクトに
既存筆跡のみを残し、新たに書かれた筆跡のＢＢを決定
する。アクトは９つの領域に分割される。それらは、新
たに書かれた筆跡を含む中心領域と、中心領域に対する
上領域と、下領域と、中右領域と、中左領域と、上右領
域と、下右領域と、上左領域と、下左領域である（図２
０参照）。これらの領域は、それぞれＣＭ、ＣＴ、Ｃ
Ｂ、ＲＭ、ＬＭ、ＲＴ、ＲＢ、ＬＴ、ＬＢで示されてい
る。各領域の濃度値の総和が計算され、閾値と比較され
る。総和が閾値よりも大きい場合には、その領域が筆跡
を含んでいると判定される。したがって、既存筆跡を含
む領域が検出され、既存筆跡の新たな書かれた筆跡に対
する相対位置が検出される。そして、相対位置、即ち、
既存筆跡を含む領域、に基づいてアクトとシーンとのマ
ッチング領域が決定される。

【００３９】図２０に示す領域は、図２１に示すよう
に、上領域、下領域、右領域、左領域、全領域に簡単化
されることが好ましい。また、これらの領域が、それぞ
れバイナリコード“０ｘ０００１０”、“０ｘ０１００
０”、“０ｘ００１００”、“０ｘ００００１”、“０
ｘ１００００”で表現されることが好ましい。ＲＴ、Ｒ
Ｂ、ＬＴ、ＬＢの領域の１つまたは複数が指定された場
合に、これらのバイナリコードは論理加算される。既存
筆跡が領域ＣＭ、即ち、新たな筆跡を含む領域、に存在
している場合には、マッチング領域は全ての領域であ
り、バイナリコード“０ｘ１００００”で表わされる。
したがって、バイナリコードがパターンマッチング関数
に引数として供給された場合に、種々のマッチング領域
の組み合わせが対応するバイナリコードとして与えられ
る。

【００４０】シーンにおけるマッチング領域は、アクト
のマッチング領域の方向と反対の方向に選定される。し
かし、シーンは、アクトを重ねることによりその外形が
変化する。したがって、マッチング領域がアクトのマッ
チング領域（ＢＢ内における上、下、左または右の位置
の四角形）と同様に設定された場合には、アクトを重ね
るための右の位置は設定されなくてもよい。例えば、ア
クトのマッチング領域が左領域である場合には、シーン
のマッチング領域はシーンの右端の領域である。シーン
のマッチング領域はシーンの右端のＢＢではなく、シー
ンを構成する各アクトａｃｔ_scの右端のＢＢの全体また
は一部である。さらに詳細にいえば、シーンのマッチン
グ領域は、他のアクトａｃｔ_scと重ならないアクトａｃ
ｔ_scの端領域の一部である。図２２はシーンのマッチン
グ領域の具体例を示している。図２２には２つのマッチ
ング領域が存在している。

【００４１】シーンのマッチング領域は以下の処理によ
って決定されることが好ましい。（１）シーンを構成する各アクトａｃｔ_scの端位置の一
定幅、一定高さの領域がマッチング領域の候補（以下、
エッジボックスと称する）として設定されること、
（２）エッジボックスが互いに重なる場合であって、こ
れらのエッジボックスが互いに類似するｘ座標を有する
とともに、互いに類似する幅を有している場合、または
これらのエッジボックスが互いに類似するｙ座標を有す
るとともに、互いに類似する高さを有している場合に、
これらのエッジボックスが、これらのエッジボックスの
端点のうち、最も上左点および最も下右点を端点として
有する１つのエッジボックスに一体化されること、
（３）ほとんどのエッジボックスが、エッジボックスを
除く他のアクトと重なる場合に、エッジボックスがマッ
チング領域として決定されること、（４）残りの全ての
エッジボックスがシーンのマッチング領域として決定さ
れること。

【００４２】具体例が図２３、図２４に示されている。
シーンが複数のマッチング領域を有している場合には、
アクトとシーンとの間のパターンマッチングはマッチン
グ領域毎に行われる。既存筆跡に基づいて複数のシーン
に１つのマッチング領域が存在している場合には、シー
ン番号と、各シーン内の座標値が、アクトの筆跡とシー
ンの筆跡とが互いにマッチする各マッチング領域に対応
して記憶される。そして、アクトとシーンとのリンクが
達成される。２つ以上のシーンがアクトのマッチング領
域と対応する場合には、１つのアクトが２つ以上のシー
ンとマッチするのであるから、２つ以上のシーンは１つ
のシーンにまとめられる。

【００４３】ページは、作業のまとまりを表す一連のシ
ーンから構成される。また、相対位置関係が判明してい
るアクトはシーンとしてまとめられているため、シーン
間の位置関係は不明である。そのためページの区切り
は、記憶ペンにハードとして用意された機構、あるいは
ジェスチャーなどによって利用者が明示的に与えるか、
時間軸から、つまり記憶ペンの使用を開始してから一連
の作業が終了して電源を切るまで、で判定するかの方法
をとる。以上の全体的な筆跡再現処理手順を概略的に示
すと、図８となる。

【００４４】ページが２以上のシーンからなる場合に
は、各シーンは他のシーンと共通の筆跡を有していな
い。しかし、２つのシーン間の位置関係は、以下の処理
により検出できる。図１６に示すように、シーン２の筆
跡がシーン１の筆跡の直後に書かれたものと仮定する。
シーン１の筆跡の終りからシーン２の筆跡の始めまでの
時間は、ボールペン芯２が紙面から離れていることを示
すストレスセンサ信号の継続時間に基づいて検出され
る。ボールペン芯２の先端の移動速度および移動方向は
シーン１の最後の複数個のセルに基づいて検出される。
図１７はシーン１の最後の３つのセルを示している。図
１７において、最も左のセルが最後から３つ目のセル、
中央のセルが最後から２つ目のセル、最も右のセルが最
後のセルである。また、最後から２つ目のセルは、最後
から３つ目のセルに対応する筆跡を破線で示しており、
最後のセルは、最後から３つ目のセルに対応する筆跡
と、最後から２つ目のセルに対応する筆跡を破線で示し
ている。また、筆跡の最後の画素の移動方向は最後のセ
ルおよび最後から２つ目のセルに矢印で示されている。
矢印と反対の方向が移動方向である。また、セルは所定
のサンプリング間隔で取り込まれているのであるから、
矢印の長さに基づいて移動速度が算出される。即ち、逆
の矢印が空間移動ベクトルを示す。シーン１の筆跡の最
後とシーン２の筆跡の最初との間の移動距離は、前記時
間および移動速度に基づいて算出される。したがって、
シーン１とシーン２との間の位置関係は、移動方向およ
び移動距離に基づいて決定される。

【００４５】ボールペン芯２の先端が紙面から離れた
後、紙面に接触する場合には、先端は一般的に一定の速
度でほぼ一定の方向に移動する。したがって、２つのシ
ーン間の位置関係は適切に得られる。空間移動ベクトル
が単位長さの単位ベクトルに正規化され、各シーンが他
のシーンに対して単位ベクトルの方向に一定距離だけ離
れた位置に配置されることが好ましい。

【００４６】また、２つのシーンの重心間の相対位置が
空間移動ベクトルに基づいて決定され、２つのシーンが
両重心をアレンジすることにより配置されることが好ま
しい。さらに詳細にいえば、空間移動ベクトルがｘ軸に
近い場合（ｘ要素がｙ要素よりも大きい場合）には、両
重心が等しいｙ座標値を有するようにアレンジされ、逆
の場合には、両重心が等しいｘ座標値を有するようにア
レンジされる。この場合には、シーンを構成する各筆跡
は水平、または垂直にアレンジされる。

【００４７】なお、上記実施例で筆跡再現方法を説明す
るのに、画素の濃度を２値であるとしてきたが、これを
多階調に拡張することも可能である。その場合の考慮す
べき点は次の通りである。・match を求める際に、act 〔ａｘ＋ｃｘ〕〔ａｙ＋ｃ
ｙ〕と対応するcell〔ｃｘ〕〔ｃｙ〕に筆跡が書かれて
いるか調べる方法を変更する。cell〔ｃｘ〕〔ｃｙ〕に
筆跡が書かれているかどうかでは、ある程度以上の濃度
を持つか調べる。

【００４８】・関数ｕｐとｄｏｗｎの定義を、重ね合わ
せるセルの画素の濃度を考慮するように変更する。例え
ば、ｕｐとして重ね合わせるセルの画素の濃度を加算
し、ｄｏｗｎとして画素の濃度を減算することが考えら
れる。また、セル、アクトなどの像をカラー画像へ拡張
するには、基本的には、ＲＧＢの各成分の濃度から何ら
かの演算で、その画素の濃度を求める。一般的には、Ｒ
（赤）、Ｇ（緑）、Ｂ（青）の濃度を各々ｒ、ｇ、ｂと
した時、その線形結合した値ｆ＝ａ₁ｒ＋ａ₂ｇ＋ａ₃
ｂを濃度とする。

【００４９】パラメータでは、ａ₁、ａ₂、ａ₃を調整
することにより、最初から紙に書かれている罫線などを
分離することが可能である。また、上記実施例筆跡記憶
・再現装置は、筆跡記憶を記憶ペンで、筆跡再現を外部
のコンピュータで実現しているが、記憶ペン内に筆跡再
現ソフトを備え自身の表示器に再現するようにしてもよ
く、あるいは表示器のみを記憶ペンと別体にしてもよ
い。

【００５０】また、上記実施例では記憶ペンとして図２
に示すものを使用しているが、この発明では記憶ペンは
ここに示す構造のものに限られず、光学的に筆跡を検出
する機能、検出した筆跡の記憶機能を有するものであれ
ばよい。図１５に他の記憶ペンの例を示している。図１
５に示す記憶ペンは、ケース本体３１が把持部３１ａ、
開蓋部３１ｂ、先端部３１ｃからなり、把持部３１ａ
と、先端部３１ｃが屈曲した構造になっている。先端部
３１ｃには、ペン軸３２を保持するペン軸ホルダ３３を
備え、このペン軸ホルダ３３がペン軸保持板３４に保持
されている。さらに、把持部３１ａの先端には、ＣＣＤ
３６が設けられるとともに、ＣＣＤ３６と先端部３１ｃ
のペン軸保持板３４間にレンズ系３７が設けられてい
る。また、把持部３１ａ内には、図示を省略している
が、筆跡検出のための制御を行うマイコン、検出した筆
跡を電子情報として記憶する記憶装置を備える他、電池
も備えている。また、把持部３１ａの先端内部には、圧
力センサ３８を設け、ペン軸３２が筆記中であるか否か
の有無を検出する。

【００５１】この記憶ペンは、把持部３１ａを傾斜させ
て、筆記者が通常のペンを持つのと同じように持って
も、ＣＣＤ３６、及びレンズ系３７の面は、記録面３５
に平行となり、筆跡を、歪み少なく、比較的正確にとら
えることができる。この発明によれば、記憶された単位
画像を順次読み出して、筆跡パターンの最も一致する位
置で、単位画像を重ね合わせながら筆跡を再現してゆく
ので、筆跡の連続、非連続に関わりなく、元の筆跡を忠
実に再現することができる。

【００５２】この筆跡再現方法は、複数の小画像から大
きな画像を再現する画像再現方法に簡単に拡張できる。
この場合には、小画像はカメラ、ＣＣＤエリアセンサを
用いる光学的筆跡検出手段などにより予め得られてい
る。そして、各小画像は上記実施例と同様に重ね合わさ
れて最終的に大きな画像を得ることができる。もちろ
ん、「セル」「アクト」「シーン」「ページ」を画像再
現方法に適用できる。

【００５３】図１８は、この発明の画像再現装置のさら
に他の構成を示すブロック図である。この装置は、第１
画像メモリ３１、第２画像メモリ３２、第１読み出し部
３３、第２読み出し部３４、書き込み部３５、重ね合わ
せ部３６、マッチング部３７、重ね合わせ位置選択部３
８、及び重ね合わせ画像生成部３９を有している。

【００５４】第１画像メモリ３１は、カメラなど（図１
８に図示せず）により、順次に取り込まれ、電気回路
（図１８に図示せず）により、画像データに変換された
小画像データを記憶する。第２画像メモリ３２は、２つ
以上の小画像データを重ね合わせることにより得られる
重ね合わせ画像データを記憶する。

【００５５】第１読み出し部３３は、第１画像メモリ３
１から小画像データを順次に読み出し、読み出された小
画像データを重ね合わせ部３６に供給する。第２読み出
し部３４は、第２画像メモリ３２から重ね合わせ画像デ
ータを読み出し、読み出された重ね合わせ画像データを
重ね合わせ部３６に供給する。重ね合わせ部３６は、供
給された小画像データを供給された重ね合わせ画像デー
タに重ね合わせる。重ね合わせ部３６は、小画像データ
を反復的に重ね合わせ画像データに重ね合わせ、重ね合
わせ位置を重ね合わせ毎にシフトさせる。

【００５６】マッチング部３７は、重ね合わせ部３６に
より得られる全ての重ね合わせ画像データに基づいてマ
ッチング処理を行い、ｍａｔｃｈの値を算出する。マッ
チング処理は、マッチングアルゴリズムと類似してい
る。重ね合わせ位置選択部３８は、読み出された重ね合
わせ画像の中の、最大のｍａｔｃｈの値が得られる位置
を選択する。

【００５７】重ね合わせ画像生成部３９は、読み出され
た小画像データを読み出された重ね合わせ画像データに
選択された位置で重ね合わせて新たな重ね合わせ画像デ
ータを生成する。書き込み部３５は、新たな重ね合わせ
画像データを第２画像メモリ３２に書き込む。

【００５８】この装置であれば、第１読み出し部３３が
第１画像メモリ３１から小画像データを読み出し、第２
読み出し部３４が第２画像メモリ３２から重ね合わせ画
像データを読み出す。そして、重ね合わせ部３６が小画
像データを重ね合わせ画像データに重ね合わせる。マッ
チング部３７は重ね合わせ画像データ毎にｍａｔｃｈの
値を算出する。重ね合わせ位置選択部３８は最大のｍａ
ｔｃｈの値が得られる位置を選択する。重ね合わせ画像
生成部３９は選択された位置で小画像データを重ね合わ
せ画像データに重ね合わせて、新たな重ね合わせ画像デ
ータを生成する。書き込み部３５は新たな重ね合わせ画
像データを第２画像メモリ３４に書き込む。その後、上
記一連の処理が反復される。

【００５９】より大きな画像を再現する場合には、この
実施例と同様の構成を付加すればよい。図１９は、この
発明のさらに他の構成を示すブロック図である。この装
置は、第１画像メモリ４１、第２画像メモリ４２、第３
画像メモリ４３、第１読み出し部４５、第２読み出し部
４６、書き込み部４７、第１比較部５２、第２比較部５
３、第１重ね合わせ部５４、第２重ね合わせ部５５、お
よび重ね合わせ部５６を有している。

【００６０】第１画像メモリ４１は、ＣＣＤエリアセン
サ４により順次に取り込まれ、電気回路（図１９に図示
せず）により、画像データに変換された小画像データを
記憶する。第２画像メモリ４２は、以前に第１画像メモ
リ４１から読み出された小画像データを記憶する。

【００６１】第３画像メモリ４３は、２つ以上の小画像
データを重ね合わせることにより得られる部分画像デー
タを記憶する。第１読み出し部４５は、第１画像メモリ
４１から小画像データを順次に読み出し、読み出された
小画像データを第１重ね合わせ部５４および第２画像メ
モリ４２に供給する。

【００６２】第２読み出し部４６は、第３画像メモリ４
３から重ね合わせ画像データを読み出し、読み出された
重ね合わせ画像データを第２重ね合わせ部５５に供給す
る。第１比較部５２は、読み出された小画像データを以
前に読み出された小画像データと比較して、両小画像デ
ータが互いに一致する部分筆跡を有しているか否かを判
定する。

【００６３】第２比較部５３は、１つの部分画像デーと
他の部分画像データとを比較して、両部分画像データが
互いに一致する部分筆跡を有しているか否かを判定す
る。第１重ね合わせ部５４は、読み出された小画像デー
タを以前に読み出された小画像と重ね合わせて新たな画
像データを得、新たな画像データを以前に読み出された
小画像データとして設定する。

【００６４】第２重ね合わせ部５５は、読み出された小
画像データを以前に読み出された小画像と重ね合わせて
新たな画像データを得、新たな画像データを以前に読み
出された小画像データとして設定する。第１重ね合わせ
部５４は、第１比較部５２が両小画像データが互いに一
致する部分筆跡を含んでいると判定した場合に動作す
る。第２重ね合わせ部５５は、第１比較部５２が両小画
像データが互いに一致する部分筆跡を含んでいないと判
定した場合以後に動作する。

【００６５】第３重ね合わせ部５６は、１つの部分画像
データを他の部分画像データと重ね合わせて大きな画像
データを得、大きな画像データを他の部分画像データと
して設定する。書き込み部４７は、第１重ね合わせ部５
４または第２重ね合わせ部５５によって最終的に得られ
た新たな画像データを第３画像メモリ４３に部分画像デ
ータとして書き込む。

【００６６】この装置であれば、順次に読み出された小
画像データが以前に読み出された小画像データに順次に
重ね合わされて、部分画像が得られる。２つ以上の部分
画像が得られた場合には、１つの部分画像が他の部分画
像に重ね合わされて大きな画像データが得られる。この
大きな画像データは再現された筆跡を含んでいる。

【００６７】

【発明の効果】この発明によれば、記憶された単位画像
を順次読み出して、筆跡パターンの最も一致する位置
で、単位画像を重ね合わせながら筆跡を再現してゆくの
で、筆跡の連続、非連続に関わりなく、元の筆跡を忠実
に再現することができる。

【図面の簡単な説明】

【図１】この発明の一実施例筆跡記憶・再現装置の構成
を示すブロック図である。

【図２】同実施例筆跡記憶・再現装置に使用される記憶
ペンの断面図である。

【図３】同記憶ペンのＣＣＤによる筆跡検出方法を説明
する図である。

【図４】同記憶ペンにおいて、サンプリング周期毎に記
憶された個別の画像例を示す図である。

【図５】筆跡を再現するための部分像（セル）の実際例
を示す図である。

【図６】上記実施例筆跡記憶・再現装置におけるセル、
アクト、シーン及びページの関係を示す図である。

【図７】アクトの構築例を説明する図である。

【図８】実施例筆跡記憶・再現装置における全体概略動
作を説明するためのフローチャートである。

【図９】同実施例筆跡記憶・再現装置におけるアクト構
築の手順を示すフローチャートである。

【図１０】図９に示すフローチャートのマッチングルー
チンをさらに詳細に示すフローチャートである。

【図１１】図９に示すフローチャートの重ね合わせルー
チンをさらに詳細に示すフローチャートである。

【図１２】セルとアクト間のマッチングを説明するため
の図である。

【図１３】シーンの構築例を説明する図である。

【図１４】既存筆跡の存在領域によるマッチング領域の
場合分けを説明する図である。

【図１５】記憶ペンの他の例を説明するための断面図で
ある。

【図１６】２つのシーンの位置関係を示す図である。

【図１７】移動方向と移動速度の検出を説明する図であ
る。

【図１８】この発明の画像再現装置のさらに他の実施例
を示すブロック図である。

【図１９】この発明の画像再現装置のさらに他の実施例
を示すブロック図である。

【図２０】アクトのマッチング領域の設定を説明する図
である。

【図２１】アクトのより簡単なマッチング領域の設定を
説明する図である。

【図２２】シーンのマッチング領域の具体例を示す図で
ある。

【図２３】シーンのより簡単なマッチング領域の設定を
説明する図である。

【図２４】シーンのより簡単なマッチング領域の設定を
説明する図である。

【符号の説明】

１記憶ペン２ペン軸３レンズ４ＣＣＤ５マイコン７記憶装置１０コンピュータ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平５−67208（ＪＰ，Ａ) 特開平３−109033（ＪＰ，Ａ) 特開昭63−142991（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/03 310 G06F 3/033 320 G06F 17/22 G06T 7/00

Claims

(57)【特許請求の範囲】

【請求項１】被記録媒体に筆記する筆記具を備えるとと
もに、この筆記具で記録する面の近傍を所定の周期で撮
像することにより、筆記具を含む所定範囲の単位画像を
順次に検出する光学的筆跡検出手段と、検出された筆跡
を順次に記憶する記憶手段とを備える記憶ペンと、前記記憶手段に記憶された筆跡データを順次に読み出す
読み出し手段と、読み出した単位画像と、前回に読み出した画像とを比較
し、筆跡部分で両者が一致する部分があれば、その単位
画像を前回の読み出し画像に一致する位置で重ね合わせ
て、新たなそれまでの読み出し画像とし、この読み出し
た画像を次に読み出した単位画像と比較し、同じく筆跡
部分で両者が一致すれば、その位置で今回読み出した単
位画像をそれまでの画像に重ね合わせて、以後、順次単
位画像を読み出す毎に、同様の処理を繰り返す画像処理
手段と、を備えてなる筆跡記憶・再現装置。
【請求項２】被記録媒体に筆記する筆記具を備えるとと
もに、この筆記具で記録する面の近傍を所定の周期で撮
像することにより、筆記具を含む所定範囲の単位画像を
順次に光学的に検出する光学的筆跡検出手段と、検出さ
れた筆跡を順次に記憶する記憶手段とを備える記憶ペン
と、前記記憶手段に記憶された筆跡データを順次に読み出す
読み出し手段と、読み出した時間順次に連続する単位画像群が、各々より
も前の単位画像とパターンの一部が一致するものが存在
する間は、これらを順次重ねてゆき、単位画像よりも大
きい第２レベルの部分画像を再現する第１の画像処理手
段と、単位画像がそれよりも前のパターンのいずれにも合致し
ない場合は、以後、その単位画像と以降に順次読み出さ
れる単位画像のパターンの一部がさらに連続して一致す
るにつき、これを順次重ねてゆき、同様に単位画像より
も大きい他の第２のレベルの部分画像を得る第２の画像
処理手段と、を備えてなる筆跡記憶・再現装置。
【請求項３】被記録媒体に筆記する筆記具を備えるとと
もに、この筆記具で記録する面の近傍を所定の周期で撮
像することにより、筆記具を含む所定範囲の単位画像を
順次に光学的に検出する光学的筆跡検出手段と、検出さ
れた筆跡を順次に記憶する記憶手段とを備える記憶ペン
と、前記記憶手段に記憶された筆跡データを順次に読み出す
読み出し手段と、読み出した時間順次に連続する単位画像群が、各々より
も前の単位画像とパターンの一部が一致するものが存在
する間は、これらを順次重ねてゆき、単位画像よりも大
きい第２レベルの部分画像を再現する第１の画像処理手
段と、単位画像がそれよりも前のパターンのいずれにも合致し
ない場合は、以後、その単位画像と以降に順次読み出さ
れる単位画像のパターンの一部がさらに連続して一致す
るにつき、これを順次重ねてゆき、同様に単位画像より
も大きい他の第２のレベルの部分画像を得る第２の画像
処理手段と、これら得られた第２レベルの部分画像間でパターンの一
部が一致する位置をさがし、一致が得られた場合に、一
方の第２レベルの画像に他方の第２レベルの画像を重ね
合わせて第３のレベルの画像を得る第３の画像処理手段
と、を備えてなる筆跡記憶・再現装置。
【請求項４】被記録媒体に手書きする筆記具と、この筆記具で記録する面の近傍を所定の周期で撮像する
ことにより、筆記具を含む単位画像を順次に検出する光
学的筆跡検出手段と、検出された筆跡を時間順次に記憶する記憶手段と、前記記憶手段に記憶された筆跡データを順次に読み出す
読み出し手段と、読み出した順次に連続する単位画像群が、各々よりも前
の単位画像とパターンの一部が一致するものが存在する
間は、これらを順次重ねてゆき、単位画像よりも大きい
第２レベルの部分画像を再現する第１の画像処理手段
と、単位画像がそれよりも前のパターンのいずれにも合致し
ない場合は、以後、その単位画像と以降に順次読み出さ
れる単位画像のパターンの一部がさらに連続して一致す
るにつき、これを順次重ねてゆき、同様に単位画像より
も大きい他の第２のレベルの部分画像を得る第２の画像
処理手段と、これら得られた第２レベルの部分画像間でパターンの一
部が一致する位置をさがし、一致が得られた場合に、一
方の第２レベルの画像に他方の第２レベルの画像を重ね
合わせて第３のレベルの画像を得る第３の画像処理手段
と、を備えてなる筆跡記憶・再現装置。
【請求項５】被記録媒体に筆記する筆記具を備えるとと
もに、この筆記具で記録した筆跡を光学的に検出する光
学的筆跡検出手段と、検出された筆跡を時間順次に記憶
する記憶手段とを備える記憶ペンと、前記記憶手段に記憶された筆跡データを順次に読み出す
読み出し手段と、読み出した時間順次に連続する単位画像群が、各々より
も前の単位画像とパターンの一部が一致するものが存在
する間は、これらを順次重ねてゆき、単位画像よりも大
きい第２レベルの部分画像を再現する第１の画像処理手
段と、単位画像がそれよりも前のパターンのいずれにも合致し
ない場合は、以後、その単位画像と以降に順次読み出さ
れる単位画像のパターンの一部がさらに連続して一致す
るにつき、これを順次重ねてゆき、同様に単位画像より
も大きい他の第２のレベルの部分画像を得る第２の画像
処理手段と、これら得られた第２レベルの部分画像間でパターンの一
部が一致する位置をさがし、一致が得られた場合に、一
方の第２レベルの画像に他方の第２レベルの画像を重ね
合わせて第３のレベルの画像を得る第３の画像処理手段
と、を備えてなる筆跡記憶・再現装置。
【請求項６】複数の、順次単位画像に基づいて移動ベク
トルを得る移動ベクトル獲得手段と、１つの部分画像と他の部分画像とが互いに一致する部分
筆跡を含んでいない場合に、移動ベクトルに基づいて１
つの部分画像の他の部分画像に対する相対位置を設定
し、相対位置に基づいて両部分画像を配置することによ
り大きな画像を得る第４の画像処理手段をさらに備えた
請求項３、請求項４、または請求項５記載の筆跡記憶・
再現装置。
【請求項７】筆記具で記録する面の近傍を、本体内蔵の
撮像手段で撮像し、筆記具を含む所定範囲の単位画像を
筆記具の移動とともに、時間順次に記憶する記憶ペンの
筆跡再現方法であって、読み出した単位画像と、前回に読み出した画像とを比較
し、筆跡部分で両者が一致する部分があれば、その単位
画像を前回読み出し画像に一致する位置で重ね合わせ
て、新たなそれまでの読み出し画像とし、この読み出し
た画像を次に読み出した単位画像と比較し、同じく筆跡
部分で両者が一致すれば、その位置で今回読み出した単
位画像をそれまでの画像に重ね合わせて、以後、順次単
位画像を読み出す毎に、同様の処理を繰り返して、記憶
した筆跡を再現する筆跡再現方法。
【請求項８】筆記具で記録する面の近傍を、本体内蔵の
撮像手段で撮像し、筆記具を含む所定範囲の単位画像を
筆記具の移動とともに、時間順次に記憶する記憶ペンの
筆跡再現方法であって、読み出した時間順次に連続する単位画像群が、各々より
も前の単位画像とパターンの一部が一致するものが存在
する間は、これらを順次重ねてゆき、単位画像よりも大
きい第２レベルの部分画像を再現し、単位画像がそれよ
りも前のパターンのいずれにも合致しない場合は、以
後、その単位画像と以降に順次読み出される単位画像の
パターンの一部がさらに連続して一致するにつき、これ
を順次重ねてゆき、同様に単位画像よりも大きい他の第
２のレベルの部分画像を得るようにして、記憶した筆跡
を再現する筆跡再現方法。
【請求項９】筆記具で記録する面の近傍を、本体内蔵の
撮像手段で撮像し、筆記具を含む所定範囲の単位画像を
筆記具の移動とともに、時間順次に記憶する記憶ペンの
筆跡再現方法であって、読み出した時間順次に連続する単位画像群が、各々より
も前の単位画像とパターンの一部が一致するものが存在
する間は、これらを順次重ねてゆき、単位画像よりも大
きい第２レベルの部分画像を再現し、単位画像がそれよ
りも前のパターンのいずれにも合致しない場合は、以
後、その単位画像と以降に順次読み出される単位画像の
パターンの一部がさらに連続して一致するにつき、これ
を順次重ねてゆき、同様に単位画像よりも大きい他の第
２のレベルの部分画像を得、これら得られた第２レベル
の部分画像間でパターンの一部が一致する位置をさが
し、一致が得られた場合に、一方の第２レベルの画像に
他方の第２レベルの画像を重ね合わせて第３のレベルの
画像を得るようにし、記憶した筆跡を再現する筆跡再現
方法。
【請求項１０】筆記具で記録する面の近傍を本体内蔵の
撮像手段で撮像し、筆記具を含む所定範囲の固定長の画
素からなるセルを筆記具の移動とともに、時間順次に記
憶する記憶ペンの筆跡再現方法であって、前記時間順次に記憶されたセルを読み出し、各々のセル
と前のセルとでパターンの一部が一致するものが連続す
る間、この一連のセルを重ね合わせてアクトを構築し、
前のセルと後のセルで一致しないものがあると、その後
はさらに読み出したセルの一部のパターンがそれぞれ前
のセルに一致するセルが連続する間、これらの一連のセ
ルを重ね合わせて独立のアクトを構築し、いくつかのア
クトを構築した後、アクト間で一部パターンの一致する
位置を抽出し、その位置でアクト同志を重ね合わせて、
シーンを得るようにした記憶ペンの筆跡再現方法。
【請求項１１】前記アクトと前記セルの一致を抽出する
のに、アクトに対しセルを、セルの幅及び高さの１／Ｍ
（Ｍ：１以上の実数）の範囲で、上下左右に動かして相
関をみるようにしたことを特徴とする請求項１０記載の
記憶ペンの筆跡再現方法。
【請求項１２】前記アクト間どうしの一致を抽出するの
に、前のアクトに対し、後のアクトの幅及び高さの１／
Ｎ（Ｎ：１以上の実数）の範囲で、上下左右に動かして
相関をみるようにしたことを特徴とする請求項１０記載
の記憶ペンの筆跡再現方法。