JPH06231171A

JPH06231171A - 文書検索装置およびペンベースコンピューティングシステム

Info

Publication number: JPH06231171A
Application number: JP5016141A
Authority: JP
Inventors: Hiroshi Yamada; 弘山田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-02-03
Filing date: 1993-02-03
Publication date: 1994-08-19

Abstract

(57)【要約】【目的】手書きメモを含む文書において、手書きメモ
のある部分を容易に検索する装置を提供する。【構成】本発明による文書検索装置は、文書と文書に
対する付加情報（手書きメモ）とを格納する手段と、あ
る条件を満たす付加情報を検索する手段と、検索された
部分の大きさとその文書内の位置と表示可能な画面の大
きさから表示する部分を決定する手段と、決定された部
分の文書と付加情報とを合わせて表示する手段とからな
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】手書きメモを含んだ文書の処理シ
ステム、特にペンベースコンピューティングシステムに
関する。

【０００２】

【従来の技術】Robert Carr,Dan Shafer 共著 "THE POW
ER OF PENPOINT"（Addison-Wesley社１９９１）で述べ
られているＰｅｎＰｏｉｎｔなど多くのペンベースコン
ピューティングシステムが利用されている。そのような
システムでは、薄型の液晶画面に表示を行い、その上に
直接ペンで入力や操作を行う。そして、液晶画面上での
ペン動作が認識できるように、ペンと液晶画面に仕掛け
が施されている。この仕掛けは各種方法が知られている
が、一つは液晶画面の板面内のコイルで電磁波の受信と
発信を繰り返し、ペン内のコイルとの共振現象を用いて
ペンの位置を特定するものである。このようなペンを用
いた機器は、「手書き入力ＯＳ誕生，パソコンの新市場
を切り開く」（日経エレクトロニクス第５２５号 p.11
5-133 日経ＢＰ社１９９１年）などに示されているよ
うに、広く各種機器に利用されている。

【０００３】例えば、画面上に電子メールなどの電子的
な文書をフォントで表示し、その上にペンで注意すべき
点をマーキングしたり、ちょっとしたメモなどを記入す
る。これらのマーキングやメモを総称して手書きメモと
呼ぶことにする。ペンベースコンピューティングシステ
ムの一つの特徴は、手書きメモを含んだ文書が扱えるこ
とにある。そして、その手書きメモは液晶画面上にペン
を用いて、直接的に入力する。

【０００４】また、画面上でペンに特定の動作をさせる
と、操作指示になる。例えばペンを上から下へ動かす
と、あたかもペンで文書の書かれた紙を押えて下にずら
したように、文書の表示部分が少し戻る。このようなペ
ンの動作をジェスチャと呼ぶ。ペンベースコンピューテ
ィングシステムの第２の特徴は、ジェスチャを用いて操
作を行うことにある。このようなジェスチャを用いて、
文書中の見たいところを探して行く。

【０００５】更に、手書きメモに限らず、スキャナなど
で取り込んだ画像を含んだ文書を検索することも知られ
ている。例えば、岡崎彰夫「画像データベース概論」
（情報処理学会学会誌VOL.33 NO.5 p.448-456 情報処理
学会１９９２年）で述べられているように特定の特徴
を持つ画像や画像の一部分を検索することや、飯沢篤志
「文書画像データベースシステム」（情報処理学会学
会誌 VOL.33 NO.5 p.497-504 情報処理学会１９９２
年）で述べられているように特定の特徴を持つ文書その
ものを検索することが知られている。

【０００６】

【発明が解決しようとする課題】従来の技術で述べたよ
うに、ペンベースコンピューティングシステムでは、文
書中の見たいところを探すのに、ジェスチャを用いて、
順次ページをめくりながら探して行く。また、文字コー
ドのみで記述された文書を扱う世界でよく用いられてい
るように、文書中の特定の文字があるところを探して行
く方法もある。更に、従来、画像を含んだ文書を検索す
る場合、検索対象は画像自体であったり画像を含む文書
全体である。

【０００７】ところが、手書きメモは、もともと書かれ
ている文書の間違い箇所に×印を付けるなど、書かれた
メモとメモが書かれた場所の内容の双方が重要である。
しかしながら、このような場合について考慮されていな
かった。

【０００８】ところで、ペンベースコンピューティング
システム上で、手書きメモがある文書を検索する場合を
考えてみる。始めに、ビジネスの分野での例を考える。
予め配られている会議用の資料（電子的な文書）の気に
なる点をペンでチェック（手書きメモ）しておく。そし
て、会議の席上で先ほどチェックしておいた点（手書き
メモ）を順次検索し、画面上に表示しながら資料につい
て質問や意見を述べていく場合がある。

【０００９】次に、教育の分野での例を考える。まず、
提出されたレポート（電子的な文書）を先生がペンによ
り添削（手書きメモ）する。生徒は、添削された部分を
順次検索、表示して添削内容を見ながらレポートを修正
していくといった場合がある。

【００１０】以上述べたような例を考えると、ペンベー
スコンピューティングシステムにおいて手書きメモが書
かれている部分（すなわち手書きメモとメモが追加され
たもともとの文書を合わせたもの）がすぐに検索、表示
できることが望ましい。ところが従来の方法では、順次
ページをめくりながら人が手書きメモのある部分を探し
ていく方法しかなかった。本発明が解決しようとする課
題は、ペンベースコンピューティングシステム上で、手
書きメモを含む文書において、手書きメモのある部分を
容易に検索する装置を提供することにある。

【００１１】

【課題を解決するための手段】本課題を解決するための
手段は、文書と文書に対する付加情報を格納する手段
と、ある条件を満たす付加情報を検索する手段と、検索
された部分の大きさとその文書内の位置と表示可能な画
面の大きさから表示する部分を決定する手段と、決定さ
れた部分の文書と付加情報を合わせて表示する手段とか
らなる。

【００１２】

【作用】文書と文書に対する付加情報を格納する手段
が、検索し、表示する文書のデータ管理を行う。ある条
件を満たす付加情報を検索する手段が、条件にあう付加
情報を検索する。検索された部分の大きさとその文書内
の位置と表示可能な画面の大きさから表示する部分を決
定する手段は、付加情報の大きさや位置、画面上で表示
できる大きさを考慮して、表示する部分を決定する。そ
して、決定された部分の文書と付加情報を合わせて表示
する手段は、画面への表示を行う。このようにして、文
書の付加情報に基づいて検索し、検索結果を表示する。

【００１３】

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。ここでは、手書きメモを含んだ文書が扱
え、ペンで主な入力や操作を行うペンベースコンピュー
ティングシステムについて述べる。図２は、ペンベース
コンピューティングシステムの外観である。２０１は本
体であり、薄型である。２０２は液晶の表示部であり、
手書きメモを含んだ文書の表示を行う。２０３はペンで
あり、表示部２０２上で動かすことにより、文書中に手
書きメモを書いたり、ジェスチャで操作の指示をしたり
する。このように、あたかも紙と鉛筆のような外観を持
つ。

【００１４】図２は、ペンベースコンピューティングシ
ステムの機能ブロック図である。１０１は文書と文書に
対する付加情報（手書きメモ）とを対応させて格納する
記憶装置である。１０１は１０２、１０３、１０４とい
った他の部分（機能）から必要に応じて参照される。１
０２はある条件を満たす付加情報（手書きメモ）の検索
を行う部分である。すなわち、１０２は１０１を参照し
ながら、文書中で条件に合う手書きメモのある所を検索
する。１０３は、検索された部分の大きさとその文書内
の位置と表示可能な画面の大きさから表示する部分を決
定する部分である。すなわち、１０３は１０２で検索さ
れた手書きメモの位置や大きさと実際に表示部２０２上
に表示する大きさを考慮して、文書中の表示する範囲を
決定する。１０４は決定した部分の文書と付加情報（手
書きメモ）を合わせて表示する部分である。すなわち、
１０３で決定した範囲を１０１内の文書と文書に対する
付加情報のデータに基づいて表示部２０２上に表示す
る。

【００１５】図３は、文書と文書に対する付加情報（手
書きメモ）との記憶装置１０１において、手書きメモを
含む文書がどのように格納されているかを示したデータ
の構成図である。３０１から３０３はおのおの文書一頁
分のデータを表す構造体である。それぞれは３つの部分
に分けられている。３０１１、３０２１、３０３１は次
ページの構造体を指すポインタである。例えば、３０１
１は構造体３０２を、３０２１は構造体３０３をそれぞ
れ指している。３０３１がＮＵＬＬになっているのは次
ページがないことを表している。３０１２、３０２２、
３０３２は各ページの文字データを指すポインタであ
る。例えば、３０１２は文字データ３０４を、３０２２
は文字データ３０６を、３０３２は文字データ３０８を
それぞれ指している。３０１３、３０２３、３０３３は
各ページのイメージデータを指すポインタである。例え
ば、３０１３はイメージデータ３０５を、３０２３はイ
メージデータ３０７を、３０３３はイメージデータ３０
９を指している。３０４、３０６、３０８は先に述べた
ように各ページの文字データを格納するエリアであり、
一ページ分の文字コードが格納されている。３０５、３
０７、３０９は先に述べたように各ページのイメージデ
ータを格納するエリアであり、ビットマップ形式で一ペ
ージ分のイメージデータが格納されている。ここに手書
きメモの情報が格納される。以上述べたように、各ペー
ジのデータは文字データとイメージデータに分けて格納
されている。表示の際には、文字データをフォントを用
いてビットマップ形式にしたものと、イメージデータを
ビットマップの各点に関して合成（論理和）される。こ
の様子を図示したものが第８図である。８０３が文字デ
ータであり、８０２がイメージデータである。そして、
表示データ８０１に示されているように文字データ８０
３とイメージデータ８０２が合成されたものが表示され
る。

【００１６】電子メールのような電子的な文書は、行数
でページ毎に分割して順に３０４、３０６、３０８に格
納される。そして、それぞれの内容が液晶の表示部２０
２に表示されていてメモ書き入力モード時にペン２０３
を２０２上で動かすと、ペンの軌跡を点としてビットマ
ップデータをつくり、イメージデータに格納する。この
時、表示されている文字データに対応するイメージデー
タ（３０４なら３０５、３０６なら３０７、３０８なら
３０９）に格納される。この時、電子メールのように完
成した文書は、後で内容を修正しない。すなわち、メー
ルを送信するまでの入力／修正は電子メールの文書その
ものに対して行なわれ、送信後に行なわれるものは付加
情報である手書きメモとして格納される。

【００１７】図４は、ある条件を満たす付加情報（手書
きメモ）の検索１０２の処理手順を示すフローチャート
である。以下で、処理の手順を詳しく述べる。「ページ
ポインタ」に現在表示しているページの構造体をセット
する（ステップ４０１）。「イメージポインタ」に「ペ
ージポインタ」の指す構造体のイメージをセットする
（ステップ４０２）。これら「ページポインタ」と「イ
メージポインタ」は、それぞれ、現在検索しているペー
ジとイメージデータを指している。次に、「イメージポ
インタ」の指すイメージより、手書きメモを検索する
（ステップ４０３）。このとき、イメージデータ内にデ
ータが格納されていて、データ内に点があれば検索でき
たとする。そして、検索できたかどうかを調べ（ステッ
プ４０４）、検索されたときはステップ４０５へ、検索
されなかったときはステップ４０７へ進む。ステップ４
０５では検索された手書きメモが条件に合うかどうかを
調べ、合わない時はステップ４０３に戻り他の手書きメ
モを検索し、条件に合うときはステップ４０６に進む。
ステップ４０６では検索された手書きメモの位置を知ら
せる。ステップ４０４で検索できなかったときは、「ペ
ージポインタ」に「ページポインタ」の指す構造体の次
ページをセットする（ステップ４０７）。そして、「ペ
ージポインタ」がＮＵＬＬがどうかを調べ（ステップ４
０８）、ＮＵＬＬであれば、検索できなかった場合であ
り、ＮＵＬＬでなければステップ４０２へ行き、次ペー
ジで検索を行う。以上述べたように、１０１に格納され
ている図３で示したデータに基づいて手書きメモの検索
を行う。

【００１８】ステップ４０５で述べた、検索された手書
きメモが条件に合うかどうかを調べる方法について詳し
く述べる。この条件は色々な種類がある。一つ目は、手
書きメモと現在表示されている部分との文書中の相対位
置関係である。これは、文書の初めのページから後のペ
ージに向かって順に検索していく時などに用いられる。
この条件が満たされるかどうかは、ステップ４０３で検
索された点が現在２０２に表示されている部分と特定の
相対関係（現在表示されている部分より後または前、現
在表示されているページより後または前）を満たしてい
るかどうかで判定する。

【００１９】二つ目は、ある程度の大きさの手書きメモ
であるかどうかである。これは、ペンのミスタッチによ
り不用意に書かれてしまった小さな手書きメモと区別す
るために用いられる。この条件が満たされているかどう
かは、ステップ４０３で検索された点を含むビットマッ
プ上のある大きさの領域（例えば、左右１００、上下１
００）に点が一定値（例えば２０）以上あるかどうかで
判定する。

【００２０】三つ目は、メモ書きが特定の位置にあるか
どうかを調べる。これは、チェックすべき点があるペー
ジの右上にチェックマークを書いておいた場合などに用
いる。この条件が満たされているかどうかは、ステップ
４０３で検索された点がページ上の特定の場所（例え
ば、右上角から左右１００、上下１００以内）にあるか
どうかで判定する。

【００２１】四つ目は、メモ書きされているメモが特定
の形かどうかを調べる。これは、チェックすべき内容に
よってメモの形状を変えている時に、特定のチェック内
容だけを検索する時などに用いる。この条件が満たされ
ているかどうかは、ステップ４０３で検索された点を含
むビットマップ上の領域の点が、別に用意してあるビッ
トマップの点と一定以上の割合い（例えば７０％）以上
で共通かどうかで判定する。以上述べた条件は、複数組
み合わされることもある。

【００２２】また、図４では、後のページに向かって検
索する方法を述べたが、ステップ４０７で「ページポイ
ンタ」に前のページの構造体をセットすれば、前のペー
ジに向かって検索して行くことができる。さらに、ステ
ップ４０５において、検索された手書きメモが別に与え
られた手書きメモと類似しているかどうかを検査すれ
ば、特定の手書きメモのある所だけを検索することがで
きる。また、ステップ４０５において手書きメモが一定
以上の大きさであるかを検査すれば、過ってちょっとつ
いた点程度の手書きメモを検索結果から外すことができ
る。表示部２０２は、一ページを全部一度に表示でき
る。そのため、検索された部分の大きさとその文書内の
位置と表示可能な画面の大きさから表示する部分の決定
１０３では、検索された手書きメモがある一ページ全部
を表示範囲とする。

【００２３】図５は、決定した部分の文書と付加情報
（手書きメモ）合わせて表示１０４の処理手順を表すフ
ローチャートである。以下、処理の手順を詳しく述べ
る。「ページポインタ」に表示する文書の１ページ目の
構造体をセットする（ステップ５０１）。”「ページポ
インタ」に「ページポインタ」の指す構造体の次ページ
をセットする。”を表示するページ−１回繰り返す（ス
テップ５０２）。こうすることにより、「ページポイン
タ」に表示するページの構造体をセットする。続いて、
「ページポインタ」の指す構造体の文字を文字データを
フォントを用いてビットマップ形式にして液晶の表示部
２０２に表示する（ステップ５０３）。「ページポイン
タ」の指す構造体のイメージを液晶の表示部２０２に表
示する（ステップ５０４）。このとき、文字データをフ
ォントを用いてビットマップ形式にしたものと、イメー
ジデータをビットマップの各点に関して合成（論理和）
して表示する。以上述べたように、表示するページの文
字とイメージを合わせて表示する。また、表示を行うと
き、検索された手書きメモを他の部分と色違いで表示す
ると、検索された部分が明確になる。以上で、手書きメ
モを検索し、表示する方法について述べた。続いて、こ
の検索と表示を指示する方法について述べる。本実施例
ではジェスチャを用いて指示を行う。

【００２４】図６を用い、ペンの動作であるジェスチャ
とペンベースコンピューティングシステムの動作につい
て詳しく説明する。６０１、６０２と６０５は表示部２
０２の一部である。６０３、６０４と６０６はジェスチ
ャであり、ペンの動きを表しており、点線の矢印はペン
の動きを表している。この６０３と６０４のジェスチャ
は動作の始めの部分と終りの部分が同じである。表示部
２０２に文書のあるページが表示されている時に６０３
のジェスチャが行なわれると、本ペンペースコンピュー
ティングシステムでは、現在表示されているページの次
のページ図５に示したアルゴリズムにより表示する。ま
た、６０４のジェスチャが行なわれると、現在表示され
ているページから後のページにある手書きメモを図４に
示したアルゴリズムにより検索し、その手書きメモを含
んだページを図５に示したアルゴリズムにより表示す
る。このように、二つのジェスチャを似たものにするこ
とにより、次の手書きメモを検索して表示する動作の切
替えにあまり負担を書けなくて済む。

【００２５】また、次の手書きメモの検索して表示の指
示のジェスチャをジェスチャ６０６のように、次ページ
の表示指示ジェスチャ６０３を二度繰り返したものとす
ることも考えられる。この場合も、二つのジェスチャの
動作の切替えにあまり負担をかけなくて済む。すなわ
ち、良く交互に使われるジェスチャを似たものとするこ
とにより、ジェスチャの切替えにあまり負担をかけずに
すむ。以上述べたように、本実施例によれば、文書中か
ら手書きメモのある部分を検索し、表示することができ
る。

【００２６】以下、本発明の別な実施例を図面に基づい
て説明する。ここでは、前の実施例と手書きメモを含ん
だ文書の異なる扱い方について述べる。ペンベースコン
ピューティングシステムの外観とペンベースコンピュー
ティングシステムの機能ブロック図は、先の実施例で述
べたものと同じである。図７は、文書と文書に対する付
加情報（手書きメモ）の格納１０１で、手書きメモを含
む文書がどのように格納されているかを示したデータの
構成図である。７０１と７０２、７０３と７０４、７０
５と７０６の各組がそれぞれ一頁分のデータを表す構造
体である。７０１、７０２、７０３は次ページの構造体
を指すポインタである。例えば、７０１は７０３と７０
４からなる構造体、７０３は７０５と７０６からなる構
造体をそれぞれ指している。７０２、７０４、７０６は
それぞれ各ページのデータをイメージで持っている。す
なわち、文字情報もビットマップに展開され、イメージ
として格納される。このとき、電子メールなどの文書は
黒色で格納される。一方、手書きメモは赤色で格納され
る。このように手書きメモを色違いで格納すれば、ある
条件を満たす付加情報（手書きメモ）の検索１０２で
は、赤色のデータに関して前の実施例で述べたような検
索を行なえばよい。また、決定した部分の文書と付加情
報（手書きメモ）を合わせて表示１０４では、すべての
色のデータを表示すればよい。このようにして、前の実
施例と同様な効果が得られる。以上述べたように、本実
施例によれば、文書中から手書きメモのある部分を検索
し、表示することができる。

【００２７】

【発明の効果】本発明によれば、手書きメモを含んだ文
書において、手書きメモが書かれた部分を容易に検索す
ることができる。

【図面の簡単な説明】

【図１】本発明の実施例の機能ブロック図である。

【図２】ペンベースコンピューティングシステムの外観
図である。

【図３】手書きメモを含んだ文書のデータ構成図であ
る。

【図４】手書きメモが書かれた部分の検索を行う処理手
順のフローチャートである。

【図５】手書きメモが書かれた文書の表示を行う処理手
順のフローチャートである。

【図６】ジェスチャを説明する図である。

【図７】手書きメモを含んだ文書のデータ構成図であ
る。

【図８】表示データの合成を説明する図である。

【符号の説明】

１０１−１０３：機能ブロック、２０１：本体、２０
２：表示部、２０３：ペン、３０１−３０３：構造体、
３０１１、３０２１、３０３１：次ページの構造体への
ポインタ、３０１２、３０２２、３０３２：文字データ
へのポインタ、３０１３、３０２３、３０３３：イメー
ジデータへのポインタ、３０４、３０６、３０８：文字
データ、３０５、３０７、３０９：イメージデータ、４
０１−４０８：ステップ、５０１−５０４：ステップ、
６０１、６０２、６０５：表示部２０２の一部、６０
３、６０４、６０６：ジェスチャ。７０１、７０３、７
０５：次ページ構造体へのポインタ、７０２、７０４、
７０６：色付きイメージデータ、８０１：表示データ、
８０２：イメージデータ、８０３：文字データ。

Claims

【特許請求の範囲】

【請求項１】文書と文書に対する付加情報とを格納する
手段と、ある条件を満たす付加情報を検索する手段と、
検索された部分の大きさとその文書内の位置と表示可能
な画面の大きさから表示する部分を決定する手段と、決
定された部分の文書と付加情報を合わせて表示する手段
とからなることを特徴とする文書検索装置。
【請求項２】ある時点以前の情報を文書に、ある時点以
後の情報を付加情報に格納することを特徴とする請求項
１に記載の文書検索装置。
【請求項３】付加情報とは手書きメモであることを特徴
とする請求項１または請求項２に記載の文書検索装置。
【請求項４】文書と付加情報は別の層に格納されてお
り、表示する時は二層の情報を重ねて表示することを特
徴とする請求項１から３のいずれかに記載の文書検索装
置。
【請求項５】付加情報の表示属性は文書には用いられな
いものであることを特徴とする請求項１から３のいずれ
かに記載の文書検索装置。
【請求項６】表示属性とは色であることを特徴とする請
求項５に記載の文書検索装置。
【請求項７】ある条件とは、現在表示されている部分の
後にある手書きメモであることを特徴とする請求項２か
ら請求項６のいずれかに記載の文書検索装置。
【請求項８】ある条件とは、現在表示されている部分の
前にある手書きメモであることを特徴とする請求項２か
ら請求項６のいずれかに記載の文書検索装置。
【請求項９】ある条件とは、現在表示されている頁より
後の頁にある手書きメモであることを特徴とする請求項
２から請求項６のいずれかに記載の文書検索装置。
【請求項１０】ある条件とは、現在表示されている頁よ
り前の頁にある手書きメモであることを特徴とする請求
項２から請求項６のいずれかに記載の文書検索装置。
【請求項１１】ある条件とは、別に指定された手書きメ
モと類似していることであることを特徴とする請求項２
から請求項６のいずれかに記載の文書検索装置。
【請求項１２】ある条件とは、手書きメモの大きさが一
定値以上であることを特徴とする請求項２から請求項６
のいずれかに記載の文書検索装置。
【請求項１３】検索された手書きメモを文書中の他の色
と異なる色で表示することを特徴とする請求項２から請
求項６のいずれかに記載の文書検索装置。
【請求項１４】検索された手書きメモを含む頁全体を表
示することを特徴とする請求項２から請求項６のいずれ
かに記載の文書検索装置。
【請求項１５】現在表示されている部分から、ある条件
に従って次に検索される手書きメモがある所の表示を、
表示画面上でのペンの特定な動きであるジェスチャで指
示でき、その指示があったときに請求項２から請求項１
４に記載のいずれかの文書検索装置で検索、表示を行う
ことを特徴とするペンベースコンピューティングシステ
ム。
【請求項１６】次頁の表示を指示するジェスチャと、次
の手書きメモがある所の表示を指示するジェスチャのそ
れぞれのジェスチャを成すペンの動きの始まり同士と終
わり同士の方向が同一であることを特徴とする請求項１
５に記載のペンベースコンピューティングシステム。
【請求項１７】次頁の表示を指示するジェスチャと、次
の手書きメモがある所の表示を指示するジェスチャを成
すペンの動きの始まりの部分が同一であることを特徴と
する請求項１５に記載のペンベースコンピューティング
システム。
【請求項１８】次頁の表示を指示するジェスチャと、次
の手書きメモがある所の表示を指示するジェスチャを成
すペンの動きの終りの部分が同一であることを特徴とす
る請求項１５に記載のペンベースコンピューティングシ
ステム。
【請求項１９】次の手書きメモがある所の表示を指示す
るジェスチャは、次頁の表示を指示するジェスチャを複
数回繰り返したものであることを特徴とする請求項１５
に記載のペンベースコンピューティングシステム。