JP3265198B2 - 構造化文書作成装置、構造化文書作成方法、通信装置、および通信方法 - Google Patents

構造化文書作成装置、構造化文書作成方法、通信装置、および通信方法

Info

Publication number
JP3265198B2
JP3265198B2 JP24948796A JP24948796A JP3265198B2 JP 3265198 B2 JP3265198 B2 JP 3265198B2 JP 24948796 A JP24948796 A JP 24948796A JP 24948796 A JP24948796 A JP 24948796A JP 3265198 B2 JP3265198 B2 JP 3265198B2
Authority
JP
Japan
Prior art keywords
symbol
page
image information
pages
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24948796A
Other languages
English (en)
Other versions
JPH1097608A (ja
Inventor
達夫 坂東
Original Assignee
松下電送システム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下電送システム株式会社 filed Critical 松下電送システム株式会社
Priority to JP24948796A priority Critical patent/JP3265198B2/ja
Publication of JPH1097608A publication Critical patent/JPH1097608A/ja
Application granted granted Critical
Publication of JP3265198B2 publication Critical patent/JP3265198B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、イメージ情報を文
書として扱うために構造化文書を作成する装置に関す
る。
【0002】
【従来の技術】近年、インターネットを代表とするネッ
トワークの進歩によりネットワークから容易に情報を取
り出すことが可能となった。特にインターネットで用い
られているHTML(Hyper Text Mark
up Language)記述による情報の構造化によ
って、操作性において非常に優れたブラウザ(情報検索
用のアプリケーションソフトウェア)の普及につながる
こととなった。このためパーソナルコンピュータにて文
書情報にとどまらず、音声や動画などを入力装置を構造
化して格納する様々な方式が利用されている。ここで構
造化とはリンク構造とか階層構造などにすることを意味
する。しかしイメージ情報のように構造化しにくい情報
も存在しこれらはひとつの固まりのファイル単位として
扱われることが多く、イメージ内部を構造化するために
は膨大な手間ひまがかかるのが現状である。
【0003】
【発明が解決しようとする課題】紙に記載されている既
存の文書を構造化する場合、OCR装置でキャラクタに
変換するか、キーボードより入力するなどして構造化す
るが、人手をわずらわす。また、スキャナでイメージ化
してもそれをいくつかに分割し、構造化することが困難
である。
【0004】本発明は上述の問題点に鑑みてなされたも
ので、既存文書をイメージ情報として、簡単に構造化す
ることを目的とする。
【0005】
【課題を解決するための手段】本発明のイメージ情報の
構造化文書作成装置では、関連する2つの頁に同一のシ
ンボルを表示したイメージ情報からシンボルとその位置
を読み取り、同一シンボルを有する頁を連結したリンク
テーブルを作成し、このリンクテーブルを用いて前の頁
のシンボルを指示すると関連する後の頁にアクセスする
ように構造記述言語で構造化文書を作成する。この発明
によれば、イメージ情報でも各頁にシンボルを付するこ
とにより構造化文書を得ることができる。
【0006】
【発明の実施の形態】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】以下本発明の実施の形態について図面を参
照して説明する。図1は本発明を構成する装置のブロッ
ク図である。制御部1は全体を制御する。通信制御部2
は電話回線等と接続し、ファクシミリ通信、インターネ
ット等のコンピュータネットワークとの通信を制御す
る。操作パネル3はタッチキーと表示パネルを有し、入
力および入力したデータや出力するデータなどの表示を
行う。スキャナ部4は原稿や文書などを読み込みイメー
ジデータを出力する。プリンタ部5は受信したデータや
スキャナ部4で読み込んだデータなどの印刷を行う。シ
ンボルマーク格納部7は受信したファクシミリデータや
スキャナ部4で読み込んだデータに表示されたシンボル
を格納する。リンクテーブル格納部8は文書のイメージ
情報の各頁に表示されたシンボルとその位置およびその
シンボルに関連する頁とを記載するテーブルである。
【0033】図2は各実施の形態で使用する文書のサン
プルを示す。5頁の文書よりなり1頁目は目次として用
いられ、目次の「インタネット」「使い方」「カタロ
グ」の各項目毎にシンボル◎,●,★が付されている。
2頁は「インタネット」の題目とシンボル◎およびイン
タネットの説明分が記載され、さらにその中に「イント
ラナット」の表示とそのシンボル◆が記載されている。
3頁は「使い方」の題目とそのシンボル●および使い方
の説明分が記載されている。4頁は3頁とほぼ同様の形
式となっている。5頁は2頁に表れた「イントラネッ
ト」の題目とそのシンボル◆および説明分が記載されて
いる。このように同一のシンボルが題目を表す頁とその
題目の内容を表す頁にそれぞれ付されている。
【0034】本発明の第1実施の形態について説明す
る。図3、図4はシンボルテーブルおよびリンクテーブ
ル作成の動作フロー図である。図2で示した5頁の文書
をスキャナ部4で読み取り(S1)、このイメージデー
タをイメージ格納部6にGIFファイル形式(通信に便
利なサイズの小さいイメージファイル用フォーマット)
で格納する(S2)。シンボルを表すに当たり、色で表
す場合と、形状で表す場合がある。図5、図6はシンボ
ルテーブルを示し、図5はシンボルを色で表した場合、
図6はシンボルを形状で表した場合を示す。シンボルを
色で表す場合は図5に示すようにシンボルの色とドット
数および大きさで表す。形状で表す場合は図6に示すよ
うに形状を表す。シンボルが色で表されている場合は、
この色を検出し(S3)、形状で表されている場合は形
状を検出してシンボルを認識する(S4)。認識したシ
ンボルはシンボルマーク格納部7に図5、図6に示すシ
ンボルテーブルの形で登録されていれば、そのままと
し、登録されていなければ(S5)、シンボルの登録を
する(S6)。
【0035】次にシンボルの位置を認識する(S7)。
シンボルの位置の表示方法は色々あるが、本実施の形態
ではシンボルの中心座標と、その中心座標を中心として
シンボルが入る大きさの円を描いた場合の半径で表す。
このシンボルとシンボルによってリンクされた頁のデー
タを示すテーブルをリンクテーブルと称し、図7、図8
に文書の各頁とこの頁に対応したリンクテーブルを示
す。図7では上から順に1〜3頁が示され、図8では上
から4頁、5頁が示されている。
【0036】図7の上段左側はファイルIMAGE0
0.GIFに格納された文書の1頁目のイメージデータ
を示す。文書のイメージデータは各頁ごとに1つのファ
イルに格納される。ファイル名は1頁より5頁まで順に
IMAGE00.GIF〜IMAGE04.GIFとし
てある。各頁のイメージデータに対応してリンクテーブ
ルが作成されリンクテーブル格納部8に格納される。リ
ンクテーブルはページ、シンボル、アドレス、領域およ
びリンク先の欄があり、ページの欄には1ページから順
に数えて、そのページで始めて表れたシンボルがある場
合、そのシンボルの表れたページを記載する。1頁目で
は3つのシンボルが始めて表れているので、ページの欄
に1ページを記入し、シンボルの欄に3つのシンボルを
記入する。アドレスの欄はシンボルの中心座標を表し、
領域の欄はシンボルの中心座標を中心にシンボルを包ん
で描いた円の半径を示す。リンク先の欄は同じシンボル
が表れた頁のファイル名を記入する。
【0037】2頁目のリンクテーブルでは2頁目に初め
て表れたシンボル◆のデータが記入されているが、更に
シンボル○のデータも記入されている。シンボル○は後
述するように1頁目に戻るために2頁〜5頁のイメージ
データに付加したシンボルでリンク先は1頁目のファイ
ル名が記載されている。3〜5頁目はいずれも始めて表
れるシンボルはないので戻りのシンボルだけであり、全
て同じデータとなっている。このようにして1頁目のリ
ンクテーブルにはリンク先を除いたデータが記憶される
(S8)。
【0038】図4において、1頁目については前ページ
はないので(S9)、次の2頁に移る(S14)。2頁
では初めて表れたシンボルをリンクテーブルに記憶する
(S8)。2頁のシンボル◎は前ページ(1頁)のリン
クテーブルに有るので(S9)、リンク元の前ページ
(1ページ)のリンク先欄に2頁のイメージデータのフ
ァイル名IMAGE01.GIFを記入する(S1
0)。次に2頁目以降では1頁に戻るためのシンボル○
のデータを記入する(S11)。このシンボル○をクリ
ックすると1頁に戻るようにする。シンボル○の中心座
標をアドレス欄に、半径のデータを領域に記入する(S
12)。またリンク先には1頁に戻るように1頁のファ
イル名IMAGE00.GIFを記入する(S13)。
なお、イメージデータにシンボル○を付加する処理は後
述するHIML言語作成処理で行う。3頁および4頁の
場合は1頁のリンクテーブルのリンク先の欄にそれぞれ
の頁のイメージデータのファイル名を記入し(S1
0)、自己のリンクテーブルには戻りシンボル○のデー
タを記入する(S11〜S13)。5頁の場合は2頁の
リンクテーブルのシンボル◆のリンク先欄に5頁のイメ
ージデータのファイル名IMAGI04.GIFを記入
し(S10)、自己のリンクテーブルには戻りシンボル
○のデータを記入する(S11〜S13)。以上により
シンボルテーブルとリンクテーブルの作成が終了し、こ
のデータを用いてHTML言語で文書の各頁とリンクす
る構造化文書を作成する(S15)。
【0039】図9はシンボルによりリンクされた各頁の
関係を示す図である。1頁に表示されたシンボル◎●★
によって2〜4頁が1頁にリンクされ、2頁に表示され
たシンボル◆によって5頁が2頁にリンクされている。
また2〜5頁には1頁に戻るシンボル○が設けられてい
る。1頁のシンボルをクリックすることにより各シンボ
ルに対応した2〜4頁のファイルにアクセスし、2頁の
シンボル◆をクリックすることにより5頁のファイルに
アクセスする。また2〜5頁のシンボル○をクリックす
ることにより1頁に戻る動作をする構造化文書をHTM
L言語で作成する方法を以下に説明する。
【0040】図10、図11は図4に示したHTML言
語作成処理の動作フロー図である。HTML言語にはク
リッカブルマップというプログラムがあり、これはイメ
ージのいろいろな部分にリンク可能領域を設定して、1
つのイメージから複数のファイルにアクセスできるもの
である。この表示は次のようになる。 〈A HREF=“マップファイル名.MAP”〉 〈IMG SRC=“イメージファイル名.GIF ISMAP”〉…(1) ここでイメージファイル.GIFは図7、図8で示した
ように文書をスキャナ部4で読み込んだ際に各頁ごとに
作成されている。しかしまだ戻りシンボル○は付加され
ていない。マップファイル.MAPは図7、図8に示し
た各頁のリンクテーブルに記載されたシンボルの位置と
そのシンボルの対応する頁のHTMLファイル、つまり
(1)式で示す構造化文書を表すファイルで、.HTM
(or.HTML)という拡張子がつく。本実施の形態
ではマップファイル.MAPをFILE00.MAP〜
FILE04.MAP、HTMLファイルをHOME0
0.HTM〜HOMEO4.HTMとする。なお、イメ
ージファイル名.GIFはIMAGE00.GIF〜I
MAGE04.GIFとして既に作成されている。
【0041】図10は各頁ごとにHOMEN.HTMフ
ァイルを作成するフロー図である。Nは各頁ごとに各フ
ァイル付する番号00〜04を代表して表した値であ
る。まずN=0として1頁目のHOME00.HTMの
作成に入る(S20)。ステップS21はHOME.H
TMファイルの標準を示し、各頁毎にタイトル名とFI
LEN.MAP,IMAGEN.GIFのNの値を代入
すれば各頁ごとのHOME.HTMファイルが完成す
る。ステップS21に示した標準の構造化文書はタイト
ル名と(1)式をHTML言語で表した単純なプログラ
ムである。つまり両端を〈HTML〉と〈/HTML〉
で挟み、タイトルを表すため〈HEAD〉を記載し、タ
イトル名を〈TITLE〉と〈/TITLE〉で挟む。
次に(1)式を〈BODY〉と〈/BODY〉で挟んだ
ものである。
【0042】文書の1頁目を読み取ったイメージデータ
をOCR認識してタイトル名にする。この場合「インタ
ネットFAX」とする(S22)。FILEN.MAP
とIMAGEN.MAPのNを00とする(S23)。
これにより完成したファイルをファイル名HOME0
0.HTMで保存する(S24)。図12のHOME0
0.HTMはこのようにして作成したファイルを示す。
【0043】図11において、1頁の各シンボルについ
てステップS25で示す表示は各シンボルの座標と半径
およびこのシンボルとリンクする頁のHOME.HTM
ファイルの存在場所を示す。すなわちX,Yはシンボル
の座標、Zはシンボルを囲む円の半径、HTTPはハイ
パーテキスト転送プロトコルの略でこれに続くファイル
はWWWサーバ用のファイルであることを示している。
SITE−NAMEは後述する完成したファイルを転送
するWWWサーバのサイト名を表し、そのサイトにHO
ME.HTMファイルが格納されていることを示す。各
シンボルのX,Y,ZとN=00を代入し(S26)、
これを1頁の3つのシンボルについて全て行う(S2
7)。図12の中段に示すFILE00.MAPはこの
ようにして作成されたファイルを示す。下段のIMAG
E00.GIFは1頁をスキャナ部4で読み取ったイメ
ージデータを示している。図12に示す3つのファイル
の完成により1頁目の構造化文書は完成する。
【0044】2頁〜5頁の場合は1頁に戻るシンボル
「○」を各頁のIMAGEM.GIFファイルに格納さ
れたイメージデータに付加する(S28)。図13の下
段のIMAGE01.GIFは戻りシンボル「○」を付
加した状態を示す。シンボル○の中心座標を(a5,b
5)で示し、○を囲む半径C1の円を破線で示す。なお
イントラネットのシンボル◆とその中心座標(a4,b
4),半径C1も示している。この戻りシンボル○が表
す戻るべきファイル名HOME00.HTMを示す。ス
テップS29の表示を付加する。これにより2頁の場合
FILE01.MAPが完成しその名称でファイルを保
存する(S30)。図13の中段はFILE01.MA
Pを示す。図13の3つのファイルの完成により2頁目
の構造化文書が完成する。2頁目が終了すればN=02
として3頁目に移り(S31)、最後の5頁まで同様の
処理をする。図14は3頁目の、図15は4頁目の、図
16は5頁目の構造化文書を示す。このようにして作成
された各頁3つのファイル、HOMEN.HTM,FI
LEN.MAP,IMAGEN.GIFを対にしてWW
Wサーバに転送する(S33)。
【0045】次にシンボルの付加方法について説明す
る。図17は文書の各頁にシンボルをスタンプで押す場
合を示す。この場合、スタンプインキとして一定時間が
経過すると消えるインキを用いれば文書を汚さないので
便利である。なお、スタンプの替わりにシンボルを表し
たシールを貼り付けるようにしてもよい。そしてスキャ
ナーで読み取り後にシールを剥がすようにする。
【0046】図18はシンボルとして色を用いた場合を
示す。図ではスタンプの形状も示しているが、図5で説
明したように色でシンボルを識別する場合は、色とドッ
ト数と大きさのみを対象としている。この場合も時間が
経過すると消えるインキを用いるとよい。
【0047】図19はスタンプで押したシンボルの形状
を装置に内蔵した別のシンボルに置換する場合を示す。
置換するシンボルはなじみのあるものにするとよい。
【0048】図20は文書にシンボルを付けないでイメ
ージデータとして読み込み、表示装置で表示して画面上
でシンボルを付加する場合を示す。このようにすると元
の文書にシンボルを付ける必要がないので文書が汚れな
い。
【0049】図21は事前の登録した意味内容に対応す
る特別なシンボルを認識するようにする場合を示し、例
えば秘密扱いの頁にまる秘のシンボルを押印する。この
頁についてはパスワードを要求し、パスワードが合致し
た場合のみその頁にアクセスできるようにする。
【0050】図22は事前にシンボルの設定エリアを定
めておく場合を示し、これにより紙面全体から抽出する
よりシンボルの認識精度と速度が向上する。
【0051】次に第2実施の形態について説明する。本
実施の形態は図1に示すイメージ格納部6に格納された
シンボルが付されたイメージデータを印刷する場合、シ
ンボルを除去して印刷する場合である。イメージ格納部
6に格納されたイメージデータは、スキャナ部4で読み
取ったデータ、または通信制御部2でファクシミリ通信
により受信したデータなどである。
【0052】図23は本実施の形態の動作フロー図を示
す。イメージ格納部6により印刷しようとするイメージ
データの1ページ目を読出し(S40)、次にシンボル
の座標点を取り出し(S41)、そのシンボルの存在部
領域のデータ削除を行う(S42)。このように削除し
た後、そのページの印刷を行う(S43)。次のページ
があるか調べ(S44)、あればステップS40〜S4
3の動作を繰り返し、ページ終了まで行う。これにより
シンボルを付加してない文書の印刷が得られる。
【0053】次に第3実施の形態について説明する。本
実施の形態はシンボルが原文の文字や絵の部分と重なり
判別が困難な場合にも確実に判別する方法を示すもので
ある。本実施の形態では、イメージデータはシンボルを
付加されていない状態でイメージ格納部6に格納されて
おり、このイメージデータに、例えば図20で説明した
ように画面表示してシンボルを付加した後、シンボルの
認識や位置の確認をし、構造化文書作成手順に入る。
【0054】図24は本実施の形態の動作フロー図であ
る。イメージデータを入力する(S50)。イメージデ
ータはスキャナ部4からの読み込みやファクシミリ受信
により得られる。入力したデータはイメージ格納部6に
格納される(S51)。この格納したイメージデータを
読み出して上述の方法でシンボルを付加し(S52)、
再度そのイメージデータを入力して(S53)、ビット
マップ化する(S54)。一方イメージ格納部6よりシ
ンボルの付加されていないイメージデータを読出しビッ
トマップ化する(S55)。シンボルを付加したイメー
ジデータと付加しないイメージデータのビットマップ化
データの差分を抽出することによりシンボルのみを確実
に抽出する(S56)。抽出されたシンボルとその座標
の認識を行い(S57)、第1実施の形態の図3、図4
で示す構造化文書作成の手順に入る(S58)。本実施
の形態によりシンボルと原文の文字や絵とが重なっても
精度よくシンボルを認識することができる。
【0055】以上の実施の形態ではイメージデータをシ
ンボルにより連結する場合について説明したが、シンボ
ルとこれらに対応する見出し文書をOCR認識し、シン
ボルを介して関連するページをテーブル化して対応づ
け、HTML言語で記載して構造化文書を作成すること
もできる。以上、詳細に説明したように、本発明では、
関連する2つの頁に同一のシンボルを表示した複数頁の
文書をイメージ情報として読み取る読取手段と、このイ
メージ情報の前記シンボルとその位置を認識するシンボ
ル認識手段と、前記シンボルとその位置および同一のシ
ンボルを有する後の頁を連結して記載したリンクテーブ
ルを作成するリンクテーブル作成手段と、前の頁のシン
ボル領域とこのシンボルと同一のシンボルを有する後の
ページを前記リンクテーブルを用いて連結し前の頁のシ
ンボルを指示するとこのシンボルと連結した頁にアクセ
スするように構造記述言語で記載した構造化文書を作成
する文書作成手段とを備える。関連する2つの頁に同一
のシンボルを表示した複数頁の文書をイメージ情報とし
て読み取り、このシンボルとそのシンボルの位置を認識
し、このシンボルとその位置および同一のシンボルを有
する後の頁を記載したリンクテーブルを作成する。この
リンクテーブルを用いて前の頁のシンボルを指示すると
このシンボルと同一のシンボルを有する後の頁にアクセ
スするように構造記述言語で記載した構造化文書を作成
する。また、本発明では、複数頁の文書をイメージ情報
として取り込むイメージ情報入力手段と、この入力した
イメージ情報を画面表示する表示手段と、表示されたイ
メージ情報の関連する2つの頁に同一のシンボルを付加
するシンボル付加手段と、前記シンボルとその位置を認
識するシンボル認識手段と、前期シンボルとその位置お
よび同一のシンボルを有する後の頁を連結して記載した
リンクテーブルを作成するリンクテーブル作成手段と、
前の頁のシンボル領域とこのシンボルと同一のシンボル
を有する後のページを前記リンクテーブルを用いて連結
し前の頁のシンボルを指示するとこのシンボルと連結し
た頁にアクセスするように構造記述言語で記載した構造
化文書を作成する文書作成手段とを備える。複数頁の文
書をイメージ情報として取り込み、このイメージ情報を
表示手段に 表示し、表示されたイメージ情報の関連する
2つの頁に同一シンボルを付加する。このシンボルとこ
のシンボルの位置を認識し、このシンボルとその位置お
よび同一のシンボルを有する後の頁を記載したリンクテ
ーブルを作成する。このリンクテーブルを用いて前の頁
のシンボルを指示するとこのシンボルと同一のシンボル
を有する後の頁にアクセスするように構造記述言語で記
載した構造化文書を作成する。また、本発明では、関連
する2つの頁に同一のシンボルを表示した複数頁のイメ
ージ情報を出力するファクシミリ部と、このイメージ情
報の前記シンボルとその位置および同一のシンボルを有
する後の頁を連結して記載したリンクテーブルを作成す
るリンクテーブル作成手段と、前の頁のシンボル領域と
このシンボルと同一のシンボルを有する後のページを前
記リンクテーブルを用いて連結し前の頁のシンボルを指
示するとこのシンボルと連結した頁にアクセスするよう
に構造記述言語で記載した構造化文書を作成する文書作
成手段とを備える。関連する2つの頁に同一のシンボル
を表示した複数頁のイメージ情報をファクシミリより入
力し、このシンボルとこのシンボルの位置を認識し、こ
のシンボルとその位置および同一のシンボルを有する後
の頁を記載したリンクテーブルを作成する。このリンク
テーブルを用いて前の頁のシンボルを指示するとこのシ
ンボルと同一のシンボルを有する後の頁にアクセスする
ように構造記述言語で記載した構造化文書を作成する。
また、本発明では、複数頁のイメージ情報を格納する格
納手段と、この格納手段より読み出した複数頁のイメー
ジ情報の関連する2つの頁に同一のシンボルを付加した
イメージ情報と前記格納手段から読み出したイメージ情
報の差分を求め、シンボルを抽出するシンボル抽出手段
と、このシンボル抽出手段の抽出したシンボルの位置を
認識する位置認識手段と、前記シンボルとその位置およ
び同一のシンボルを有する後の頁を連結して記載したリ
ンクテーブルを作成するリンクテーブル作成手段と、前
の頁のシンボル領域とこのシンボルと同一のシンボルを
有する後のページを前記リンクテーブルを用いて連結し
前の頁のシンボルを指示するとこのシンボルと連結した
頁にアクセスするように構造記述言語で記載した構造化
文書を作成する文書作成手段とを備える。 複数頁のイメ
ージ情報を読み出して関連する2つの頁に同一のシンボ
ルを付加しておく。次にシンボルを付けた頁と同一頁の
イメージ情報を読み出して両頁の差分をとりシンボルを
抽出する。このシンボルの位置も求め、このシンボルと
その位置および同一のシンボルを有する後の頁を記載し
たリンクテーブルを作成する。このリンクテーブルを用
いて前の頁のシンボルを指示するとこのシンボルと同一
のシンボルを有する後の頁にアクセスするように構造記
述言語で記載した構造化文書を作成する。これによりシ
ンボルが文字などと重なっていても確実に認識できる。
また、本発明では、前記構造記述言語としてHTML
(Hyper TextMarkup Languag
e)を用いる。インターネットで最も新しい情報システ
ムであるWWW(World Wide Web)上で
情報発信するための言語がHTMLである。このHTM
Lで構造化文書を構成することにより本発明で構造化さ
れた文書をインターネットで処理をすることが可能とな
る。また、本発明では、前記シンボルは既存の文書にス
タンプを用いて表示されたものである。既存の文書の各
頁にスタンプを用いてシンボルを押印することによりシ
ンボルを表示することが容易にかつ確実にできる。ま
た、本発明では、前記同一のシンボルは同一の色で表さ
れている。シンボルを色で区分できるようにすることに
よりシンボル表示が容易にかつ確実になされる。また、
本発明では、前記複数頁のイメージ情報に表示されたシ
ンボルは予め定められた位置に表示されている。文書の
各頁やこの文書のイメージ情報に表示されるシンボルの
位置を予め定めておくことにより認識精度と速度を向上
させることができる。また、本発明では、前記シンボル
は既存の文書に時間が経過すると消えるスタンプ液を用
いて押印されたものである。既存の文書にシンボルをス
タンプなどで押印し、スキャナなどで読み取ってイメー
ジ情報とした後、スタンプに使用したスタンプ液が消え
るので、既存の文書 を汚すことを防止できる。また、本
発明では、前記シンボルは既存の文書にシンボルを表示
したシールを貼りつけたものである。シンボルを表示し
たシールを既存の文書に貼り付けることによりシンボル
の各頁への設定が容易になる。またシールは取り外しも
容易なものを用いることにより既存の文書を汚すことを
防止できる。また、本発明では、前記読取手段で読み取
ったイメージ情報のシンボルを削除して印刷部へ出力す
るシンボル削除手段を設ける。読取手段で読み取ったシ
ンボルを付加したイメージ情報のシンボルをシンボル削
除手段で削除した後、印刷部へ出力することによりシン
ボルの付加されていないイメージ情報の印刷が得られ
る。また、本発明では、前記シンボル認識手段で認識し
たシンボルをこのシンボルと対応して予め登録してある
他のシンボルに置換するシンボル置換手段をさらに備え
る。シンボル認識手段で認識したシンボルをこのシンボ
ルと対応する他のシンボルに置換する。置換するシンボ
ルを親しみのあるものなどにすることにより、使い易い
ものとなる。また、本発明では、前記シンボルの内予め
定めたシンボルに特定の意味を与え、この特定シンボル
を指示されたとき、特定の処理を行うことを操作者に要
求し、その処理を実施後特定シンボルの連結する頁にア
クセスするようにする。所定のイメージ情報に特定シン
ボルを付加し、この特定シンボルを指示されたとき特定
の処理を操作者に要求し、その処理後、特定シンボルに
連結する頁にアクセスするようにする。これにより例え
ば特定シンボルが秘密取扱いを表すようにし、特定の処
理としてパスワードなどを入力した場合、関連する頁へ
アクセスするようにすると、秘密を保持することができ
る。
【0056】
【発明の効果】以上の説明より明らかなように、本発明
は文書やこのイメージデータにシンボルを付加し、この
シンボルを用いて関連する頁をリンクすることにより、
シンボルを指定すると関連する頁にアクセスできるよう
に構造記述言語で構造化文書を作成することができる。
シンボルを付加する方法としてはスタンプを押したり、
シールを貼ったり、またイメージデータを画面に表示
し、画面上で付加する方法がある。シンボルは形状のみ
でなく、色で表すこともできる。スタンプに用いるイン
キは一定時間経過後、消えるものを用いると原文を汚す
ことが防止できる。イメージデータに表示されているシ
ンボルを消去して印刷することができる。またシンボル
を予め定めた位置に付加することによりシンボルの認識
を確実に迅速におこなうことができる。イメージデータ
に表示されているシンボルを親しみやすいシンボルに付
け替えることにより操作し易く誤りも少なくなる。イメ
ージデータにシンボルを付けるものと、付けないものの
差を抽出することによりシンボルが字や絵に重なってい
る場合でもシンボルを確実に認識することができる。
【図面の簡単な説明】
【図1】本発明の各実施の形態に共通する装置のブロッ
ク図
【図2】文書のサンプルを示す図
【図3】第1の形態のシンボルテーブル、リンクテーブ
ル作成の動作フロー図
【図4】図3に続く動作フロー図
【図5】色で表示するシンボルのシンボルテーブルを示
す図
【図6】形状で表示するシンボルのシンボルテーブルを
示す図
【図7】文書の各頁と対応するリンクテーブルを示す図
【図8】図7に続く図で文書の各頁と対応するリンクテ
ーブルを示す図
【図9】シンボルによりリンクされた各頁の関係を示す
【図10】HTML言語作成処理の動作フロー図
【図11】図10に続く動作フロー図
【図12】文書の1頁に対して構成されるファイルを示
す図
【図13】文書の2頁目に対して構成されるファイルを
示す図
【図14】文書の3頁目に対して構成されるファイルを
示す図
【図15】文書の4頁目に対して構成されるファイルを
示す図
【図16】文書の5頁目に対して構成されるファイルを
示す図
【図17】スタンプによりシンボルを表す方法を示す図
【図18】色によってシンボルを表す方法を示す図
【図19】シンボルを置換する方法を示す図
【図20】画面上でシンボルを付する方法を示す図
【図21】特別な意味付けをしたシンボルを示す図
【図22】シンボルの特定エリアを定めておく場合を示
す図
【図23】シンボルを印刷しない場合の動作フロー図
【図24】同一頁でシンボルを付加したイメージデータ
と付加しないイメージデータの差分をとりシンボルを確
実に検出する動作フロー図
【符号の説明】
1 制御部 2 通信制御部 4 スキャナ部 6 イメージ格納部 7 シンボルマーク格納部 8 リンクテーブル格納部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G06T 1/00 200 G06T 1/00 200D (56)参考文献 特開 平10−97522(JP,A) 特開 平9−44383(JP,A) 特開 平7−262207(JP,A) 特開 平9−163107(JP,A) 特開 平9−91301(JP,A) 特開 平9−146719(JP,A) 特開 平9−50443(JP,A) 特開 平7−271818(JP,A) 特開 平4−321183(JP,A) 特開 平8−204947(JP,A) 特開 平11−53168(JP,A) 国際公開99/8207(WO,A1) (58)調査した分野(Int.Cl.7,DB名) G06F 17/30 G06F 17/21 G06T 1/00 JICSTファイル(JOIS)

Claims (28)

    (57)【特許請求の範囲】
  1. 【請求項1】 関連する2つの頁に同一のシンボルを表
    示した複数頁の文書をイメージ情報として読み取る読取
    手段と、このイメージ情報の前記シンボルとその位置を
    認識するシンボル認識手段と、前記シンボルとその位置
    および同一のシンボルを有する後の頁を連結して記載し
    たリンクテーブルを作成するリンクテーブル作成手段
    と、前の頁のシンボル領域とこのシンボルと同一のシン
    ボルを有する後のページを前記リンクテーブルを用いて
    連結し前の頁のシンボルを指示するとこのシンボルと連
    結した頁にアクセスするように構造記述言語で記載した
    構造化文書を作成する文書作成手段とを備えたイメージ
    情報の構造化文書作成装置。
  2. 【請求項2】 複数頁の文書をイメージ情報として取り
    込むイメージ情報入力手段と、この入力したイメージ情
    報を画面表示する表示手段と、表示されたイメージ情報
    の関連する2つの頁に同一のシンボルを付加するシンボ
    ル付加手段と、前記シンボルとその位置を認識するシン
    ボル認識手段と、前記シンボルとその位置および同一の
    シンボルを有する後の頁を連結して記載したリンクテー
    ブルを作成するリンクテーブル作成手段と、前の頁のシ
    ンボル領域とこのシンボルと同一のシンボルを有する後
    のページを前記リンクテーブルを用いて連結し前の頁の
    シンボルを指示するとこのシンボルと連結した頁にアク
    セスするように構造記述言語で記載した構造化文書を作
    成する文書作成手段とを備えたイメージ情報の構造化文
    書作成装置。
  3. 【請求項3】 関連する2つの頁に同一のシンボルを表
    示した複数頁のイメージ情報を入力するファクシミリ部
    と、このイメージ情報の前記シンボルとその位置および
    同一のシンボルを有する後の頁を連結して記載したリン
    クテーブルを作成するリンクテーブル作成手段と、前の
    頁のシンボル領域とこのシンボルと同一のシンボルを有
    する後のページを前記リンクテーブルを用いて連結し前
    の頁のシンボルを指示するとこのシンボルと連結した頁
    にアクセスするように構造記述言語で記載した構造化文
    書を作成する文書作成手段とを備えたイメージ情報の構
    造化文書作成装置。
  4. 【請求項4】 複数頁のイメージ情報を格納する格納手
    段と、この格納手段より読み出した複数頁のイメージ情
    報の関連する2つの頁に同一のシンボルを付加 したイメ
    ージ情報と前記格納手段から読み出したイメージ情報の
    差分を求め、シンボルを抽出するシンボル抽出手段と、
    このシンボル抽出手段の抽出したシンボルの位置を認識
    する位置認識手段と、前記シンボルとその位置および同
    一のシンボルを有する後の頁を連結して記載したリンク
    テーブルを作成するリンクテーブル作成手段と、前の頁
    のシンボル領域とこのシンボルと同一のシンボルを有す
    る後のページを前記リンクテーブルを用いて連結し前の
    頁のシンボルを指示するとこのシンボルと連結した頁に
    アクセスするように構造記述言語で記載した構造化文書
    を作成する文書作成手段とを備えたイメージ情報の構造
    化文書作成装置。
  5. 【請求項5】 前記構造記述言語としてHTML(Hy
    per Text Markup Language)
    を用いたことを特徴とする請求項1ないし4のいずれか
    に記載の構造化文書作成装置。
  6. 【請求項6】 前記シンボルは既存の文書にスタンプを
    用いて表示されたものであることを特徴とする請求項1
    記載の構造化文書作成装置。
  7. 【請求項7】 前記同一のシンボルは同一の色で表され
    ていることを特徴とする請求項1,2,4のいずれかに
    記載の構造化文書作成装置。
  8. 【請求項8】 前記複数頁のイメージ情報に表示された
    シンボルは予め定められた位置に表示されていることを
    特徴とする請求項1ないし4のいずれかに記載の構造化
    文書作成装置。
  9. 【請求項9】 前記シンボルは既存の文書に時間が経過
    すると消えるスタンプ液を用いて押印されたものである
    ことを特徴とする請求項6記載の構造化文書作成装置。
  10. 【請求項10】 前記シンボルは既存の文書にシンボル
    を表示したシールを貼りつけたものであることを特徴と
    する請求項1記載の構造化文書作成装置。
  11. 【請求項11】 前記読取手段で読み取ったイメージ情
    報のシンボルを削除して印刷部へ出力するシンボル削除
    手段を設けたことを特徴とする請求項1記載の構造化文
    書作成装置。
  12. 【請求項12】 前記シンボル認識手段で認識したシン
    ボルをこのシンボルと対応して予め登録してある他のシ
    ンボルに置換するシンボル置換手段をさらに備えること
    を特徴とする請求項1ないし3のいずれかに記載の構造
    化文書作成装置
  13. 【請求項13】 前記シンボルの内予め定めたシンボル
    に特定の意味を与え、この特定シンボルを指示されたと
    き、特定の処理を行うことを操作者に要求し、その処理
    を実施後特定シンボルの連結する頁にアクセスするよう
    にすることを特徴とする請求項1ないし4記載の構造化
    文書作成装置。
  14. 【請求項14】 請求項1ないし13記載の構造化文書
    作成装置と、この構造化文書作成装置で作成した構造化
    文書をサーバに送信する送信部とを備える通信装置。
  15. 【請求項15】 関連する2つの頁に同一のシンボルを
    表示した複数頁の文書をイメージ情報として読み取り、
    読み取ったイメージ情報の前記シンボルとその位置を認
    識し、認識した前記シンボルとその位置および同一のシ
    ンボルを有する後の頁を連結して記載したリンクテーブ
    ルを作成し、前の頁のシンボル領域とこのシンボルと同
    一のシンボルを有する後のページを前記リンクテーブル
    を用いて連結し前の頁のシンボルを指示するとこのシン
    ボルと連結した頁にアクセスするように構造記述言語で
    記載した構造化文書を作成することを特徴とするイメー
    ジ情報の構造化文書作成方法。
  16. 【請求項16】 複数頁の文書をイメージ情報として取
    り込み、取り込んだイメージ情報を画面表示し、表示さ
    れたイメージ情報の関連する2つの頁に同一のシンボル
    を付加し、付加された前記シンボルとその位置を認識
    し、認識した前記シンボルとその位置および同一のシン
    ボルを有する後の頁を連結して記載したリンクテーブル
    を作成し、前の頁のシンボル領域とこのシンボルと同一
    のシンボルを有する後のページを前記リンクテーブルを
    用いて連結し前の頁のシンボルを指示するとこのシンボ
    ルと連結した頁にアクセスするように構造記述言語で記
    載した構造化文書を作成することを特徴とするイメージ
    情報の構造化文書作成方法。
  17. 【請求項17】 関連する2つの頁に同一のシンボルを
    表示した複数頁のイメージ情報をファクシミリ受信し、
    ファクシミリ受信したことより入力したイメージ情報の
    前記シンボルとその位置および同一のシンボルを有する
    後の頁を連結して記載したリンクテーブルを作成し、前
    の頁のシンボル領域とこのシンボルと同一のシンボルを
    有する後のページを前記リンクテーブルを用いて連結し
    前の頁の シンボルを指示するとこのシンボルと連結した
    頁にアクセスするように構造記述言語で記載した構造化
    文書を作成することを特徴とするイメージ情報の構造化
    文書作成方法。
  18. 【請求項18】 複数頁のイメージ情報を格納する格納
    手段より読み出した複数頁のイメージ情報の関連する2
    つの頁に同一のシンボルを付加したイメージ情報と前記
    格納手段から読み出したイメージ情報の差分を求め、シ
    ンボルを抽出し、抽出したシンボルの位置を認識し、前
    記シンボルとその位置および同一のシンボルを有する後
    の頁を連結して記載したリンクテーブルを作成し、前の
    頁のシンボル領域とこのシンボルと同一のシンボルを有
    する後のページを前記リンクテーブルを用いて連結し前
    の頁のシンボルを指示するとこのシンボルと連結した頁
    にアクセスするように構造記述言語で記載した構造化文
    書を作成することを特徴とするイメージ情報の構造化文
    書作成方法。
  19. 【請求項19】 前記構造記述言語としてHTML(H
    yper TextMarkup Language)
    を用いたことを特徴とする請求項15ないし18のいず
    れかに記載の構造化文書作成方法。
  20. 【請求項20】 前記シンボルは既存の文書にスタンプ
    を用いて表示されたものであることを特徴とする請求項
    15記載の構造化文書作成方法。
  21. 【請求項21】 前記同一のシンボルは同一の色で表さ
    れていることを特徴とする請求項15、16、18のい
    ずれかに記載の構造化文書作成方法。
  22. 【請求項22】 前記複数頁のイメージ情報に表示され
    たシンボルは予め定められた位置に表示されていること
    を特徴とする請求項15ないし18のいずれかに記載の
    構造化文書作成方法。
  23. 【請求項23】 前記シンボルは既存の文書に時間が経
    過すると消えるスタンプ液を用いて押印されたものであ
    ることを特徴とする請求項20記載の構造化文書作成方
    法。
  24. 【請求項24】 前記シンボルは既存の文書にシンボル
    を表示したシールを貼りつけたものであることを特徴と
    する請求項15記載の構造化文書作成方法。
  25. 【請求項25】 前記読取手段で読み取ったイメージ情
    報のシンボルを削除して印刷部へ出力するシンボル削除
    手段を設けたことを特徴とする請求項15記載 の構造化
    文書作成方法。
  26. 【請求項26】 認識したシンボルをこのシンボルと対
    応して予め登録される他のシンボルに置換することをさ
    らに備えることを特徴とする請求項15ないし17のい
    ずれかに記載の構造化文書作成方法。
  27. 【請求項27】 前記シンボルの内、予め定めたシンボ
    ルに特定の意味を与え、この特定シンボルを指示された
    とき、特定の処理を行うことを操作者に要求し、その処
    理を実施後特定シンボルの連結する頁にアクセスするよ
    うにすることを特徴とする請求項15ないし18記載の
    構造化文書作成方法。
  28. 【請求項28】 請求項15ないし27記載の構造化文
    書作成方法により作成された構造化文書をサーバに送信
    することを特徴とする通信方法。
JP24948796A 1996-09-20 1996-09-20 構造化文書作成装置、構造化文書作成方法、通信装置、および通信方法 Expired - Fee Related JP3265198B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24948796A JP3265198B2 (ja) 1996-09-20 1996-09-20 構造化文書作成装置、構造化文書作成方法、通信装置、および通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24948796A JP3265198B2 (ja) 1996-09-20 1996-09-20 構造化文書作成装置、構造化文書作成方法、通信装置、および通信方法

Publications (2)

Publication Number Publication Date
JPH1097608A JPH1097608A (ja) 1998-04-14
JP3265198B2 true JP3265198B2 (ja) 2002-03-11

Family

ID=17193709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24948796A Expired - Fee Related JP3265198B2 (ja) 1996-09-20 1996-09-20 構造化文書作成装置、構造化文書作成方法、通信装置、および通信方法

Country Status (1)

Country Link
JP (1) JP3265198B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535291B1 (en) 2000-06-07 2003-03-18 Cyberoptics Corporation Calibration methods for placement machines incorporating on-head linescan sensing
US6538244B1 (en) 1999-11-03 2003-03-25 Cyberoptics Corporation Pick and place machine with improved vision system including a linescan sensor
US6608320B1 (en) 1998-11-05 2003-08-19 Cyberoptics Corporation Electronics assembly apparatus with height sensing sensor

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7401286B1 (en) * 1993-12-02 2008-07-15 Discovery Communications, Inc. Electronic book electronic links
ATE528912T1 (de) * 1998-11-06 2011-10-15 Univ Columbia Videobeschreibungssystem und -verfahren
JP2009005194A (ja) 2007-06-22 2009-01-08 Canon Inc 画像処理装置、方法及びプログラム
JP5554109B2 (ja) * 2010-03-26 2014-07-23 日本電信電話株式会社 文書処理方法および文書処理システム
JP5554110B2 (ja) * 2010-03-26 2014-07-23 日本電信電話株式会社 文書処理方法および文書処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04321183A (ja) * 1991-04-20 1992-11-11 Ricoh Co Ltd ファイリング装置の文書登録方法
JPH07262207A (ja) * 1994-03-25 1995-10-13 Kengo Konishi イメージデータファイリング方法,イメージデータ登録方法,イメージデータ検索方法及びその装置
JPH07271818A (ja) * 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
JPH08204947A (ja) * 1995-01-24 1996-08-09 Canon Inc 画像ファイリング装置および画像ファイリング方法
US5781914A (en) * 1995-06-30 1998-07-14 Ricoh Company, Ltd. Converting documents, with links to other electronic information, between hardcopy and electronic formats
JPH0950443A (ja) * 1995-08-09 1997-02-18 Sony Corp 相互検索可能な複数の記録媒体
JP4053100B2 (ja) * 1995-09-21 2008-02-27 株式会社リコー 文書情報管理システムおよび文書情報管理方法
JP3604483B2 (ja) * 1995-12-02 2004-12-22 株式会社リコー 文書情報管理システムおよび文書情報管理方法
JPH09146719A (ja) * 1995-11-24 1997-06-06 Toshiba Corp 情報印刷装置および情報印刷方法
JP3910236B2 (ja) * 1996-09-20 2007-04-25 株式会社東芝 ハイパーリンク自動生成装置
JPH1153168A (ja) * 1997-08-07 1999-02-26 Matsushita Graphic Commun Syst Inc 音声情報付文書作成装置及びこれを用いた方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608320B1 (en) 1998-11-05 2003-08-19 Cyberoptics Corporation Electronics assembly apparatus with height sensing sensor
US6610991B1 (en) 1998-11-05 2003-08-26 Cyberoptics Corporation Electronics assembly apparatus with stereo vision linescan sensor
US6538244B1 (en) 1999-11-03 2003-03-25 Cyberoptics Corporation Pick and place machine with improved vision system including a linescan sensor
US6535291B1 (en) 2000-06-07 2003-03-18 Cyberoptics Corporation Calibration methods for placement machines incorporating on-head linescan sensing
US6744499B2 (en) 2000-06-07 2004-06-01 Cyberoptics Corporation Calibration methods for placement machines incorporating on-head linescan sensing

Also Published As

Publication number Publication date
JPH1097608A (ja) 1998-04-14

Similar Documents

Publication Publication Date Title
US7363580B2 (en) Intermediate address table for converting position information to an address of a link structure correlated information file on a hypertext document
US6332039B1 (en) Structured document preparation apparatus and structured document preparation method
JP4925677B2 (ja) 書類を処理する方法及び処理装置
US8045198B2 (en) System and method for processing a change history of a PDF file
US20030229857A1 (en) Apparatus, method, and computer program product for document manipulation which embeds information in document data
JP7337612B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN101135957A (zh) 计算机可读介质、指示装置、图像处理方法和图像处理系统
JP2008059157A (ja) 書類確認支援システム、書類確認支援装置およびプログラム
JP3265198B2 (ja) 構造化文書作成装置、構造化文書作成方法、通信装置、および通信方法
US7746491B2 (en) Information processing method and apparatus
US10452944B2 (en) Multifunction peripheral assisted optical mark recognition using dynamic model and template identification
JP2007005950A (ja) 画像処理装置及びネットワークシステム
KR100508364B1 (ko) 데이터 처리용 정보 처리 장치, 정보 처리 방법 및 컴퓨터 판독가능 매체
US7483160B2 (en) Communication system, communication terminal, system control program product and terminal control program product
JP2006119713A (ja) 編集端末装置、プログラム及び電子ペン用帳票
JP4605122B2 (ja) 画像処理システム及び画像処理プログラム
JP4148029B2 (ja) 文書処理装置
JP4741363B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP4629303B2 (ja) 計算処理システム、計算処理システムのサーバ装置、計算処理プログラム、及び電子ペン用帳票
JP2003132078A (ja) データベース構築装置、データベース構築方法、データベース構築プログラム、記録媒体
KR100257825B1 (ko) 프린터에서문서의부가정보기록방법
JP4362323B2 (ja) 電子フォーム設計システム及びプログラム
JPH1196148A (ja) 文書管理装置
US10264157B2 (en) Image processing apparatus, image processing method and image processing program
US20030030844A1 (en) Method of generating image data for printing, apparatus of the same, and program

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees