JPH08166970A - コード化したワードトークンを使用して文書画像をハイライトで強調する方法 - Google Patents

Abstract

(57)【要約】 【課題】 コード化したワードトークンを使用して文書
画像をハイライトで強調し分類する。 【解決手段】 文書のハイライトによる強調及び分類
は、文書に現われる単語を表わすワードトークンを使用
して行なわれる。ある種の重要でないワードトークン
（Ｓ１２００，１３００）が最初に削除され、その後残
存する文書内の単語がその出現率に応じて順位化され
（Ｓ１４００，１５００）、この順位は、文書の主題を
示す頻出単語をハイライトで強調するために使用される
（Ｓ１６００）。更に文書は、ワードトークンから見出
された文書プロフィールを利用して分類される（Ｓ１６
００，１６０５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書をハイライト
で強調する方法に関し、特に、コード化したワードトー
クン（一連の文字からなる識別できる単語単位）を使用
して文書の論題に関する分類上の単語にハイライトで強
調する方法に関する。

【０００２】

【従来の技術】走査画像をデジタルコンピュータで使用
できる文書データに変換する技術は周知である。

【０００３】

【発明が解決しようとする課題】しかし、今日迄、文書
の検索単語（キーワード）もしくは熟語（フレーズ）を
自動的にハイライトで強調し、あるいは「マークアッ
プ」する技法あるいはシステムは実現されていない上
に、文書を特定の論題分類（トピックのカテゴリー）に
自動的に分類することも不可能である。文書がこのシス
テムにまわされる度に、当該文書固有の論題に対応する
何らかの検索単語を付与しなければならない。この検索
単語の付与は、オペレータが文書の検索単語に関するデ
ータをシステムに入力することによって行われなければ
ならない。

【０００４】本発明は、文書をハイライトで強調する方
法を提供することを目的とするものである。

【０００５】本発明の他の目的は、文書内のハイライト
で強調された特定単語によってその文書の論題を読者が
容易に認識することができるようにした方法及び装置を
提供することである。

【０００６】本発明の他の目的は、前置詞、接続詞、助
動詞、関係詞などの一般機能語（コモンファンクショ
ン）及び数字に対応するワードトークンを削除するため
に使用する削除トークンリストを提供することである。

【０００７】本発明は更に、語形トークンと記憶された
訓練（トレーニング）用もしくは照合用データ間の「距
離」を比較することによって文書を自動的に分類する方
法及び装置を提供することを目的とするものである。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、文書の単語を表わす文字形状コード種
（クラス）よりなるワードトークン列により、文書画像
をハイライトで強調して該文書画像を分類する方法にお
いて、前記ワードトークン列から予め定められた文字形
状コード種を除去するステップと、前記ワードトークン
列から、パターンマッチング及びトークン削除リストを
使用して、予め定められた一般機能ワードトークンを削
除して短縮されたワードトークン列を作成するステップ
と、前記短縮ワードトークン列の各ワードトークンの繰
返出現率を判定するステップと、前記繰返出現率に順位
を与えるステップと、前記順位化された繰返出現率に基
づいて、ｎ番目もしくはそれ以上の高い繰返出現率で出
現するワードトークンを判定するステップと、ｎ番目も
しくはそれ以上の高い繰返出現率で出現するワードトー
クンをハイライトで強調するステップとにより構成した
ものである。

【０００９】本発明では、例えばそれぞれが多数の異な
る文字字体（キャラクターシェイプ）コードもしくはコ
ード化された抽象的（アブストラクト）文字種（キャラ
クタークラス）よりなるワードトークン列が文書画像か
ら取り出される。ある種の文字字体コードは、このワー
ドトークン列から除去もしくは削除される。除去される
文字字体コードは、言語学的に重要な情報に関連しない
ものである。得られたワードトークン列は、統計的に構
築された削除（ストップ）トークンリストによって分析
される。この分析は、従来のパターン調和（パターンマ
ッチング）法を用いて、「一般機能（コモンファンクシ
ョン）」語から得られトークンを更に除去することを可
能にする。

【００１０】短縮されたワードトークン列は、各トーク
ンの出現頻度、即ち繰返出現率を計算するために分析さ
れる。これらの率は、最も高い繰返出現率からｎ番目に
高い繰返出現率まで順位化され、文書をハイライトで強
調したりマークアップするために使用される。

【００１１】ここに使用される用語「ハイライト」は、
読者に文書の論題（トピック）、主題（サブジェクト）
等を迅速に伝えることを可能にするような文書をマーク
アップするのに可能な種々のやり方をいう。文書の論題
に関連するある種の検索用単語は、それに対応する高い
繰返出現率をもつものである。

【００１２】また、付加的なトークンリストを使用すれ
ば、ある種の数字単語を削除することを可能となる。

【００１３】更に、短縮ワードトークン列を、文書や記
事を自動的に分類するために使用される文書あるいはト
ークンのプローフィールを作成するために使用すること
をも可能である。

【００１４】

【発明の実施の形態】図１には、本出願人によって出願
された米国特許出願第０８／０４７，５１４号及び０８
／０４７，５４０号にその詳細が開示されたものと同一
ではないが、類似の走査装置が示されており、この走査
装置は、電荷蓄積装置（ＣＣＤ）等を備えたスキャナー
１１０より構成される。このスキャナー１１０は、活字
タイプの文章列よりなる画像１０２を有する、例えば図
３に示されるような文書１００を走査し、その原稿文書
１００の画像を構成する複数の画素に関する位置と画像
濃度を表わすデジタルデータ信号を出力する。このデジ
タルデータ信号は、メモリー１１２に転送され、一時的
に又は永久に記憶される。デジタルデータ信号は、この
メモリー１１２から出力されると、汎用型デジタルコン
ピュータ１１４に入力される。一旦このデジタルコンピ
ュータ１１４に入力されると、デジタルデータ信号は、
まず最初に画像１０２の非文章部分を除去して文章部分
を残すことによって整理される。更に、スキャナー自体
により形成された、歪み等のような、疑似デジタルデー
タ信号を補正する。整理されたデジタルデータ信号は、
メモリー１１２に記憶するか、あるいは汎用コンピュー
タ１１４のメモリーに記憶する。あるいは、スキャナー
はスキャナー疑似信号（アーティファクト）を除去する
ような前処理を行うこともできる。

【００１５】図１に示されるように、本発明で使用する
汎用デジタルコンピュータ１１４は、制御プログラムを
記憶するメモリー２２と、メモリー１１２からデジタル
データ信号を入力し、文章部分に関する、あるワードト
ークン（一連の文字からなる識別できる単語単位）を表
わす信号を、文書をハイライトで強調しあるいは分類す
るための信号と共に出力する入出力回路２４とにより構
成されている。汎用デジタルコンピュータ１１４は又、
デジタルデータ信号を記憶する画像メモリー２６、デジ
タルデータ信号から結合構成要素（文字を構成する線分
などの要素）を生成する結合構成要素生成手段２８、文
章の部分の行、単語及び文字区画の座標と各文字区画内
の各結合構成要素の場所とを判定する空間的特徴判定手
段３０、文字区画を抽象的な文字コード種へ変換する文
字形態種別化（キャラクタタイプシィフィケーション）
手段３２、ハイライト強調部３４及び分類付与部３６よ
り構成されている。制御プログラムメモリー２２は、ロ
ム（ＲＯＭ）２２ａあるいはラム（ＲＡＭ）２２ｂのい
ずれでもよい。

【００１６】種別化手段３２は、現在対象の文字区画内
の結合構成要素の数を判定する計数手段３２０、現在対
象の文字区画内の少なくとも１以上の結合構成要素の上
端位置を位置決定する上端位置決定手段３２２、現在対
象の文字区画内の少なくとも１以上の結合構成要素の下
端位置を位置決定する下端位置決定手段３２４、現在対
象の文字区画内の少なくとも１以上の結合構成要素の高
さと幅を判定する結合構成要素寸法判定手段３２６、現
在対象の文字区画に対応する行の基線（ベースライン）
及びＸラインの位置の少なくとも一方を記憶する行位置
記憶手段３２８、及び構成要素の上端位置、下端位置及
び高さの少なくとも１つを、基線位置、Ｘライン位置及
び構成要素幅の少なくとも１つと比較する比較手段３３
０より構成される。勿論、結合構成要素生成手段２８、
空間的特徴判定手段３０及び文字形態種別化手段３２の
各機能及びその対応手段は、その構成が前記実施形態と
等価であれば、独立した手段で実行することができる。
汎用コンピュータで実行されるこれらの手段は、特定目
的のコンピュータ又は対応する配線連結された別設の要
素回路でも一体化された回路であってもよい。

【００１７】結合構成要素生成手段２８、空間的特徴判
定手段３０、及び文字形態種別化手段３２は、一緒に作
用して、文書画像１０２の文章部分１０４を、米国特許
第０８／０４７，５４０に説明されたように、ワードト
ークン列に変換する。各ワードトークンは、少なくとも
１つ（通常１つ以上）の、図４に示されるような、抽象
的にコード化された文字種より構成される。各抽象コー
ド化文字種は、活字形態の文字の種類を表わしている。
英語、フランス語、及びドイツ語で使用される書体のよ
うなヨーロッパ型書体に対して、抽象コード化文字と、
この抽象コード化文字が表わす活字文字が図５に示され
ている。文書画像１０２の文章部がすでにワードトーク
ンに変換されている場合、汎用コンピュータ１１４は、
メモリー２２、入出力回路２４、画像メモリー２６、ハ
イライト強調部３４及び分類付与部３６のみで構成され
ればなお望ましい。

【００１８】図２に示されているように、ハイライト強
調部３４は、或種の文字形態コードあるいは抽象化コー
ド文字種（意味のない記号など）をワードトークン列か
ら除去する除去手段２２０、図７に示されたリストに類
似した削除トークンリストを使用して、ある種の一般機
能ワードトークン（ファンクションワード）をワードト
ークン列から削除して短縮したワードトークン列を形成
する削除手段２３０より構成される。このハイライト強
調部３４、更にワードトークン繰返出現率判定手段２４
０、短縮ワードトークン列の最大頻出度のワードトーク
ンから得られる繰返出現率を順位化する順位化手段２５
０、及び「ｎ番目」もしくはそれ以上に高い繰返出現率
をもつワードトークンをハイライト、下線によって強調
し、さもなければマークアップするハイライト手段２６
０より構成される。分類付与部３６は、文書を既存の分
類に類別する分類付与手段２６５を含む。順位化手段２
５０は、順位化された繰返出現率に基づいて、ｎ番目も
しくはそれ以上に頻繁に出現するワードトークンを判定
する手段を含む。

【００１９】操作では、画像１０２を有する文書１００
をスキャナー１１０にかけて読み取り、シリアル又はパ
ラレルデジタルデータ信号を取り込む。デジタルデータ
信号は、原画像１０２の各画素に対応する複数の信号部
分により構成されている。画像１０２の各画素は、画像
１０２に関する位置と画像濃度を有する。従って、デジ
タルデータ信号の各信号部分は、対応する画素の位置と
画像濃度を表わすデータを含んでいる。

【００２０】スキャナーからのデジタルデータ信号出力
は、メモリー１１２に記憶される。メモリー１１２は、
ＲＡＭ、フラッシュメモリー、ディスクメモリー等でも
良い。メモリーの形式にかかわらず、デジタルデータ信
号は、各信号部分に含まれた位置と画像濃度に応じてメ
モリー１１２に記憶される。勿論、デジタルデータ信号
は、中間に配置されるメモリー１１２ではなく汎用デジ
タルコンピュータ１１４に直接入力することもできる。
あるいは、メモリー１１２を汎用デジタルコンピュータ
１１４に内蔵させてもよい。いずれにしても、メモリー
１１２は、画像１０２を長期間保存するために利用され
るものである。

【００２１】オペレーターが文書のスキャナー１１０へ
の入力が終了した場合又はこのシステムが、画像１０２
のデジタルデータ信号が文章データに変換しなければな
らないと判断した場合、画像１０２のデジタルデータ信
号は、メモリー１１２から汎用デジタルコンピュータ１
１４へ出力される。

【００２２】メモリー１１２に記憶されているデジタル
画像データ信号は、汎用デジタルコンピュータ１１４へ
出力され、そこで入出力手段２４を通して画像メモリー
に入力される。ここでは、文章部分１０４の全体の字体
形式がヨーロッパ活字体であるとする。勿論、文章部分
１０４の全体の書体形式がヨーロッパ活字体であること
が解からなくても、本発明は、本明細書において引用す
る米国特許出願番号０８／０４７，５１５に記載された
全体の書体形式を判定する方法及びその装置と組み合わ
せることができる。

【００２３】一旦デジタルデータ信号が画像メモリー２
６に全部記憶されてしまうと、このデジタルデータ信号
は、結合構成要素生成手段２８によって処理可能とな
る。結合構成要素生成手段２８は、画像１０２のデジタ
ルデータ信号を複数の結合構成要素に分割する。ここ
で、各結合構成要素は、１もしくは１以上の信号部分よ
り構成されるものである。各結合構成要素は、原画像１
０２の或最低画像濃度を有し、連続した経路を構成して
いる画素に対応する信号部分よりなるものである。各字
体の文字は、一般に「Ｆｕｊｉ」の「Ｆ」の場合のよう
に、１つの結合構成要素、もしくは、「Ｆｕｊｉ」の
「ｊ」あるいは「ｉ」の場合のように、１つ以上の結合
構成要素に対応している。

【００２４】一旦結合構成要素生成手段２８がデジタル
データ信号から画像１０２の複数の結合構成要素を生成
すると、画像１０２に対応するデジタルデータ信号及び
結合構成要素生成手段２８によって形成された結合要素
のリストは、画像メモリー２６に記憶されると共に空間
的特徴判定手段３０に入力される。

【００２５】空間的特徴判定手段３０は、行位置、単語
間隔（スペース）、文字区画（キャラクタセル）等の文
章（テキスト）部分の空間的特徴を決定する。各文字区
画は、隣接する空白間の行内で垂直方向に整列した結合
構成要素を含んでいる。例えば、「Ｆｕｊｉ」の「ｉ」
及び「ｊ」の文字は、それぞれ二つの独立する結合構成
要素である。空間的特徴判定手段３０は、一行の全垂直
整列結合構成要素を１つの文字区画へ分類する。文章部
分１０４の結合構成要素リストから文章部分１０４の空
間的特徴を決定する１つの方法および装置は、米国特許
出願０８／０４７，５１４に開示されている。

【００２６】結合構成要素及び文字区画のリストは、空
間的特徴判定手段３０から文字形態種別化手段３２へ出
力される。文字形態種別化手段３２は、文字区画内の１
つまたは複数の結合構成要素を、文字区画内の結合構成
要素種の数および場所に基づいて、複数の抽象化文字コ
ード種の１つへ変換する。抽象化文字コード種及び各抽
象的文字コード種に対応する活字書体文字のリストが図
５に示されている。図５に示されるように、抽象的文字
コード種が使用されている。各抽象的文字コード種は、
文字区画内の独立する結合構成要素の数、各文字区画の
独立する結合構成要素間の相対位置、文字区画内の結合
構成要素の位置に基づいて、１つないし１つ以上の文字
を代表している。

【００２７】上述の字体判定システムの動作手順は米国
特許出願０８／０４７，５４０に開示されている。

【００２８】本発明の方法及び装置は、統計的基盤に基
づくものであるから、非常にしっかりしており、非常に
薄い印刷の文書及び／あるいは走査が不十分な文書にさ
え耐えうるものである。すなわち、デジタルデータ信号
あるいは該デジタルデータ信号から形成された結合構成
要素は、文書の全ての文字を完全に表す必要がない。む
しろ、本発明は、単一の結合構成要素を２つあるいはそ
れ以上の結合構成要素に分離してしまうようなエラー、
２つあるいはそれ以上の結合構成要素を単一の結合構成
要素へ併合してしまうようなエラー、あるいは、同一行
上の結合構成要素を置き違えるといったエラーのような
通常の走査上起るエラーに耐えることが出来る。

【００２９】要約すれば、本システムは、１つないし１
つ以上の抽象的文字コード種よりなるワードドークン列
を形成するものである。これらのワードトークンは、そ
れぞれ文書をハイライトで強調し、文書を分類するハイ
ライト強調部３４と分類付与部３６に供給される。これ
らの二つの部分を以下に説明する。

【００３０】本発明の一実施形態であるフローチャート
である図９を参照すると、ワードトークン列は、ステッ
プＳ１１００で、除去手段２２０に入力され、ステップ
Ｓ１２００で処理されて、一般的に殆ど重要な言語情報
を含まない「．」、「！」、「−」、「，」、及
び「：」等の、さ程重要でない抽象的文字コード種、即
ち、文字形状コードがワードトークン列から除去され
る。一旦これらの形状コードが除去されると、ワードト
ークン列は、削除手段２３０へ転送され、ステップＳ１
３００で図７に示されるような削除（ストップ）トーク
ンリストとパターンマッチングを使用して、図６に示さ
れるような対応する所定の「一般機能」語が削除され
る。一般に、「一般機能」語は前置詞、限定詞、接続
詞、代名詞、叙述詞を取りまとめたものであり、名詞、
動詞、目的語等の「有意語」とは区別される。両単語形
態（タイプ）にまたがる単語は、機能語と考えられ、そ
れなりに処理される。

【００３１】図６に示された一般機能語は統計データに
基づけば、０．０００５以上の繰返出現率を有する。そ
の結果として、これら一般機能語から図７に示されるよ
うな削除トークンリストが作成される。このリストで
は、繰返し出てくるワードトークンは、全て除去されて
いる。このようにして、最初に文章部分１０４から作ら
れた図４のワードトークン列に残存しているワードトー
クンは、削除手段２３０によって削除トークンリストと
比較され、削除トークンリストに現われたワードトーク
ンを削除して「有意語」のみからなる短縮ワードトーク
ンリスト列を作成する。

【００３２】この時点で、短縮ワードトークン列をステ
ップＳ１４００で短縮ワードトークン列に現われる各異
なるワードトークンの繰返出現率を判定する判定手段２
４０へ転送してもよい。本発明の他の実施形態では、ワ
ードトークン列を、ステップＳ１３０５で、最初にオプ
ションの削除手段２３５へ転送して図４の削除トークン
リストのもう１つの、あるいは別途用意されたリストを
使用して数字で表わした語を削除する。このオプション
の削除トークンリストは連鎖Ａ＊（この＊印はＡ、Ａ
Ａ、ＡＡＡ、ＡＡＡＡ等である）を含む。

【００３３】いずれの場合も、新しい短縮ワードトーク
ン列は、繰返出現率判定手段２４０へ転送され、その繰
返出現率が判定される。一旦繰返出現率が判定される
と、ステップＳ１５００で、順位化（ランク付け）手段
２５０によって順位化される。順位化手段２５０は、ワ
ードトークンを順位化し最大出現頻度のものから出現頻
度がｎ番目（ｎは整数）までのワードトークンを判定す
る。

【００３４】本発明の実施形態において、これらの順位
のワードトークンに対応する文章部分１０４の単語は、
図８に示されるように、ステップＳ１６００でハイライ
トや下線、そうでなければマークアップにより強調され
る。この強調付与後の文章部分１０４は、表示装置２０
０に表示される。この表示装置はＣＲＴ、複写印刷物、
ＬＣＤ表示装置等、種々の表示装置のうちどれでもよ
い。これらの単語は、「ｎ番目」もしくはそれ以上の順
位のものがハイライトで強調される。ここで、ｎは、例
えば、１０のように順位を表わす。この場合、順位１
０、９、８、７等の、即ち、繰返出現率が１０番目の単
語、繰返出現率が９番目の単語等がハイライトで強調さ
れる。

【００３５】例えば、図８に示されるように、建設業界
に関する経済記事は、「ｃｏｎｓｔｒｕｃｔｉｏｎ」と
いう単語を何度も使用している。単語「ｃｏｎｓｔｒｕ
ｃｔｉｏｎ」は、ワードトークンとして表わすことがで
きる。本発明は、単語「ｃｏｎｓｔｒｕｃｔｉｏｎ」に
関係づけられたワードトークンの出現率を計算し、該記
事から作成された短縮ワードトークン列に残存する全て
の他の単語の出現率に対して計算された出現率に順位を
つける。例えば、単語「ｃｏｎｓｔｒｕｃｔｉｏｎ」
は、この記事中では１０番目に高い繰返出現率で使用さ
れている。本発明は、その後このワードトークンに対応
する単語をハイライトまたは下線で強調し、あるいは他
の方法でマークアップし、読者が単語「ｃｏｎｓｔｒｕ
ｃｔｉｏｎ」が記事全体の何処に位置するかを容易に見
極めることができるようにしている。同様に、単語「ｃ
ｏｎｓｔｒｕｃｉｔｉｏｎ」と同じ位頻繁に、例えば、
１０番目に高いトークン出現率もしくはそれ以上、即
ち、９番目、８番目、７番目…の出現率で現れるワード
トークンに対応する記事中の全ての単語も、同様にハイ
ライトまたは下線で強調し、あるいは他の方法でマーク
アップし、読者がそれらの単語を容易に識別できるよう
にしている。

【００３６】本発明の他の実施形態は、図８に示される
文書をワードトークンを使って分類ステップＳ１６０５
を付加的に含んでいる。ワードトークンは、特定の文書
のプロフィールを見出すために使用される。信頼出来る
検索データと統計的分析により、検索プロフィールを計
算し、分類手段２６５を使って大量の参考文書を大量の
既存分類へ類別することができる。特定の文書プロフィ
ールは、少くとも一つの照合プロフィールと比較してそ
の分類を判定する。

【００３７】分類ステップＳ１６０５は、ハイライトで
強調ステップＳ１６００に付加的に使用してもよいし、
あるいは、ハイライトで強調ステップＳ１６００から分
離して使用してもよい。即ち、分類ステップＳ１６０５
は、ハイライトで強調ステップＳ１６００に置き換えて
使用してもよい。

【００３８】このようなシステム及びその方法の作用の
概要が図１０に示されている。

【００３９】図１０の右側のステップＳ３０００に描か
れているのは、その論題によって採られた複数の照合用
分類（リファレンス・カテゴリー）文書である。これら
の文書は、訓練用データとして、あるいは検索用（リフ
ァレンス）データとして使用できる。照合用データは、
照合用プロフィールを見出すために使用される。ステッ
プＳ３０５０において、システムは、プロフィール生成
を初期化（起動）し、ステップＳ３１００でこれら文書
トークン画像に変換する。その後は、既に説明したステ
ップＳ３２００〜３４００を実行し、形成されたトーク
ンの繰返出現率を順位化する。引き続いて、ステップＳ
３５００で、順位（ランク）をある数値に制限すること
によって、例えば、１から１００迄の順位のみを照合用
分類順位化しトーマライズする。その結果の照合用プロ
フィールは、複数の照合用文書の分類（カテゴリー）を
表わしている。なお、照合用文書は基準となるサンプル
文書であり、これを利用して、基準となる照合用プロフ
ィールが作成される。

【００４０】このような照合用文書による学習を多数行
い、多数の照合用プロフィールを持てば、それだけ細か
い分類を行うことができる。

【００４１】図１０の左側にあるのは分類を決定すべき
新しい文書である。この文書のプロフィールは、ステッ
プＳ２０５０〜２５００で作成される。作成されたプロ
フィールは、文書のすべての識別が出来るトークンを順
位化する。

【００４２】ステップＳ２６００で、システムはプロフ
ィールの「距離」を計算する。プロフィールの「距離」
は、分類が未知の新しい文書のプロフィールと照合分類
プロフィールとの間の距離であって、カフナー及びトレ
ンケル（カフナー及びトレンケル、１９９４年）によっ
て提案された「置き違え（アウト・オブ・プレース）評
価法」によって得られる。この「評価」は、新プロフィ
ール内のトークンが既知プロフィールの内の、そのトー
クン位置、即ち、既知の照合分類のプロフィールからど
の位離れているかを判定する。新文書プロフィール内の
各トークンに関して、本システムは、既知の照合分類プ
ロフィール内の対応トークンを見出し、それが場所的に
どの位離れているかを計算する。この場所ずれ値を全て
合計すると当該分類に関する新文書の距離が得られる。
ステップＳ２７００では、距離を比較して新文書に対し
「最も近い」分類を付与する。

【００４３】距離の測定は、例えば次のような方法によ
っても可能である。順位の１つの違いを距離１とし、対
応あるトークンが照合用プロフィールに存在しなかった
場合は「１００」とする。

【００４４】また、そのほか類似度の検出方法が直接採
用できる。

【００４５】図２に示された分類付与手段２６５は、形
成されたトークンにより特定文書のトークンプロフィー
ルを判定する手段、特定文書のトークンプロフィールと
少なくとも１つの照合プロフィールとの間の少くとも一
つの距離を測定する手段、及びこの少くとも１つの測定
距離に基づいて当該特定文書を分類する手段より構成し
てもよい。

【図面の簡単な説明】

【図１】 走査装置のブロック図である。

【図２】 ハイライト強調部及び分類部の詳細を示す図
である。

【図３】 文書の実際の文章部分を示す図である。

【図４】 抽象コード文字種によりワードトークン列に
変換された図３の文章部分を示す図である。

【図５】 実際の字体の文字種に対応するワードトーク
ンを得るために使用する文字抽象コード文字種あるいは
文字字体コードを示す図である。

【図６】 統計的発生率が０．０００５以上の一般機能
語のリストを示す図である。

【図７】 図６の一般機能語に対応するワードトークン
の関連削除トークンのリストを示す図である。

【図８】 本発明の一実施形態によるハイライト強調あ
るいはマークアップされた文書の一例を示す図である。

【図９】 本発明に示す実施形態に対応するフローチャ
ートである。

【図１０】 本発明の他の実施形態フローチャートであ
る。

【符号の説明】

２８ 結合構成要素生成手段、３０ 空間的特徴判定手
段、３２ 文字形態種別化手段、３４ ハイライト強調
部、３６ 分類付与部、１００ 文書、１０２文書画
像、１１０ スキャナー。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9288−5Ｌ Ｇ０６Ｆ 15/20 ５９０ Ｅ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 文書の単語を表わす文字形状コード種よ
   りなるワードトークン列により、文書画像をハイライト
   で強調する方法において、 前記ワードトークン列から予め定められた文字形状コー
   ド種を除去するステップと、前記ワードトークン列か
   ら、パターン調和法及び削除トークンリストを使用し
   て、予め定められた一般機能ワードトークンを削除して
   短縮されたワードトークン列を作成するステップと、前
   記短縮ワードトークン列の各ワードトークンの繰返出現
   率を判定するステップと、前記繰返出現率に順位を付
   け、前記順位化された繰返出現率に基づいて、ｎ番目も
   しくはそれ以上の高い繰返出現率で出現するワードトー
   クンを判断するステップと、ｎ番目もしくはそれ以上の
   高い繰返出現率で出現するワードトークンをハイライト
   で強調するステップを有することを特徴とする文書画像
   をハイライトで強調する方法。