JPH07234918A - 文書のテキスト及び／または非テキストブロックの選択方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】テキストブロック形成の前に歪んだ文書を回転
させることを不要とし、テキスト及び非テキストブロッ
クを効果的に且つ効率的に選択する。 【構成】文書内の連続画素成分を識別し、識別された画
素成分をテキスト及び非テキスト成分に分離し、文書に
対して非テキスト成分のエッジに沿った可視及び不可視
線のサーチを行ない、識別されたテキスト成分と、可視
及び不可視線を用いて不規則形状のテキスト及び非テキ
ストブロックを形成し、各形成されたテキストブロック
からテキスト方向を検出し、検出された方向に基づいて
テキストブロックからテキストラインを抽出し、文書の
歪み角度を検出し、検出された歪み角度に基づいて形成
されたテキスト及び非テキストブロックを修正する機能
及び構成を有している。こうして形成されたテキストブ
ロックは例えば文字認識ルーチンに適用される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば文字認識に先立
って行なわれる文字ブロックの処理のための方法及び装
置に関する。さらに詳しくは、認識に先立ち、画像デー
タのブロックが画像データの文字に基づいて分類され選
択される、文字ブロック処理方法及び装置に関するもの
である。例えば、画像データがテキスト画像データ（水
平及び／または垂直）か、それとも中間調（またはグレ
イスケール）画像、線画、表、垂直または水平線、フレ
ーム等の非テキスト画像データのいずれであるかに基づ
いて、画像データブロックが選択されて分類される。

【０００２】

【従来の技術】近年、テキストデータの画像を分析し
て、テキストデータ内の個々の文字を認識したり、認識
した文字に対応する、コンピュータが読み取れる文字コ
ードファイルを作成することが可能になった。そうした
ファイルは、ワードプロセッシングや、データ圧縮、あ
るいはデータ処理プログラムで操作することができる。
そうしたシステムは、以下「文字認識システム」と称さ
れるが、リタイプもしくはテキストデータの再入力の必
要がなくなるため有益である。例えば、ファクシミリ送
信されたり複写機やマイクロフィルムで再現された文書
に対して文字認識を行なって、その文書の文字や数字の
文字コード（例えばＡＳＣＩＩコード）を含むコンピュ
ータファイルを作成し、リタイプや文書の再入力を必要
とせずに、更なるワードプロセッシングまたはデータ処
理を文書に対して行なうことが可能である。

【０００３】文字認識される文書は、しばしば多くの異
なるタイプの画像データを含んでおり、それらの全てが
認識できるわけではない。例えば、現在、テキスト画像
データの認識が可能だとすると、一方で、非テキスト画
像データの認識は非常に困難である。通常、文字認識対
象の文書はテキスト画像データブロックと、中間調画
像、線画、線等の非テキスト画像データブロックとを含
んでいる。さらに、文書は表や、枠組があったり、また
は枠組みは無いがテーブル状に配置されたデータも含ん
でいる場合もある。従って、文字認識処理の前に、文書
内の個々のブロックをブロックの画像データのタイプに
基づいて分類し、テキストタイプのブロックを画像デー
タから選択することが必要である。

【０００４】図１は代表的な文書の１ページを示してい
る。図１において、文書ページ１０１は２欄形式に構成
されている。ページには、タイトルに適切な大きいサイ
ズのフォントのテキスト情報を含むタイトルブロック１
０２と、テキストデータのラインを含むテキストブロッ
ク１０４と、非テキストのグラフィック画像を含むグラ
フィックブロック１０５と、表のテキストまたは数字情
報を含む表ブロック１０６と、グラフィックまたは表情
報のブロックの説明文（caption）である小サイズのテ
キストデータを含むキャプションブロック１０７とが含
まれている。各情報のブロックはそこに含まれる情報の
タイプに基づいて分類され、その分類に応じて分割され
る。

【０００５】

【発明が解決しようとする課題】予め、画像データのテ
キストタイプのブロックを検出するために、画像データ
における黒画素を水平及び垂直に展開して、水平及び垂
直に隣接する単数または複数の白画素に展開することで
画素画像データをにじませる（スミアー技術）ことが考
えられた。こうしたスミアー技術は、スミアーパラメー
タを適切に選択することができる様に、テキストタイプ
画像データの文字の予備知識（例えばフォントサイズ）
に依存しているため、不十分である。さらに、スミアー
パラメータの小さな変化で選択結果に大きな変化が生じ
る。スミアー技術はまた、必ず原稿文書の内部構造を保
持できるわけではない。例えば、スミアーにより２欄形
式の原稿が１欄に変わってしまうことがある。このよう
な状況は、テキストデータが格納されている順序を狂わ
せ、原稿テキストの正確な再構成を不可能にしてしまう
ことから、不都合である。さらに、スミアー技術では、
時折テキストタイプデータを非テキストタイプデータ中
ににじませ、全体の領域がテキストタイプデータとして
誤認識されることが知られている。

【０００６】同出願人による、１９９２年４月２４日出
願の米国特許出願第０７／８７３、０１２号では、格納
された文書内の文字ブロックを選択するための他の方法
が提案されている。そこでは、格納された文書に対し、
最初に所謂「結合成分（connected components）」のサ
ーチが行なわれる。これは、各画素の周囲の８方向のい
ずれかに存在する、２つ以上の画素が結合されたもので
ある。次に、テキスト結合成分は非テキスト結合成分か
ら分離されて、非テキスト結合成分は、例えば、表、中
間調画像、線画等として分類される。次に、文書の何ら
かの歪みの方向が検出され、もし歪みが垂直ならば画像
は９０度回転され、結合成分のサーチが再び行なわれ
る。歪みの補正の後、テキストの適切なブロック、例え
ば欄が識別される様に、非テキスト成分のエッジに添っ
た目に見えない白ラインがサーチされる。その後、水平
テキスト列とタイトル列が形成され、水平テキスト列は
グループ化されて四角形に配置されたテキストブロック
になる。そして、後処理が行なわれて、更なる文字認識
処理のために、識別されたテキストブロックが準備され
る。０７／８７３、０１２号は参照により本願に併合さ
れている。

【０００７】上記のブロック選択技術は水平文書（例え
ば英語文書）に適切であるが、１ページが水平及び垂直
テキストブロック（２方向）を含んでいる場合にも適用
可能である。例えば、日本語の文書は垂直な漢字文字と
表や数字記号などの水平な文字との組み合わせを含んで
いる。また、ある種の英語文書は特定の情報を強調した
り、所望の効果を提供するために、垂直に配置された文
字を含んでいる。

【０００８】さらに、スキャンされたページ自体はしば
しば歪んでおり、上記のブロック選択技術では、最初に
歪みを識別して、テキストブロックを形成する前に画像
を回転させることでこの問題に対処している。この技術
を実用化する際には、処理速度と正確さにおいて２つの
実質的な問題となる。さらに詳しくは、上記のブロック
選択技術では、ブロック領域は四角形で表され、非テキ
ストブロックの境界もまた記録される。しかし、歪んだ
文書の場合、四角形はテキストブロック間の分離を不明
瞭にして、実際重なることもある。これにより、ブロッ
ク内のデータの誤分類が起こり、文字認識のエラーとな
ることもある。

【０００９】従って、垂直及び水平テキストブロックが
認識され、テキストブロック形成の前に歪んだ文書を回
転させる必要の無い、格納文書におけるテキスト及び非
テキストブロックを効果的に且つ効率的に選択するため
の方法及び装置が求められている。これにより、処理時
間を節約し、認識精度を向上させる、より柔軟なブロッ
ク選択技術が提供される。

【００１０】本発明は、上記の問題に鑑みてなされたも
のであり、垂直及び水平テキストブロックを認識し、テ
キストブロック形成の前に歪んだ文書を回転させること
を不要とし、テキスト及び非テキストブロックを効果的
に且つ効率的に選択することを可能とするブロック選択
方法及び装置を提供することを目的とする。

【００１１】また、本発明の他の目的は、各ブロックを
不規則な形状の曲線で囲むことを可能とし、各ブロック
をより簡潔かつ明瞭に囲むブロック選択方法及び装置を
提供することを目的とする。

【００１２】

【課題を解決するための手段】及び

【作用】上記の目的を達成する本発明の一つの態様によ
れば、格納された文書のテキスト領域と非テキスト領域
のブロックを分離する方法及び装置は、結合画素成分を
識別し、識別された画素成分をテキスト及び非テキスト
成分に分離する構成及び工程を備えている。好ましくは
非テキスト成分は、少なくとも所定の複数の非テキスト
分類の１つに分類される。そして、格納された文書に対
し、非テキスト成分のエッジに沿った可視線と不可視線
のサーチが行なわれる。そして、識別されたテキスト成
分と、可視線とを用いて、テキスト及び非テキストブロ
ックが形成される。続いて、各形成されたテキストブロ
ックに関する方向が検出され、検出されたテキスト方向
に基づいて、各検出されたテキストブロックからテキス
ト列が抽出される。テキストブロック形成後、抽出され
たテキスト列に基づいて、格納された文書に対する歪ん
だ角度が検出される。そして、形成されたテキスト及び
非テキストブロックは、検出された歪み角度に基づいて
修正される。

【００１３】本発明の他の態様によれば、水平及び垂直
なテキストを有する、格納された文書におけるテキスト
ブロックを形成する方法及び装置は、結合画素成分を識
別して結合成分を水平及び垂直にグループ化する構成及
び工程を備えている。グループ化された成分に基づき、
歪み検出を行なわずに、不規則な形状の水平及び垂直テ
キストブロックが形成される。その後、各形成されたテ
キストブロックの歪み角度が検出され、文字認識などの
更なる文字処理のために、識別されたテキストブロック
が提供される。

【００１４】本発明のさらに他の態様によれば、非テキ
スト情報と水平及び垂直テキスト情報を有する、格納さ
れた文書においてテキスト及び非テキストブロックを形
成する方法及び装置は、結合画素成分を識別して、識別
された画素成分をテキスト及び非テキスト成分に分離す
る構成及び工程を備えている。結合テキスト成分は水平
及び垂直にグループ化され、文書に対して、非テキスト
成分のエッジに沿った可視線及び不可視線のサーチが行
なわれる。そして、グループ化されたテキスト成分と可
視線及び不可視線に基づき、歪み検出を行なうこと無
く、不規則な形状の非テキストブロック及び不規則な形
状の水平及び垂直テキストブロックが形成される。そし
て、各形成されたテキストブロックの方向が検出され、
検出されたテキスト方向に基づいて、各検出されたテキ
ストブロックからテキスト列が抽出される。その後、形
成されたテキスト及び非テキストブロックの歪み角度が
検出され、検出された歪み角度に基づいて、形成された
水平及び垂直テキストブロック及び非テキストブロック
が修正される。

【００１５】上記の他の目的を達成するための本発明の
態様によれば、画素画像データから画素のブロックを選
択する選択方法が提供される。この選択方法は、画素デ
ータにおける連続成分の輪郭を描写する輪郭描写工程
と、連続成分を、サイズ及び他の連続成分との近接度に
基づいて、選択的に幅方向に結合してラインを形成す
る、第１の結合工程と、幅方向に結合されたラインを、
サイズ及び他のラインとの近接度に基づいて、選択的に
垂直に結合してブロックを形成する、第２の結合工程
と、前記第２の結合工程で形成されたブロックの周りに
不規則な曲線を形成する形成工程とを備える。

【００１６】更に本発明の他の態様によれば、画素画像
データにおける文字のテキストファイルを形成する方法
が提供される。この方法によれば、２値の画素画像デー
タを入力して格納し、格納された画素画像データのブロ
ックを選択し、格納された画素画像データにおける連続
成分の輪郭を描写し、輪郭描写された連続成分がテキス
トユニットまたは非テキストユニットを含んでいるかど
うか判定し、テキストユニットを、隣接するテキストユ
ニットの近接度に基づいて、選択的に幅方向に結合して
テキストラインを形成し、テキストラインを、隣接する
テキストラインの近接度と、テキストライン間の非テキ
ストユニットの位置とに基づいて、選択的に垂直に結合
してテキストブロックを形成し、テキストブロックを不
規則形状の曲線で囲み、前記輪郭描写工程で輪郭描写さ
れた連続成分に基づいて、テキストブロックの階層的な
ツリーを形成し、テキストブロックを少なくとも１つの
欄に適応的に分けることにより、ツリー化されたテキス
トブロックを画素データのラインに分割する。

【００１７】なお、これらの及び他の本発明の特徴及び
有利な点は、以下の添付の図面に従う好適な実施例の詳
細な説明を参照することにより、さらに容易に理解され
るであろう。

【００１８】

【実施例】以下に添付の図面を参照して本発明の好適な
実施例を説明する。

【００１９】本発明は、複写機、ファクシミリ装置、ビ
デオまたはスチルビデオカメラ、レーザビームプリンタ
等の、文字認識処理が望まれる画像処理または画像再生
装置などの様々な装置において実現される。そうした装
置では、文字画像を含む画像は、文字画像が文字認識処
理される様に処理または再生される。必要であれば、認
識された文字画像を標準化された文字セットまたはフォ
ントに換えて、原稿の文字画像ではなく標準化された文
字を再送信したり再生したりすることもできる。本発明
はまた、汎用コンピュータや、パーソナルコンピュー
タ、ワードプロセッシングまたはデータ処理機器等のオ
フィス機器、複数のビジネス機器ツールを１つの統合パ
ッケージにおいて結合した統合オフィスオートメーショ
ン機器等においても実現され得るものである。

【００２０】図２は本発明の代表的な実施例の外観を示
す図である。図２において、ＩＢＭ−ＰＣ（商標）また
はＰＣ互換性を持つコンピュータ等のコンピュータ１０
が示されており、コンピュータ１０は、マイクロソフト
ウインドウズ・オペレーティングシステム（商標）等の
グラフィカル・ユーザインタフェース・オペレーティン
グシステムを備えている。コンピュータ１０にはカラー
モニタ等の表示画面１１が設けられている。コンピュー
タ１０は、さらに、白黒、中間調、カラービットマップ
画像等のデータファイルを格納したり、コンピュータ１
０がデータファイルを操作したり、表示画面１１を通じ
てデータをオペレータにファイルの形で提示するための
プログラム・インストラクション・シーケンスを含むア
プリケーションプログラムファイルを格納するための、
コンピュータディスクドライブ１４等のマスク格納装置
を備えている。例えば、ディスクドライブ１４上のアプ
リケーションプログラムは、光ディスク上のデータにア
クセスするアプリケーションプログラムや、他の情報処
理プログラムを含むものである。

【００２１】テキストデータ入力や、オペレータが表示
画面１１に表示されたデータの選択や操作を行なうため
のキーボード１５がコンピュータ１０に接続されてい
る。さらに、表示画面１１上で処理対象物の選択や操作
を行なうための、マウス等のポインティングデバイス１
６が設けられている。スキャナ１８は文書または他の画
像を走査して、例えば、それらの文書のビットマップ画
像をコンピュータ１０に提供する。それらの画像はコン
ピュータ１０により直ちに使用されるか、あるいはコン
ピュータ１０はこれらの画像をディスクドライブ１４へ
格納したり、または光ディスクドライブ２０を介してデ
ィスク１９等の光ディスクに格納する。引き続くコンピ
ュータ１０による処理のために、ビットマップ画像デー
タはディスク１９またはコンピュータディスクドライブ
１４から検索される。電話リンク２１またはネットワー
ク２２を介して、コンピュータ１０内の不図示のモデム
を通じて、ビットマップ画像データ及び他のデータを供
給するための他の手段も設けることができる。さらに、
取り外し可能なフロッピーディスクドライブを設けるこ
とも可能であり、または、不図示のビデオインタフェー
スを介して、デジタルまたはアナログのビデオ情報をコ
ンピュータ１０に入力してもよい。

【００２２】コンピュータ１０により処理された情報を
出力するために、プリンタ２４が設けられている。

【００２３】コンピュータオペレータ命令に従って、そ
してオペレーティングシステムの制御下で、格納された
アプリケーションプログラムが選択的に作動され、入力
されたデータの処理や操作を行なう。例えば、以下に詳
細に説明する様に、文字認識プログラムは、オペレータ
がスキャナ１８を介して文書画像をスキャン入力し、ス
キャンされた画像を光ディスク１９へ格納するために動
作する。オペレータはオペレーティングシステム及びア
プリケーションプログラムに従って、スキャン入力した
文書を光ディスク１９から検索することができる。

【００２４】図３は本発明の１実施例の詳細なブロック
図であり、スキャニング、ファクシミリ、情報送信及び
受信、そして情報処理能力を有し、情報処理能力として
は選択的にワードプロセッシング及びデータ処理能力を
有する統合オフィスオートメーション機器に関するもの
である。

【００２５】図３の装置において、画像はファクシミリ
送信や、原稿のスキャン入力や、モデムを介した遠隔受
信等によって入力される。本実施例によれば、画像中の
文字を認識して、認識された文字のコンピュータテキス
トファイルを作成し、装置のワードプロセッシング、ス
プレッドシートプロセッシングまたは他の情報処理能力
を使用してテキストファイルを修正することができる。
修正されたテキストファイル（または修正を行なってい
ないテキストファイル）は再送信されたり、あるいは、
例えばテキストファイルをスピーカまたは通常の音声電
話機により音声再生するスピーチ合成技術を用いて出力
することができる。

【００２６】図３では、プログラム可能なマイクロプロ
セッサ等の中央処理装置（ＣＰＵ）３０がバス３１と接
続されている。さらにバスには、画像を画素単位で画像
メモリ（例えば下記のＲＡＭ３２）へスキャン入力する
スキャナ１８、デジタルデータをアナログ形式で電話線
２１ａを介して送受信するモデム３３、及び画像を電話
線２１ｂを介して送受信するファクシミリ装置３４（所
望により不図示の電話を含む）が接続されている。電話
線２１ａ、２１ｂは同じ線でもよいし、不図示のネット
ワーク制御部を通じて統合されていてもよい。バス３１
には、さらに、ＣＰＵ３０に実行される単数または複数
のコンピュータプログラムを格納する読み取り専用メモ
リ（ＲＯＭ）３５、認識処理の間に入力された文字が参
照される文字の辞書を格納する文字ディクショナリ３
６、入力された画像データ、処理された画像データ、画
像構造に関する情報等を格納するランダムアクセスメモ
リ（ＲＡＭ）３２、文字認識処理の間に認識された文字
の識別が出力される出力装置３７（ディスクメモリまた
はスピーカ／音声電話線インタフェースを有するスピー
チ合成装置）、本装置によって処理された画像を表示す
るプリンタ／表示装置２４、及びオペレータが装置を制
御するためのキーボード１５が接続されている。

【００２７】バス３１に接続された装置は１つの統合オ
フィスオートメーションツールに収納されているが、こ
れらの装置の幾つかあるいは全てが選択的にスタンドア
ロン形式で提供され得ることも明らかである。

【００２８】スキャナ１８、モデム３３、ファクシミリ
３４は、画像データを装置へ入力する選択的な形の入力
手段を構成している。スキャナ１８を使用した場合、原
稿はライン単位、画素単位でスキャンされて、そしてＣ
ＰＵ３０の制御下で、画像データの画素がＲＡＭ３２の
画像メモリにビットマップメモリ形式で格納される。モ
デム３３を使用した場合、画像データは電話線２１ａよ
りアナログ形式で受信され、モデム３３によりデジタル
画素形式に変換され、ＲＡＭ３２の画像メモリに格納さ
れる。ファクシミリ３４を使用した場合、画像データは
修正ハフマンランレングス符号化方式等で圧縮または符
号化された形で、電話線２１ｂより受信される。圧縮画
像データは、ファクシミリ３４によって公知の技術によ
りデジタル画像画素データに伸張（uncompressed）さ
れ、ＣＰＵ３０は画像データの画素をビットマップ形式
でＲＡＭ３２の画像メモリに格納する。他の入力手段も
勿論使用可能である。例えば、画像データは、ディスク
メモリ等の大型記憶装置から簡単に検索して獲得するこ
とができ、また、ビデオまたはスチルビデオカメラから
得ることもできる。

【００２９】ファクシミリ３４と出力装置３７は、文字
認識された画像データを装置から出力するための選択的
な出力手段を構成している。ファクシミリ３４を使用し
た場合、本実施例に従って認識処理された文字画像は標
準文字セットまたはフォントに変換され、装置から送信
することができる。これにより、例えば、文字画像を含
む画像の受信、文字画像の文字認識、再送信前に行なう
認識された文字の標準文字フォントへの変換が可能とな
り、劣化した画像品質を向上させる。

【００３０】モデム３３及び出力装置３７は、画像デー
タの認識された文字の識別を、例えばＡＳＣＩＩコード
で出力したり格納するための選択的な手段である。文字
の識別は装置内に（ディスクメモリ内等に）格納され、
または送信のためにモデム３３を介して遠隔ロケーショ
ンへ出力される。ＡＳＣＩＩコード等の文字の識別をフ
ァクシミリ互換性のある形式へと形式再変換するための
手段を設けることも可能で、ファクシミリ３４を起動す
ることなく、モデム３３を通じて離れて位置するファク
シミリ装置へ送信することができる。

【００３１】プリンタ／表示装置２４は、文字認識のい
ずれかのステップのための恒久的な記録を出力及び形成
するだけではなく、文字認識処理の過程を監視するため
の手段である。キーボード１５は、オペレータが図３の
装置の操作を制御するためのものである。

【００３２】図４は本実施例によるブロック選択技術が
有益に使用される１方法を理解するのに役立つ、全体的
な文字認識処理を示すフローチャートである。図４の処
理ステップは、プログラムＲＯＭ３５に格納されたコン
ピュータプログラムに従ってＣＰＵ３０により実行され
る。

【００３３】ステップＳ４０１では、画素画像データが
装置へ入力されＲＡＭ３２へ格納される。画像データは
画像を画素単位で表現している。好ましくは、画素デー
タは２値画素データ、つまり白黒画像データである。し
かし、画像データは、各画素が複数のグレイスケールレ
ベルの内の１つで表現される中間調画像データであって
もよいし、各画素が、その色を符号化するマルチビット
ワードで表現されるカラー画像データであってもよい。
それらの場合または画素データが２値画素データではな
い他のいずれの場合でも、ＲＡＭ３２へ格納する前に、
非２値画素データを２値画素データへ変換するための閾
値処理が行なわれる。

【００３４】好ましくは、ステップＳ４０１で入力され
た画素画像データはポートレートタイプの画像、つまり
左上隅から右下隅まで読んだ画像である。もし画像がそ
の様に構成されてない場合、例えば、ランドスケープタ
イプの画像である場合、画素画像データは、ポートレー
トタイプの画像を表現する様に翻訳される。翻訳は、画
像データを翻訳することを命じる、キーボード１５を介
したオペレータ入力の命令に従って行なわれる。

【００３５】ステップＳ４０２では、画像データが前処
理される。通常、劣化した文字や画像を向上させること
等により画像データを補強する様に前処理フィルタが使
用される。適切な画像補強技術は、同出願人による、１
９９１年１０月４日出願の審査中の米国特許出願第０７
／７７１、２２０号で説明されている。

【００３６】ステップＳ４０２で、必要であれば、認識
処理の速度を上げるために、可能な程度に精度とコスト
を落として、画素画像データの画素数を減らすか、圧縮
を行なってもよい。例えば、ｍ×ｎブロックの画素（ｍ
とｎは異なる）の画素値を平均して、そのｍ×ｎブロッ
クの平均値の単一の画素に変換することを行ってもよ
い。

【００３７】ステップＳ４０３では、画像の各セグメン
トにおける画像データのタイプを特徴付け、テキスト情
報、グラフィックス情報、ライン画像情報、写真情報等
の情報のブロックを指定して識別するために、ブロック
選択が行なわれる。さらに、ステップＳ４０３のブロッ
ク選択では、画像の各部分が、後述のステップＳ４１２
で説明される様な適切な順序に再構成される様に、階層
的ツリー構造への画像の配置も行なわれる。例えば、階
層的ツリー構造には、２つの欄の画像データが、欄１よ
りのテキストが欄２よりのテキストへ読み込まれるのを
防止する様に、欄１のテキストを欄２のテキストに先行
して再構成する情報が含まれている。ステップＳ４０３
によるブロック選択を以下に詳細に説明する。

【００３８】最初の情報のブロックがＲＡＭ３２に格納
された画像から選択され、ステップＳ４０４では、それ
がステップＳ４０３で決定されたブロック識別に基づい
てテキストブロックか否かが決定される。その最初のブ
ロックがテキストブロックではない場合、ステップＳ４
０５へ進み、次のブロックが選択されて、ステップＳ４
０４へ戻る。

【００３９】ステップＳ４０４で、ブロックがテキスト
ブロックである場合はステップＳ４０６へ進み、テキス
トブロックに対しライン分割が行なわれる。ライン分割
では、テキストブロックにおけるテキストの個々のライ
ンがテキストブロックのテキストの他のラインから分割
されて、分割されたラインは、次に詳細に説明される様
に順次処理される。

【００４０】ステップＳ４０７では、あるラインの各文
字が、そのラインの他の文字から切り離しあるいは分割
され、個々の文字が次に詳細に説明される認識処理ルー
ティンに提供される。

【００４１】ステップＳ４０８において、各文字に対し
て認識処理が文字単位で行なわれ、各文字は、文字ディ
クショナリ３６に格納された標準文字と公知の技術で比
較される。文字ディクショナリ３６のエントリは、通常
単一の文字に対するものであるが、ある文字の連続は切
り分けるのが困難であり（例えば「ｆｉ」）、また単一
の文字も時折不用意に切れるので（例えば「ｊ」）、文
字ディクショナリは一文字以外の他のエントリも有して
いる。得に、ディクショナリは切り離しが困難な接触文
字の組のためのエントリを有している。さらに、ティク
ショナリはしばしば不用意に切れる文字の部分のための
エントリも有している。

【００４２】比較に基づいて、文字画像に対してある識
別が選択されて、ＲＡＭ３２へ格納されるか、または出
力装置３７へ出力される。また、所望により、識別され
た文字をプリンタ／表示装置２４上で表示してもよい。

【００４３】ステップＳ４０９では、テキストブロック
に対する処理が完了したかどうかを判定する。処理が完
了していない場合は、ステップＳ４０６（または、ステ
ップＳ４０７が適切ならばステップＳ４０７）へ戻り、
更なるライン分割または文字分割処理を行なう。ブロッ
ク処理が完了すると、ステップＳ４１０へ進んで、ペー
ジに対する処理が完了したかどうかを判定する。ページ
の処理が完了していない場合は、ステップＳ４０５へ戻
り、そこで同じページの次のブロックが処理のために選
択される。

【００４４】ページの処理が完了すると、ステップＳ４
１０からＳ４１１へ進み、後処理が行なわれる。後処理
にはコンテクストチェッキングやスペルチェッキング等
の技術が含まれ、ステップＳ４０８において実行された
処理の様に個々の文字に基づくよりはむしろ、それらの
文字の識別が生じるコンテクスト（全体的観点）に基づ
いて、ステップＳ４０８の認識処理で認識された文字の
識別結果が修正される。

【００４５】ステップＳ４１２では、画像データはブロ
ック選択ステップＳ４０３で規定されたツリー構造に基
づいて再構成される。ページ再構成により、画像データ
は、適切な順序に変換される。例えば、脚注は本文テキ
ストから切り離され、欄は他の欄と混合されるというよ
りは、むしろその欄の後へと続き、グラフィックまたは
線画データはページの認識された文字テキストにおける
適切な位置へ挿入される。

【００４６】上述のグラフィック画像または線画像に関
連する説明文（caption）はそれらの画像に隣接して挿
入される。他のルールも適用可能である。例えば、ペー
ジの物理的再構成は必要ではない場合に、ページからテ
キストを抽出するために再構成を行なう、ということも
可能である。

【００４７】ステップＳ４１３では、再構成されたペー
ジは例えば出力装置３７に格納される。そして、ＲＯＭ
３５に格納された他のアプリケーションプログラムに従
い、ＣＰＵ３０により実行される形で、スプレッドシー
トやワードプロセッシング等の情報処理が行なわれる。
続いて、処理された情報（または必要であれば処理を行
なっていない情報）は、様々な手段により、例えばファ
クシミリ３４、モデム３５、またはコンピュータテキス
トファイルを音声再生するスピーチ合成装置による通常
の音声電話機により、再送信される。

【００４８】図５は図４のステップＳ４０３におけるブ
ロック選択処理を説明するための全体的なフローチャー
トである。ただし、ブロック選択処理は文字認識システ
ムとは別に使用される。例えば、画像再生機器におい
て、あるタイプのブロックに用いられる第１の画像再生
方法を生じ、次のタイプのブロックに用いられる第２の
画像再生方法を生じるため、またはデータ圧縮方式にお
けるブロック選択を使用するために、ブロック選択処理
を用いることが可能である。

【００４９】ステップＳ５０では、ブロック選択処理速
度を上げることが必要であれば、画像補強及び／または
データ縮小を行なうことができる。データ縮小が行なわ
れると、ブロック選択は縮小された画像に対して行なわ
れる。しかし、図４の文字認識処理（つまりステップＳ
４０４〜Ｓ４１３）に影響を与えない様に、ブロック選
択処理の終了時点で、選択されたブロックは縮小されて
いない画素画像データに対して適用される。

【００５０】画像データ縮小はｍ×ｍ画素ブロック毎に
黒画素の連続性を評価することにより進められる。例え
ば、３×３画素のブロックにおいて２つの連続する黒画
素が存在すれば、その３×３画素ブロックは単一の黒画
素に縮小される。逆に、３×３画素ブロックに２つの連
続する黒画素が存在しなければ、その３×３画素ブロッ
クは単一の白画素に縮小される。好ましくは、４×４画
素ブロックの黒画素の評価が行なわれる。この原理は原
画像の連続性を保持するためのものである。

【００５１】ステップＳ５１では、画素画像が分析され
た、連続成分が検出され、その大きさ及び他の連続成分
との相対的位置に基づいて、検出された連続成分が分類
される。連続成分は白画素によって完全に囲まれた黒画
素のグループである。従って、連続成分は、少なくとも
１つの白画素によって他の黒画素のグループから分離さ
れた黒画素のグループである。図６を参照して詳細に後
述するが、ステップＳ５１では連続成分（各画素を囲む
８方向の内いずれかで連続した成分）の検出が行なわれ
る。ステップＳ５２では、連続成分から得られたサイズ
情報及びある統計上の値（下記に詳説する）に基づい
て、各連続成分に分類が割り当てられる。詳細は後述す
るが、各連続成分はテキストユニットまたは非テキスト
ユニットとして分類される。ステップＳ５３において、
非テキストユニットは更なる分類に掛けられ、フレーム
データか、中間調画像か、線画か、表かまたは他のテー
ブル状の構造のテキストデータか、垂直線か、水平線
か、垂直または水平な斜線であるか、または未知の分類
に相当するかどうかが、その厚さや黒画素の割合に基づ
いて判定される。連続成分の組織的データを提供し、ス
テップＳ４１２で前述した様にデジタルデータの再構成
を助成するために、各連続成分に対して階層ツリー構造
が展開される。

【００５２】ステップＳ５４では、非テキスト連続成分
のエッジに沿って不可視線（白線）がサーチされる。こ
のような不可視線を使用する理由は、テキスト欄の間の
距離が、同じページの大抵の欄の隙間よりも例外的に狭
いものがあるためである。こうした不可視線の検出は、
後で隣接するテキスト連続成分が実際は同じブロック内
にグループ分けされるべきかどうかを判定するのに役立
つ。

【００５３】ステップＳ５５では、ステップＳ５１で分
類することができなかった非テキストユニットが分析さ
れて、大きいフォントサイズのタイトルであるかどうか
が判定される。タイトルである場合は、ユニットは適切
に再指定されて、ツリー構造が更新される。タイトルは
ステップＳ４１２におけるページ再構成に役立つもので
ある。未知の非テキスト及びステップＳ５２、Ｓ５３で
識別されたテキスト成分をグループ化することにより、
水平または垂直方向にタイトルラインが形成される。こ
のグループ化の前に、グループ化されると想定される成
分の間の距離と、タイトルが水平または垂直である場合
に可能なタイトルの長さとに基づいて、グループ化の方
向が決定される。

【００５４】ステップＳ５６では、後述するが、テキス
トブロックがテキスト連続成分から形成される。ステッ
プＳ５７では、形成されたテキストブロックを可視線ま
たは不可視線が横切っていた場合、テキストブロックは
分割される。これらの線を使用する理由は、極端に狭い
欄間の隙間のためだけではなく、異なるブロックのテキ
スト連続成分の間の距離が、斜めの場合に、特に不可視
または可視線がそれらを分けている場合に、それらの成
分が１グループにするのに十分に短くできるためであ
る。

【００５５】ステップＳ５８では、各テキストブロック
の方向が検出される。この様に、本実施例によれば、テ
キストブロックが形成される前には歪み検出も画像回転
も行なわれることはない。こうして、一般のブロック選
択アルゴリズムとは異なり、本実施例は予め歪み検出や
画像回転を行なうことなく、ページ画像に直接テキスト
ブロックを形成する。これにより、画像回転に費やされ
る時間が節約され、歪み検出による不正確さを避けるこ
とができる。さらに、ある特殊な視覚効果を達成するた
めに、同じページのテキスト領域の幾つかを、特別に斜
めに編集することも可能である。こうした場合、歪み検
出及び画像回転は、ページ画像を直立スタイルに修正す
るのに役立つことになる。こうして、本実施例によれ
ば、テキスト及び非テキストブロックは、スキャンされ
たページの歪みに係わり無くサーチされる。テキストブ
ロックが形成された後、各テキストブロックの歪み方向
が個別に識別される。

【００５６】ステップＳ５９では、テキストブロックの
方向に基づいて、各テキストブロックのテキストライン
が形成される。ステップＳ６０では、テキスト及び非テ
キストブロック表現をより簡潔で明瞭にするために後処
理が行なわれる。例えば、以前のブロック選択アルゴリ
ズムは四角形で表現されたテキストブロックを形成する
ものであった。しかし、歪んだ文書の場合、そうした四
角形ではテキストブロックの分離が不明瞭になる。テキ
ストブロックの四角形領域が重なる場合にテキストブロ
ック間の分離を明白にするために、本実施例では各テキ
ストブロックをより簡潔に囲む不規則な形状の曲線を提
供するものである。この曲線による囲みは表示効果を補
強するだけではなく、ブロック画像の抽出にも有効であ
る。テキストブロックを囲む不規則形状の曲線は、テキ
ストブロック形成ステップＳ５６でテキストブロックが
新たに形成または更新される度に形成することができ
る。

【００５７】図６Ａ、図６Ｂ、図６Ｃ、図６Ｄは、上述
のステップＳ５１〜Ｓ５３の処理を詳細に示すフローチ
ャートである。このフローチャートには、画素画像デー
タの連続成分がどの様にして検出されるか、またそれら
の連続成分がどの様にして分類されるかが示されてい
る。図６Ａ〜図６Ｄの各処理ステップは、プログラムＲ
ＯＭ３５に格納されたプログラムステップに従ってＣＰ
Ｕ３０により実行されるものである。

【００５８】ステップＳ６０１では、輪郭トレーシング
により画素画像データの連続成分が検出される。輪郭ト
レーシングは図７Ａに示す様な画像データをスキャンす
ることにより行なわれる。スキャニングは矢印Ａで示さ
れる様に画像の右下部から左へと進み、画像の右の境界
に到達するまで続く。スキャニングは、例えば左上から
右下へ向けたり、他の方向へも行なうことができる。黒
画素があると、隣接する画素が符号７１で示される様な
放射状のパターンになった順序で調べられ、黒画素の隣
接画素も黒画素であるかどうかが判定される。放射状パ
ターン７１は共通の中心から延びる８つの番号の付いた
ベクトルを持つので、以下この輪郭トレーシングは「８
方向」トレーシングと称される。隣接する黒画素が見つ
かると、処理は上述の様に画像の外郭のトレースが終わ
るまで進められる。こうして、図７Ｂに示す様に、矢印
Ａの方向のスキャニングは文字「Ｑ」の尾の部分に対応
する点７２を突き止める。隣接画素の捜査は、文字
「Ｑ」の外郭がトレースされてしまう様に、放射状パタ
ーン７１に従って進められる。閉じた輪郭の内側の部分
はトレースが行なわれない。

【００５９】１つの連続成分が検出され、その輪郭が８
方向トレーシングによりトレースされた後、スキャニン
グは次の黒画素が見つかるまで進められる。こうして、
例えば、完全に黒く塗りつぶされた領域を表すオブジェ
クト７４が８方向トレースされる。同様に、単語「non-
text」を示す手書き文字の非テキストオブジェクト７５
が、単語「text」を形成する個々の文字からなるテキス
トオブジェクト７６における個々の単語と同様にトレー
スされる。図７Ａに示すスキャニングは画素データの全
ての連続成分が検出されてその輪郭が８方向トレースさ
れるまで続けられる。

【００６０】そして、ステップＳ６０２に進み、各連続
成分が四角形化される。詳しくは、各連続成分の周りに
最小の可能な四角形が描かれる。こうして、図７Ｂに示
す様に、四角形７７がオブジェクト７２の周りに、四角
形７９がオブジェクト７４の周りに、四角形８０がオブ
ジェクト７５の周りに、そして四角形８１ａ、８１ｂ、
８１ｃ、８１ｄがテキストオブジェクト７６ａ、７６
ｂ、７６ｃ、７６ｄの周りに夫々描かれる。

【００６１】ステップＳ６０３では、ツリーの位置が各
四角形に割り当てられる。殆どの部分について、ステッ
プＳ６０３で得られたツリー構造は画素画像における各
オブジェクトに対し直接ツリーの根から進んでいる。こ
れは、連続成分の外郭のみがトレースされ、閉じた輪郭
の内側の部分はトレースされないためである。この様
に、図７Ｃに示す様に、連続成分７２に相当する四角形
７７はページの根から直接進んでいる。しかし、非テキ
ストオブジェクト７５に相当する四角形８０や、テキス
トオブジェクト７６ａ、７６ｂに相当する四角形８１
ａ、８１ｂの様な、その四角形が他の連続成分の四角形
の中にすっかり収まっている連続成分については、そう
した連続成分を囲んでいる成分（この場合成分７４）か
らの末裔として指定されている。さらに、少なくとも１
つの枝分れ成分を持つ各連続成分については、その成分
自身からの「主末裔成分」として指定されている。この
様に、成分７９は他の末裔成分８０、８１ａ、８１ｂの
中に自身７９からの主末裔成分として指定されている。

【００６２】ステップＳ６０４では、ツリーの最初のレ
ベルにある連続成分が、テキストユニットまたは非テキ
ストユニットに分類される。分類は２つのステップで進
む。最初のステップでは、連続成分の四角形が所定の大
きさの閾値と比較される。連続成分を囲む四角形の高さ
及び幅が最大フォントサイズに相当する第１の所定閾値
より大きい場合、連続成分は非テキストユニットと分類
されて「非テキスト」属性がユニットに与えられる。

【００６３】第２のステップでは、全てのユニット、つ
まりまだ非テキストとして分類されていないユニット
が、残りの全ての連続成分の集合的なサイズに基づいて
適応的に決定された閾値と比較される。詳しくは、非テ
キストの指定がされていない全ての四角形のうちで通常
のテキストサイズの大きい方（１２ｐｔ）及び中間のサ
イズ（中間の高さと中間の幅のうち小さい方の四角形が
選択される。選択された値はスカラーで乗算され（説明
の都合で、１．５として選択されている）、高さ及び幅
について適応的に決定された閾値とされる。決定された
閾値より大きい全てのユニットは非テキストであると推
定され、その様に分類される。一方、適応的に決定され
た閾値のいずれかより小さく所定のテキスト特性に合う
ユニットはテキストと推定される。ユニットはこの様に
分類され適切な属性が与えられる。これらの分類は図６
Ａ〜図６Ｄの残りで述べられる様な精密な分類であり、
下記により詳細に説明する。

【００６４】ツリーの第１のレベルの各ユニットがテキ
ストまたは非テキストとして分類された後、テキストユ
ニットの主末裔成分を含む全ての末裔成分がテキストユ
ニットとして分類される。非テキストユニットの主末裔
成分は非テキストとして分類されるが、非テキストユニ
ットの他の末裔成分はテキストユニットとして分類され
る。

【００６５】ステップＳ６０６では、最初のユニットが
選択される。ステップＳ６０６で、そのユニットがテキ
ストユニットである場合は、ステップＳ６０７へ進んで
次のユニットが選択される。非テキストユニットが選択
されるまでステップＳ６０６〜Ｓ６０７が繰り返され、
非テキストユニットが選択された時点でステップＳ６０
８へ進む。

【００６６】ステップＳ６０８では、非テキストユニッ
トが調べられ、そこからの末裔が存在するかどうかが判
定される。例えば、図７Ｃに示す様に、非テキストユニ
ット７９は非テキスト主末裔７９とテキスト末裔８０、
８１ａ、８１ｂを含んでいる。

【００６７】ステップＳ６０８において何らかの末裔が
存在する場合、ステップＳ６０９へ進み、そのユニット
がフィルタ処理され、そのユニットが中間調（またはグ
レイスケール）ユニットであるかどうか決定する。中間
調フィルタリングでは、ユニットの末裔が調べられ、
「ノイズサイズ」ユニットより小さいサイズの末裔の数
が決定される。「ノイズサイズ」ユニットは、画像デー
タについて予測された最小フォントサイズよりも小さい
高さ及び幅を持つユニットである。ノイズサイズより小
さいサイズの末裔の数が末裔の総数の過半数である時、
ユニットは中間調画像であると判定される。従って、ス
テップＳ６１０よりＳ６１１へ進んで、「中間調」の属
性が当該ユニットに与えられる。そしてステップＳ６０
７へ戻り、処理のために次のユニットが選択される。

【００６８】ステップＳ６０９の中間調フィルタリング
でユニットが中間調画像ではないと判定されると、ステ
ップＳ６１０からＳ６１３へ進んで、ユニットからの主
末裔が更なる処理のために選択される。そしてステップ
Ｓ６１４へ戻る。

【００６９】ステップＳ６０８で非テキストユニットに
末裔が存在しないと判定されると、あるいはステップＳ
６１３で主末裔が更なる処理のために選択されると、ス
テップＳ６１４でその主末裔にフレームフィルタリング
が行なわれる。フレームフィルタリングは、問題のユニ
ットがフレームであって、ユニットを囲む四角形の幅及
び／または高さと夫々ほぼ等しい平行な水平線及び平行
な垂直線を含んでいるかどうかを判定する様に設計され
る。特に、連続成分が調べられて、画素の各列につい
て、ユニット内の連続成分の内側の部分をつなぐ最長の
距離が決定される。こうして、図８Ａに示す様に、非テ
キストユニット８２は連続成分８３を含み、その輪郭は
８４で示される様に８方向トレースされている。列
「ｉ」については、連続成分の内部をつなぐ最長距離は
輪郭の左の境界８５ａから右の境界８５ｂまでの距離Ｘ
iである。一方、列「ｊ」については、連続成分の内部
をつなぐ２つの距離が存在する。つまり連続成分の境界
上の点８６ａ、８６ｂ間の距離と、点８７ａ、８７ｂ間
の距離である。点８６ａ、８６ｂ間の距離の方が点８７
ａ、８７ｂ間の距離よりも長いため、距離Ｘiは列ｊに
関する連続成分の内部をつなぐ最長距離である。

【００７０】非テキストユニット８２におけるｎ個の列
の各々について、「ｘ」距離が求められ、非テキストユ
ニットがフレームであるかどうかを判定するために次の
不等式がテストされる。

【００７１】

【数１】

【００７２】ここでＸkはｋ番目の列に関し連続成分の
内部をつなぐ最長の距離であり（上記の通りである）、
Ｗは四角形ユニット８２の幅であり、Ｎは列数であり、
そしてたとえ画像においてフレームが歪んでいたり斜に
なっていてもフレームの検出ができる様に、閾値が予め
算出されている。１°の歪みまたは傾斜角度を許容する
ためには、「ｓｉｎ（１°）×Ｌ＋ステップＳ６０４で
計算された平均テキスト高さに等しいオフセット」で満
足な結果が得られることがわかる。

【００７３】上記の不等式が満足された場合、ユニット
はフレームデータと判定され、ステップＳ６１５からＳ
６１６へと進み、「フレーム」属性が当該ユニットに与
えられる。

【００７４】ステップＳ６１６の後、フレームデータが
表またはテーブル状に組織されたデータを含んでいる可
能性を検討する。こうして、ステップＳ６１７（図６
Ｂ）で、連続成分の内部が調べられて白輪郭が得られ
る。

【００７５】白輪郭はステップＳ６０１で検出された輪
郭と同様であるが、黒画素よりも白画素が調べられる。
こうして、図９Ａに示す様に、非テキストユニットの内
部が、矢印Ｂの方向に右下部から左上に向けてスキャン
される。最初の白画素が見つかると、その隣接画素が放
射状パターン９１に示される順序で調べられる。ただ
し、放射状パターン９１は１から４まで番号が付けられ
たベクトルを有している。従って、このステップに従っ
た白輪郭トレーシングは以下「４方向」白輪郭トレーシ
ングと称される。白輪郭トレーシングは、黒画素に囲ま
れた全ての白輪郭がトレースされるまで４方向に行なわ
れる。例えば、白輪郭トレーシングは、９６で示され
る、一般に指定された黒画素の様な、内部の他の黒画素
に加えて黒画素セグメント９２、９３、９４、９５の内
部輪郭を形成している画素に続くものである。白輪郭が
見つかる度に、非テキストオブジェクトに囲まれた全て
の白輪郭がトレースされるまで、スキャニングが上述の
様に矢印Ｂの方向に進められる。

【００７６】ステップＳ６１８では、非テキストユニッ
トの密度が計算される。密度は、連続成分の黒画素数を
数えて、その黒画素数を四角形に囲まれた画素の総数で
除算することにより求められる。

【００７７】ステップＳ６１９では、非テキストユニッ
ト内で見つかった白輪郭の数が調べられる。白輪郭数が
４以上の場合は、非テキストユニットは実際は、表また
はテーブル状に配置されたテキストブロックの連続であ
る可能性がある。従って、ステップＳ６２０（図６Ｄ）
で、白輪郭フィリング率が決定される。白輪郭フィリン
グ率は、白輪郭が非テキスト画像で囲まれた領域を埋め
る度合いである。図９Ａに示す様に、白輪郭フィリング
率は、黒画素が見つかる白空間である１００や１０１の
様な領域に加えて、完全に空白の空間である９７や９９
の様な斜線領域を含んでいる。フィリング率が高いと、
非テキスト画像が表またはテーブル状に配されたテキス
トデータのシーケンスである可能性がある。従って、ス
テップＳ６２１でフィリング率が調べられる。フィリン
グ率が高いと、非テキスト画像が表またはテーブル状に
配されたテキストデータのシーケンスである可能性があ
る。この判定の信頼度を増すためには、白輪郭が調べら
れて、それらが水平及び垂直に拡がるグリッド状の構造
を形成しているかどうかが判定される。詳しくは、ステ
ップＳ６２２では、非グリッド配列の白輪郭は、その境
界が少なくとも２つの輪郭を横切って水平及び垂直に延
びていない場合は再結合される。例えば、図９Ａに示す
様に、白輪郭９９の左の境界１０２と右の境界１０３
は、白輪郭１００の左の境界１０４と右の境界１０５に
一致する様に垂直に拡がっている。従って、これらの白
輪郭はグリッド構造に配置されているので、これらの白
輪郭は再結合されない。同様に、白輪郭１０３の上部の
境界１０６と下部の境界１０７は、白輪郭１１０の上部
の境界１０８と下部の境界１０９に一致する様に水平に
拡がっている。従って、これらの白輪郭はグリッド状構
造に配置されているので、これらの白輪郭は再結合され
ない。

【００７８】図９Ｂ〜図９Ｃは、白輪郭が結合される状
態を説明するための図である。図９Ｂは、例えば、ステ
ップＳ４０１において前述した様に中間調画像を２値画
像に変換する閾値計算を通じて形成される、非テキスト
ユニット１１１を示している。非テキスト画像１１１
は、白領域１１４、１１５、１１６、１１７、１１８、
１１９に加えて黒領域１１２を含んでいる。推定上、こ
れらの白領域のフィリング率は、ステップＳ６２１から
再結合ステップＳ６２２へ進める様に、十分に高くなっ
ている。最初に、図９Ｂに示す様に、白輪郭１１５の上
下境界が白輪郭１１７の上下境界と比較される。これら
の上下境界は一致しないので、図９Ｃに示す様に白輪郭
１１５は白輪郭１１６と再結合されて、結合された白輪
郭１１６’を生成する。図９Ｃにおいて、白輪郭１１７
の左右境界が白輪郭１１８の左右境界と比較される。こ
れらの境界は同じではないため、図９Ｄに示す様に、白
輪郭１１７と１１９は単一の白輪郭１１７’に再結合さ
れる。

【００７９】再結合が生じなくなるまで、この処理が水
平及び垂直に反復される。

【００８０】こうして、上述した様に、表に関する白輪
郭は再結合される可能性が低く、非テーブルの白輪郭、
例えば中間調画像または線画は再結合される可能性がよ
り高い。従って、ステップＳ６２３で、再結合率が調べ
られる。再結合率が高い場合、またはステップＳ６２１
でフィリング率が低い場合、非テキストフレームユニッ
トは斜線、未知の画像（an unknown）、中間調画像また
は線画である可能性があり、ステップＳ６２８へ進んで
非テキストユニットは表ではないとの指定がされて、後
述のステップＳ６４２Ａ（図６Ｂ）へ進む。

【００８１】ステップＳ６２３で再結合率が高くない場
合は、ステップＳ６２４へ進み、非テキスト画像は「表
類」として指定される。ステップＳ６２５では、８方向
に連続成分を検出して分類する様に、新たに指定された
表の内部が調べられる。ステップＳ６２６では、新しい
内部の連続成分に基づいて、階層構造が更新される。ス
テップ６２７では、内部の連続成分はテキストまたは非
テキストとして再分類され、ステップＳ６０２〜Ｓ６０
４で前述した様に、適切な属性が与えられる。ステップ
Ｓ６２７の後、表内部のテキスト連続成分が線描画、中
間調画、または未知の画であるかがサイズ、密度等に基
づいて更に分類される。フレーム内部の非テキスト連続
成分及び線描画内部の非テキスト連続成分も、ステップ
Ｓ６０８以降に説明した様に、更に分類される。

【００８２】ステップＳ６２１、Ｓ６２３において、ス
テップＳ６２１でフィリング率が高くない場合、または
ステップＳ６２３で再結合率が高い場合は、非テキスト
フレームユニットは斜線、未知の画像、中間調画像また
は線画、つまり表ではない可能性がある。

【００８３】ステップＳ６１９において、白輪郭の数が
４より少なければ、フレームユニットは表ではないと考
えられる。従って、ステップＳ６４２Ａへ進んで、フレ
ーム及び密度が約０．５に等しい閾値より小さいかどう
かが判定される。閾値は、フレーム内部のテキストユニ
ットまたは線画が画素の半分より少ないとの推測に基づ
いて選択されたものである。フレーム及び密度が閾値よ
り小さい場合、上述のステップＳ６２５〜Ｓ６２７へ戻
り、その後、ステップＳ６０７へ進んで、次のユニット
の選択が行なわれる。

【００８４】ステップＳ６４２Ａにおいて、フレーム及
び密度が所定の閾値より小さい場合、ステップＳ６４２
へ進み、フレームユニットが線画または中間調画像に分
類できるかどうか、あるいはフレームは分類できないか
（つまり、フレームは「未知の画像」である）どうか
が、より詳細に後述される様に決定される。

【００８５】ステップＳ６１５（図６Ａ）に戻って、ス
テップＳ６１４におけるフレームフィルタリングで非テ
キストユニット内のフレームが検出されなかった場合、
ステップＳ６３５（図６Ｂ）へ進み、非テキストユニッ
トがラインを含んでいるかどうかが判定される。ライン
はテキスト境界を表す有用な非テキストユニットであ
る。しかし、そうしたラインにより境界が引かれている
テキストは、しばしばラインと近接しているため、その
テキストをラインに結びつけることが可能である。従っ
て、テキストが近接した、またはテキストが近接してい
ないラインを検出する様に、ライン検出が指定される。

【００８６】ラインを単独で検出するためには、ユニッ
トの長さ方向で非テキストユニットのヒストグラムが計
算される。図８Ｂに示す様に、あるラインのヒストグラ
ム８８は、ライン幅にほぼ等しい高さの、明らかに均一
な分配を示している。ラインの幅は非テキストユニット
の幅（Ｗ）にほぼ等しい。いずれの差異も、画素画像が
形成される時に原稿文書が歪んでいた場合に結果として
生じる傾斜角度θsによるものである。従って、非テキ
ストユニットがラインを含んでいるかどうかを判定する
ためには、ヒストグラムにおける各ｃｅｌｌkが、非テ
キストユニットの幅Ｗと比較される。次に示す様に、こ
れらの値の二乗平均の平方根の差が、閾値と比較され
る。

【００８７】

【数２】

【００８８】閾値は、非テキストユニット内のラインの
歪みまたは傾斜角度θsを許容するために算出されるも
のである。１°の歪みまたは傾斜角度に対しては、

【００８９】

【数３】

【００９０】の閾値で満足な結果が得られることがわか
る。

【００９１】上記の式に従って近接物の無いラインが見
つからない場合、そのユニットがテキスト近接ラインを
含んでいるかどうかが判定される。テキスト近接ライン
が非テキストユニットに含まれているかどうかを判定す
るにために、テキストユニットが調べられて、あるライ
ンがユニット境界に沿って縦に延びているかどうかが判
定される。詳しくは、もしあるラインがユニットの縦方
向に延びていれば、図８Ｃに示す様に、ユニットを囲む
四角形の境界がそのラインの非常に近くにあるというこ
とになる。従って、四角形の境界内にある最初の複数の
黒画素における均一性が、境界からの距離の二乗の数の
合計を計算することによって調べられる。このように、
図８Ｃを参照すると、次の不等式がテストされる。

【００９２】

【数４】

【００９３】二乗の合計が所定の閾値より小さければ、
テキストが接着したラインが見つかったことになる。接
着物の無いラインに対して得られた閾値と同じ閾値で、
満足する結果を得ることができる。

【００９４】ステップＳ６３５でラインが検出される
と、ステップＳ６３６からＳ６３７Ａへ進んで、「ライ
ン」の属性が非テキストユニットに与えられる。そして
ステップＳ６０７（図６Ａ）へ戻り、次のユニットが選
択される。

【００９５】一方、ステップＳ６３５でラインが検出さ
れない場合、ステップＳ６３６からＳ６３７へ進んで、
非テキストユニットの大きさが調べられる。サイズが所
定の閾値より大きくなければ、非テキストユニットの分
類は決定できない。閾値は最大フォントサイズ及び文書
タイプ（水平、垂直、または両者混合）によって設定さ
れる。最大フォントサイズの半分だと満足な結果が得ら
れる。従って、ステップＳ６３８へ進んで「未知」の属
性が非テキストユニットに与えられ、ステップＳ６０７
（図６Ａ）へ戻って、次のユニットが選択される。

【００９６】ステップＳ６３７でサイズが所定閾値より
大きければ、ステップＳ６１７、Ｓ６１８、Ｓ６１９へ
進み、前述の様に、非テキストユニットの内部の白輪郭
がトレースされ、非テキストユニットの密度が計算さ
れ、白輪郭数が調べられる。

【００９７】ステップＳ６１９で白輪郭数が４より大き
くなければ、上述の様にステップＳ６４２Ａ、Ｓ６４２
へ進む。ステップＳ６４２ではユニットのサイズが計算
されて、線画または中間調画像を構成できる程大きいか
どうかが判定される。このサイズ判定は、黒画素の最大
ランレングスに加えて、非テキストユニットの高さ及び
幅と文書タイプ、に基づいて行なわれる。例えば、非テ
キストユニットの高さ及び幅が最大フォントサイズより
大きくない場合は、その非テキストユニットは中間調画
像または線画になる程大きくはないため、ステップＳ６
４３へ進み、「未知」の属性が与えられる。さらに、非
テキストユニットの幅は最大フォントサイズより大きい
が黒画素の最大ランレングスは最大フォントサイズより
大きくない場合も、ステップＳ６４３へ進み、「未知」
の属性が与えられる。そしてステップＳ６０７（図６
Ａ）へ戻り、新たなユニットが選択される。

【００９８】ステップＳ６４２で、非テキストユニット
が線画または中間調画像になる程大きい場合、ステップ
Ｓ６４３Ａへ進み、非テキストユニットが水平または垂
直の傾斜したラインであるかどうかが判定される。その
後、ステップＳ６４４へ進み、非テキストユニットが線
画か中間調画像であるかが判定される。ユニットが線画
として、または中間調画像として分類されるかどうか
は、ユニット内の黒画素の平均水平ランレングス、ユニ
ット内の白画素の平均水平ランレングス、白画素対黒画
素の比、及び密度に基づいて判定される。一般に、非常
に暗い画像は中間調画像と考えられ、明るい画像は線画
と考えられる。

【００９９】詳しくは、白画素の平均ランレングスがゼ
ロにほぼ等しく（つまり、暗い部分が優勢または点描画
の様な場合）、ステップＳ６１８で算出される様な密度
が、ユニットが白より黒の方が強く（つまり、約１／２
に等しい第１の閾値より密度が高い）、そして殆どの列
が長い黒ランレングスを含んでいることを示す場合は、
フレームユニットは中間調画像であると判定される。密
度が第１の閾値よりも高くない場合は、ユニットは線画
であると判定される。

【０１００】白画素の平均ランレングスがゼロにほぼ等
しくはなく、白画素の平均ランレングスが黒画素の平均
ランレングスより大きく、そして殆どの列に長い黒ラン
レングスが含まれていない場合は、フレームユニットは
線画であると判定される。しかし、白画素の平均ランレ
ングスが黒画素の平均ランレングスより大きくない（つ
まり、再び、暗い部分が優勢な画像である）場合、更な
るテストが必要である。

【０１０１】詳しくは、黒画素数が白画素数より大幅に
少ない場合（つまり、白画素数で割った黒画素数が、２
に等しい第２の閾値より大きい場合）、フレームユニッ
トは中間調のユニットであると判定される。一方、白画
素数で割った黒画素数は第２の閾値より大きくないが、
ステップＳ６１８で求めた密度が第１の閾値より大きい
場合は、ユニットは中間調画像であると判定される。そ
うでなければ、ユニットは線画であると判定される。

【０１０２】従って、ステップＳ６４４でユニットが線
画であると判定されると、ステップＳ６４５へ進み、
「線画」の属性が与えられ、ステップＳ６４６で全ての
末裔成分が現在の親成分から移動されて、２代前の親の
直接の末裔とされる。詳しくは、一度ユニットが線画で
あると判定されると、文字認識のためにいずれのブロッ
クも線画から選択されることはない。その後、ステップ
Ｓ６２５、Ｓ６２６、Ｓ６２７へ戻り、それからステッ
プＳ６０７で次のユニットが選択される。一方、ステッ
プＳ６４４でユニットが線画ではないと判定されると、
ステップＳ６４７へ進み、「中間調」の属性が与えら
れ、ステップＳ６４８で全ての末裔成分が現在の親成分
から移動されて、２代前の親の直接の末裔とされる。そ
して、ステップＳ６０７へ戻り、次のユニットが選択さ
れる。

【０１０３】本実施例は、上述のように判定された非テ
キストユニットに加えて、傾斜した垂直ライン及び水平
ラインを、その厚さや完全性に基づいて識別する。

【０１０４】ステップＳ５３に２つの付加的機能を取り
入れることも可能である。詳しくは、テキスト文字が下
線より分離されるような、ライン近接物分離機能の実行
が可能である。２番目の機能としては、点線、破線、ま
たは装飾された線（直線でも斜線でも）の検出が実行可
能である。

【０１０５】ライン近接物分離機能は、テキスト（ある
いは他のテキストのサイズの近接物）が、何らかの非テ
キスト成分（直線、水平線、フレーム等）に付随してい
るように見える所に取り入れることができる。例えば、
テキスト文字が下に引かれた水平線に近接しているよう
に見える場所では、テキスト文字がテキスト連続成分と
して特徴付けられ、ライン画素が非テキスト連続成分と
して検出される様に、テキスト文字をラインから切り離
す必要がある。

【０１０６】テキストとラインの近接状態を分離する方
法は、まずそうした近接物の存在を検出することで実行
される。ラインの場合、ラインの片側のエッジはスムー
ズであると判定され、しかし反対側のエッジはスムーズ
ではないと判定された場合、そのスムーズでない方のエ
ッジに何らかの付着物が存在している。フレームの場
合、外郭のエッジのいずれかがスムーズでない場合、そ
うしたフレームエッジに何らかの付着物が存在している
ことになる。

【０１０７】次に、付着されたライン（またはフレーム
のエッジ）の２つの端点が算出されるが、これらの２つ
の端点の位置は非スムーズ側の画像アウトラインに基づ
いている。そして、「分離線」が算出された２つの端点
の間を通って形成され、付着物は分離線に沿った線から
切り離される。付着物はラインから「分離線」に沿って
切り離され、付着物とラインはそれぞれ処理されて、付
着物がテキスト連続成分か非テキスト連続成分かが判定
されるが、好ましい形では、分離された付着物はテキス
ト連続成分として分類される。

【０１０８】点線、破線、また装飾された線の存在を検
出する方法は、垂直線、水平線、水平斜線、垂直斜線の
いずれかの属性を各検出された線に与えることで実行さ
れる。そうした非連続線を検出するために、水平及び／
または垂直な小さいサイズの（ピリオドの大きさと同様
である）テキスト連続成分が収集される。次に、収集さ
れた成分は、それらの相対的な距離に基づいて異なるグ
ループに分配される。各グループについては、そのサイ
ズが水平、垂直、または斜線として十分かどうかが判定
される。十分でなければ、そのグループが点線であり得
るかどうかがチェックされる。対象のグループがライン
として可能であれば、グループはサイズとグループ間の
間隙の明瞭度とに基づいて再編成される。その後、グル
ープは再びチェックされて点線であるかどうか判定され
る。

【０１０９】グループの幅が垂直線と同様であって、対
象のラインの周辺に垂直なラインが存在し、グループと
ラインの間の間隙が明瞭であれば、グループは垂直線と
考えられる。そうでない場合は、グループの長さが水平
線と同じであるか、周辺に水平なラインが存在し、グル
ープとこのラインの間の間隙が明瞭であるかどうかが判
定される。そうである場合には、検出された非連続ライ
ンは水平線であると決定される。

【０１１０】画素画像における全ての連続成分が検出さ
れ、図６（図５のステップＳ５３）で説明した様に分類
されると、図１０に示されるような修正されたツリーが
得られる。図示の様に、ツリーの根は画素画像データの
ページに相当する。根から出ているのはテキストブロッ
ク、内容の不明な非テキストブロック、フレーム、写
真、及び線の分類である。フレームから出ているのはテ
キストブロック、未知の非テキストデータ、写真や線の
テキストブロックを含む表である。

【０１１１】図５に戻り、ステップＳ５３で全ての非テ
キスト連続成分が分類されると、ステップＳ５４では非
テキスト連続成分のエッジに沿った不可視線（白線）が
サーチされる。そうした不可視線は（ステップＳ５２で
求められた不可視線も合わせて）、ステップＳ５７で、
可視または不可視線がテキストブロックを横切っている
場合に、テキストブロックを分離するのに使用される。
この手順は後で詳細に説明する。

【０１１２】ステップＳ５５で、ステップＳ５３で分類
された未知の非テキスト連続成分を用いて、水平及び垂
直タイトルラインが形成される。これらの未知の非テキ
スト連続成分は、グループと想定される成分間の距離
と、タイトルが水平または垂直である場合に可能なタイ
トルな長さとに基づいて、名目上垂直、水平、または傾
斜のタイトルの方向を検出するのに使用される。この方
法を用いて、各タイトル連続成分が水平及び垂直方向の
非常に近接したブロックと比較され、より近いブロック
に水平または垂直タイトルが添付される。

【０１１３】ステップＳ５６では、テキスト連続成分は
テキストブロックを形成するのに用いられる。簡潔に述
べると、各テキスト連続成分に対し、周辺にある近い水
平及び垂直の成分がサーチされて、集成プロセスで、テ
キストブロックとしてグループ化される。プロセスを図
１１に従って詳細に説明する。

【０１１４】図１１において、ステップＳ５２で識別さ
れたテキスト連続成分を用いて、ステップＳ５６１でＨ
−ＧＡＰ及びＶ−ＧＡＰが計算される。これらはそれぞ
れ、隣接するテキスト連続成分間の水平及び垂直中央間
隙部である。ステップＳ５６２では、全てのテキスト連
続成分が、その垂直な位置によりソートされる。ステッ
プＳ５６３では、現在のテキストブロックの形成が開始
される。ステップＳ５６４では、ソート順に連続成分が
抽出され、値Ｖ−ＤＩＳＴ及びＨ−ＤＩＳＴとが計算さ
れる。これらの値はそれぞれ、抽出された連続成分と現
在のテキストブロックの間の垂直及び水平距離である。
利用可能な連続成分が存在しなければ、ステップＳ５６
３へ戻り、次のテキストブロックが形成される。

【０１１５】ステップＳ５６５では、抽出された連続成
分について、Ｖ−ＤＩＳＴがＶ−ＧＡＰより大きいかど
うか、またはＨ−ＤＩＳＴがＨ−ＧＡＰより大きいかど
うかが判定される。ステップＳ５６５でいずれかに該当
すれば、抽出された連続成分は現在のテキストブロック
内には存在しないことになるので、ステップＳ５６４へ
戻り、ソート順に次の連続成分が抽出される。一方、ス
テップＳ５６５でいずれにも該当しない場合は、抽出さ
れた連続成分は現在のテキストブロック内に存在するこ
とになるので、ステップＳ５６６へ進む。

【０１１６】ステップＳ５６６では、抽出された連続成
分と、現在のテキストブロックに既に含まれている連続
成分とが、所定の条件を満たすかどうかが判定される。
好適な実施例では、所定条件は図１２に示される通りで
ある。

【０１１７】図１２において、ステップＳ５６６１で
は、抽出された連続成分が現在のテキストブロックに既
に含まれている連続成分と比較される。ステップＳ５６
６２では、値ｈ−ｄｉｓｔ及びｖ−ｄｉｓｔが計算され
る。これらの値はそれぞれ、抽出された連続成分とステ
ップＳ５６６１で識別された１つの連続成分（テキスト
ブロックに含まれている連続成分）との間の水平及び垂
直距離を表している。

【０１１８】ステップＳ５６６３では、ｖ−ｄｉｓｔが
Ｖ−ＧＡＰより小さいかどうか、そしてｈ−ｄｉｓｔが
Ｈ−ＧＡＰより小さいかどうかが判定される。ステップ
Ｓ５６６３の条件に該当しない場合は、テキストブロッ
クに含まれている連続成分は抽出された連続成分に十分
に近似していないことになるため、ステップＳ５６６１
へ戻って、現在のテキストブロック内の次のテキスト連
続成分が抽出された連続成分と比較される。

【０１１９】ステップＳ５６６３で条件に該当すれば、
ステップＳ５６６４へ進み、抽出された連続成分がテキ
ストブロックに含まれている連続成分とどのような垂直
関係にあるのかが判定される。３つの関係が可能であ
る。つまり、（１）抽出された連続成分が垂直にテキス
トブロックに含まれている連続成分の上にある、（２）
抽出された連続成分は垂直にテキストブロックに既に含
まれている連続成分の上ではなく、水平方向にある、
（３）抽出された連続成分は垂直にテキストブロックに
既に含まれている連続成分の上ではなく、斜め下方向に
ある、という関係である。条件（１）が満たされる場
合、ステップＳ５６６５へ進むが、条件（２）または
（３）が満たされる場合は、ステップＳ５６６７へ進
む。

【０１２０】ステップＳ５６６５では、現在のテキスト
ブロック内に、抽出された連続成分に近い他の連続成分
が存在するかどうかが判定される。これは、ｈ−ｄｉｓ
ｔがＷ−ＧＡＰより小さいかどうか（Ｗ−ＧＡＰはＨ−
ＧＡＰより僅かに広い）を判定することにより確認され
る。該当しない場合は、ステップＳ５６６１へ戻って、
現在のテキストブロック内の次の連続成分を用いて比較
を行なう。しかし、ステップＳ５６６５において該当す
る場合は、ステップＳ５６６７へ進み、何らかの線描オ
ブジェクト（例えば、ライン、線描画等）が抽出された
連続成分とテキストブロックに含まれている連続成分の
間に存在するかどうかが判定される。そのような線描オ
ブジェクトが存在する場合は、ステップＳ５６４へ戻
り、次の連続成分がパート順に抽出される。しかし、ス
テップＳ５６６７でそうしたオブジェクトが存在しない
と判定された場合は、図１１のステップＳ５６７へ戻
る。

【０１２１】図１１に戻り、ステップＳ５６７では、ち
ょうど処理されたばかりの、抽出された連続成分が、ス
テップＳ５２で識別された最後のテキスト連続成分であ
るかどうかが判定される。抽出された連続成分が最後の
成分でない場合は、ステップＳ５６８で、その連続成分
は現在のテキストブロックに挿入され、ステップＳ５６
４へ戻って、ソート順に次の連続成分が抽出される。一
方、ステップＳ５６７で最後の連続成分と判定された場
合は、その成分は現在のテキストブロックに既に挿入さ
れているので、図５のステップＳ５７へ戻る。

【０１２２】図５に戻って、ステップＳ５７では、ステ
ップＳ５６で形成されたテキストブロックが単一のテキ
ストブロックであるかどうか、または形成されたテキス
トブロックを横切る可視線または不可視線により、複数
のテキストブロックに分割されるべきであるかどうかが
判定される。例えば、図１３Ａはテキストブロック１３
１を示し、テキストブロック１３１内には複数の連続成
分１３２が配されている。テキストブロックに隣接する
のは非テキストブロック１３３、１３４である。非テキ
ストブロックの間にはステップＳ５４で述べた不可視
（白）線が存在している。例えば、非テキストブロック
１３３、１３４が各々写真を含み、ブロックの間に不可
視線が引かれている場合は、非テキストブロック１３３
に隣接するテキスト連続成分は非テキストブロック１３
３にのみ関係し、非テキストブロック１３４に隣接する
テキスト連続成分は非テキストブロック１３４にのみ関
係している。ステップＳ５７で形成されたテキストブロ
ック１３１が単一のテキストブロックである場合は、後
に行なわれる文字認識処理で、非テキストブロック１３
３、１３４を文字として誤認識する可能性がある。

【０１２３】図１３Ｂに示すように、不可視線１３５
（または可視線）が先に形成されたテキストブロック１
３１を横切っている場合において、テキストブロックは
２つのテキストブロック１３６、１３７に分割される。
そして、非テキストブロック１３３、１３４のそれぞれ
のテキスト連続成分が適切に処理される。ステップＳ５
７の後、ステップＳ５８へ進み、各テキストブロックの
方向が検出される。テキストブロックの方向の検出は、
テキストブロック内のテキスト連続成分の長さ及び幅、
連続成分間の水平及び垂直の間隙、及びそれらの位置に
依存して行なわれる。図１４Ａ、及び、図１４Ｂは、こ
の処理を詳細に説明したフローチャートである。

【０１２４】図１４Ａにおいて、まずステップＳ５８０
１で、ステップＳ５６で形成されたテキストブロック内
の全てのテキスト成分について、様々な値が計算され
る。ただし、幅は水平寸法に相当し、長さは垂直寸法に
相当するものである。値ＭＡＸ−ＬＥＮ及びＭＡＸ−Ｗ
ＩＤが計算されるが、これらはそれぞれ、テキストブロ
ック内のテキスト連続成分間の最長の長さ及び最大の幅
を表している。また値ＡＶＧ−ＬＥＮ及びＡＶＧ−ＷＩ
Ｄが計算されるが、これらはそれぞれ、テキストブロッ
ク内の全ての連続成分の平均の長さと幅を表している。
最後に、値ＳＴＤ−ＬＥＮ及びＳＴＤ−ＷＩＤが計算さ
れるが、これらはそれぞれ、テキストブロック内の全て
の連続成分の長さ及び幅の標準的な偏差を表している。

【０１２５】その後、複数の処理ステップが実行されて
テキストブロックが水平テキストブロックか垂直テキス
トブロックかが判定される。ステップＳ５８０２では、
ＳＴＤ−ＬＥＮがＳＴＤ−ＷＩＤ以下かどうか、ＭＡＸ
−ＷＩＤがＭＡＸ−ＬＥＮより大きいかどうか、そして
ＭＡＸ−ＷＩＤが１２ｐｔのプリントサイズ、もしくは
１．５×ＭＡＸ−ＬＥＮよりも大きいかどうかが判定さ
れる（ここで、１２ｐｔ値は通常のテキストサイズに基
づいている。勿論、これより大きいまたは小さいテキス
トサイズの場合は、好ましくはダイナミックに調整でき
る異なる値が必要とされる）。これらの関係に該当する
と、テキストブロックは水平テキストブロックであると
決定される。これらの関係に該当しない場合は、ステッ
プＳ５８０３へ進む。

【０１２６】ステップＳ５８０３では、ＳＴＤ−ＷＩＤ
がＳＴＤ−ＬＥＮ以下であるかどうか、ＭＡＸ−ＬＥＮ
がＭＡＸ−ＷＩＤより大きいかどうか、そしてＭＡＸ−
ＬＥＮが１２ｐｔ、または１．５×ＭＡＸ−ＷＩＤより
大きいかどうかが判定される。これらの関係に該当する
と、テキストブロックは垂直テキストブロックであると
決定される。これらの関係に該当しない場合は、ステッ
プＳ５８０４へ進む。

【０１２７】ステップＳ５８０４では、各連続成分につ
いて、値Ｈ−ＳＨＯＲＴ及びＶ−ＳＨＯＲＴが決定され
る。これらの値はそれぞれ、各連続成分及びその周辺の
連続成分からの最短の水平及び垂直の間隙を表してい
る。

【０１２８】そしてステップＳ５８０５（図１４Ｂ）へ
進み、テキストブロック内の大抵の連続成分について、
Ｈ−ＳＨＯＲＴがＶ−ＳＨＯＲＴより小さいかどうかが
判定される。この関係に該当すると、テキストブロック
は水平テキストブロックであると決定される。この関係
に該当しない場合は、ステップＳ５８０６へ進んで、テ
キストブロック内の大抵の連続成分について、Ｖ−ＳＨ
ＯＲＴがＨ−ＳＨＯＲＴより小さいかどうかが判定され
る。この関係に該当すると、テキストブロックは垂直テ
キストブロックであると決定され、該当しない場合は、
ステップＳ５８０７へ進む。

【０１２９】ステップＳ５８０７では、テキストブロッ
ク内の連続成分間の水平及び垂直の間隙の数が計算され
る。その後、ステップＳ５８０８では、水平間隙の数が
垂直間隙の数より多いかどうか、またテキストブロック
の幅が１２ｐｔ×２より大きいかどうかが判定される。
この関係に該当すると、テキストブロックは水平テキス
トブロックであると決定され、該当しない場合は、ステ
ップＳ５８０９へ進む。ステップＳ５８０９では垂直間
隙数が水平間隙数より多いかどうか、またテキストブロ
ックの長さが１２ｐｔ×２より大きいかどうかが判定さ
れる。この関係に該当すると、テキストブロックは垂直
テキストブロックであると決定され、該当しない場合
は、ステップＳ５８１０へ進む。

【０１３０】ステップＳ５８１０では、テキストブロッ
クの長さが１２ｐｔ×２より小さく、全ての連続成分が
同一の水平ライン上にあるかどうかが判定される。これ
に該当する判定であれば、テキストブロックは水平テキ
ストブロックであり、該当しない判定の場合は、ステッ
プＳ５８１１へ進む。ステップＳ５８１１では、テキス
トブロックの幅が１２ｐｔ×２より小さく、全ての連続
成分が同一の垂直線上にあるかどうかが判定される。こ
の関係に該当すると、テキストブロックは垂直テキスト
ブロックであると決定され、該当しない場合は、ステッ
プＳ５８１２へ進む。

【０１３１】ステップＳ５８１２では、テキストブロッ
ク内の全ての連続成分が垂直にソートされて、最初の連
続成分と最後の連続成分が、重なる垂直領域を有してい
るかどうか検出される。それらが重なっていれば、テキ
ストブロックは水平テキストブロックであると決定さ
れ、重なっていない場合は、ステップＳ５８１３へ進
む。ステップＳ５８１３では、テキストブロック内の全
ての連続成分が水平にソートされて、最初の連続成分と
最後の連続成分が、重なる水平領域を有しているかどう
か検出される。それらが重なっていれば、テキストブロ
ックは垂直テキストブロックであると決定され、重なっ
ていない場合は、テキストブロックは未知のブロックで
ある。

【０１３２】識別された全てのテキストブロックの方向
が一度決定されると、ステップＳ５９へ進み、ステップ
Ｓ５８で識別された方向に基づいて、各テキストブロッ
クに関するテキストラインが形成される。図１５はこの
処理を詳細に示すフローチャートである。

【０１３３】図１５は水平テキストブロック内のテキス
ト連続成分の処理を示している。垂直テキストブロック
内の連続成分の処理も同様であるので、詳細な説明は省
略する。ステップＳ５９１では、水平テキストブロック
内のテキスト成分が、その水平位置に従ってソートされ
る。その後、ステップＳ５９２では、ソーティングリス
トの次の連続成分が抽出され、その連続成分が既に存在
しているいずれかのテキストラインに嵌入するかどうか
検出される。この判定の詳細な処理は、図１６Ａ〜図１
６Ｅで示されるフローチャートを参照して説明する。

【０１３４】図１６Ａでは、ステップＳ５９２１で、ス
テップＳ５９２で抽出した連続成分を用いて、値Ｃ−Ｌ
ＩＮＥ１及びＣ−ＢＬＯＣＫ１が計算される。Ｃ−ＬＩ
ＮＥ１は、抽出された連続成分と現在のテキストライン
との間のパーセントの垂直領域重畳部分を表し、Ｃ−Ｂ
ＬＯＣＫ１は、抽出された連続成分と現在のテキストラ
インの末尾連続成分との間のパーセントの垂直領域重畳
部分を表している。図１６ＡのステップＳ５９２１は現
在のテキストライン、その末尾の連続成分、抽出された
連続成分、及びそれらの垂直領域重畳部分の関係を示し
ている。

【０１３５】ステップＳ５９２２では、Ｃ−ＬＩＮＥ１
がゼロより大きいかどうかが判定される。ゼロより大き
くなければ、図１６Ｅに従ってより詳細に説明されるス
テップＳ５９３６へ進む。一方、ステップＳ５９２２
で、Ｃ−ＬＩＮＥ１がゼロより大きいと判定されると、
３つの値ｈ−ｄｉｓｔ１、 ｖ−ｄｉｓｔ１、ＮＥＸＴ
−ＣＬＯＳＥＳＴ−ＬＩＮＥが決定される。ｈ−ｄｉｓ
ｔ１は、抽出された連続成分と現在のテキストラインの
末尾連続成分との間の水平距離である。ｖ−ｄｉｓｔ１
は、抽出された連続成分と現在のテキストラインの末尾
連続成分との間の垂直距離である。ＮＥＸＴ−ＣＬＯＳ
ＥＳＴ−ＬＩＮＥは、（ｉ）現在のラインの下にあり、
（ｉｉ）その末尾連続成分が抽出された連続成分に最も
近接しており、末尾連続成分と抽出された連続成分の間
の距離は所定の距離内である、テキストラインである。
そして、図１６ＢのステップＳ５９２４へ進む。

【０１３６】ステップＳ５９２４では、値Ｃ−ＬＩＮＥ
２、Ｃ−ＢＬＯＣＫ２、ｈ−ｄｉｓｔ２、及びｖ−ｄｉ
ｓｔ２が決定される。Ｃ−ＬＩＮＥ２は、抽出された連
続成分とＮＥＸＴ−ＣＬＯＳＥＳＴ−ＬＩＮＥとの間の
パーセントの垂直領域重畳部分である。Ｃ−ＢＬＯＣＫ
２は、抽出された連続成分とＮＥＸＴ−ＣＬＯＳＥＳＴ
−ＬＩＮＥの末尾連続成分との間のパーセントの垂直領
域重畳部分である。ｈ−ｄｉｓｔ２は、抽出された連続
成分とＮＥＸＴ−ＣＬＯＳＥＳＴ−ＬＩＮＥの末尾連続
成分との間の水平距離である。ｖ−ｄｉｓｔ２は、抽出
された連続成分とＮＥＸＴ−ＣＬＯＳＥＳＴ−ＬＩＮＥ
の末尾連続成分との間の垂直距離である。

【０１３７】その後、ステップＳ５９２５へ進み、Ｃ−
ＬＩＮＥ１が５０％未満でＣ−ＬＩＮＥ２が５０％以上
であり、そして現在のラインが上方向に傾き、ＮＥＸＴ
−ＣＬＯＳＥＳＴ−ＬＩＮＥが上方向に傾いているかど
うかが判定される。この関係に該当すると、ステップＳ
５９２６へ進み、次の水平テキストラインが選択され
て、図１５のステップＳ５９２へ戻る。一方、この関係
に該当しない場合は、図１６ＣのステップＳ５９２７へ
進む。

【０１３８】図１６Ｃにおいて、ステップＳ５９２７で
は、８つの関係が存在するかどうかが判定される。それ
らの関係は次の通りである。即ち、 (1) C-LINE2=0% (2) C-LINE1≧50%、C-LINE2≦50%、 C-BLOCK1≧0%、C-BLOCK1>C-BLOCK2 (3) h-dist1>0、h-dist2>0、 (h-dist1<12pt、又はh-dist1<h-dist2)、 C-BLOCK1>0%、C-BLOCK1>C-BLOCK2 (4) h-dist1>0、h-dist2>0、 (h-dist1<12pt、又はh-dist1<h-dist2)、 C-BLOCK1>0%、現在のラインは下方向に傾き、 NEXT-CLOSEST-LINEも下方向に傾いている (5) h-dist1>0、h-dist2>0 (h-dist1<12pt、又はh-dist1<h-dist2)、 C-BLOCK1=0%、C-BLOCK2=0%、 v-dist1<h-dist2 (6) h-dist1≧0、h-dist1<12pt、 C-BLOCK1>0%、h-dist2<0 (7) h-dist1<0、h-dist2<0、 v-dist1>v-dist2 (8) C-BLOCK1>C-BLOCK2 である。

【０１３９】そしてステップＳ５９２８へ進み、（１）
〜（８）の関係のいずれかに該当するかどうかが判定さ
れる。該当するものが無いと、ステップＳ５９２９へ進
んで、次の水平テキストラインが選択され、図１５のス
テップＳ５９２へ戻る。ステップＳ５９２８で（１）〜
（８）の関係のいずれかに該当すると、ステップＳ５９
３０へ進んで、抽出された連続成分の水平位置が、現在
のテキストラインの末尾連続成分と重畳するかどうかが
判定される。重畳部分が存在すれば、ステップＳ５９３
１へ進み、重畳部分が存在しなければ、ステップＳ５９
３２へ進む。

【０１４０】図１６Ｄにおいて、ステップＳ５９３１で
は、抽出された連続成分と現在のテキストラインの末尾
連続成分を合計した長さが、１文字の長さと同じである
かどうかが判定される。合計の長さが１文字の長さと同
じである場合は、ステップＳ５９３５へ進み、抽出され
た連続成分は現在のテキストラインに嵌入される。一
方、合計の長さが１文字の長さと同じでない場合には、
ステップＳ５９３１’へ進んで、Ｃ−ＢＬＯＣＫ１が５
０％より大きいかどうか、またはｖ−ｄｉｓｔ１が１ド
ットサイズより小さいかどうかが判定される。いずれか
の関係に該当すると、ステップＳ５９３５へ進んで、抽
出された連続成分は現在の水平テキストラインへ嵌入さ
れる。しかし、ステップＳ５９３１’のいずれの関係に
も該当しない場合は、ステップＳ５９３３へ進み、次の
水平テキストラインが選択されて、その後、図１５のス
テップＳ５９２へ戻る。

【０１４１】ステップＳ５９３２では、ｈ−ｄｉｓｔ１
が１２ｐｔ×２より小さく、（Ｃ−ＬＩＮＥ１が０％よ
り大きいか、またはＣ−ＢＬＯＣＫ１が０％より大き
い）かどうか、あるいは、ＮＥＸＴ−ＣＬＯＳＥＳＴ−
ＬＩＮＥが存在しないかどうか、またはｖ−ｄｉｓｔ１
がｖ−ｄｉｓｔ２より小さいかどうかが判定される。こ
れらの条件が満たされると、抽出された連続成分は現在
のテキストライン内に当て嵌まると決定され、ステップ
Ｓ５９３５を介して図１５のステップＳ５９２へ進む。
ステップＳ５９３２の関係に該当しない場合は、ステッ
プＳ５９３４で次のテキストラインが選択され、再び図
１５のステップＳ５９２へ戻る。

【０１４２】図１６Ａへ戻り、ステップＳ５９２２で、
Ｃ−ＬＩＮＥ１が０％より大きくないと判定されると、
図１６ＥのステップＳ５９３６へ進む。ステップＳ５９
３６では、ステップＳ５９２３、Ｓ５９２４で概略を述
べたように、ＮＥＸＴ−ＣＬＯＳＥＳＴ−ＬＩＮＥ、ｈ
−ｄｉｓｔ１、ｈ−ｄｉｓｔ２、ｖ−ｄｉｓｔ１、及び
ｖ−ｄｉｓｔ２が決定される。

【０１４３】ステップＳ５９３７では、ＮＥＸＴ−ＣＬ
ＯＳＥＳＴ−ＬＩＮＥが存在し、ｖ−ｄｉｓｔ１がｖ−
ｄｉｓｔ２より大きいかどうかが判定される。該当する
場合、ステップＳ５９３９へ進み、次のテキストライン
が選択され、そして図１５のステップＳ５９２へ戻る。
しかし、ステップＳ５９３７の関係が存在しなければ、
ステップＳ５９３８へ進み、ｈ−ｄｉｓｔ１がゼロ未満
でｖ−ｄｉｓｔ１が１ドットサイズ以下であり、抽出さ
れた連続成分と末尾連続成分の合計の長さが１文字の長
さと同じであるかどうかが判定される。これらの関係に
該当すると、ステップＳ５９４１で、抽出された連続成
分は現在の水平テキストライン内に当て嵌まると決定さ
れ、図１５のステップＳ５９２へ戻る。ステップＳ５９
３８の関係に該当しない場合は、ステップＳ５９４０へ
進み、ｈ−ｄｉｓｔ１がゼロ以上で、抽出された連続成
分が末尾連続成分の上にあり、抽出された連続成分の垂
直位置が末尾連続成分の垂直位置に近いかどうかが判定
される。これらの関係に該当すると、ステップＳ５９４
１へ進み、抽出された連続成分は現在の水平テキストラ
イン内に当て嵌まると判定され、図１５のステップＳ５
９２へ戻る。これらの関係に該当しない場合は、ステッ
プＳ５９４２へ進み、次の水平テキストラインが選択さ
れ、図１５のステップＳ５９２へ戻る。

【０１４４】図５のステップＳ５９において各テキスト
ブロックについて全てのテキストラインが形成される
と、ステップＳ６０へ進み、ブロックの後処理が行なわ
れる。後処理は、文字認識、データ圧縮等の、特定の後
続する手順を適用するようにしてもよい。この応用の目
的で、後続する文字認識をブロックに対する後処理とし
て行なう場合を説明する。こうした後処理の目的は、テ
キスト及び非テキストブロック表現をより簡潔にするこ
とである。後処理において、必要であれば、テキストブ
ロックは他のテキストブロックと結合され、非テキスト
ブロックは他の非テキストブロックと結合されて、文字
認識等の更なる処理を容易にする。まず、例えば、最小
二乗法を用いて、形成されたテキストライン（ステップ
Ｓ５９で決定された）に含まれる連続成分に基づいて、
そのテキストラインの歪み角度を概算し、全体のページ
の歪みが計算される。ページの歪みは、ページのテキス
トラインの歪み角度の平均値となる。

【０１４５】ページが僅かに歪んでいるだけであると
（例えば、図１７に示すように、各テキストを囲む四角
形または不規則な曲線の間の間隙が明確である）判定さ
れた場合は、様々な処理ステップが実行できる。始め
に、テキスト（またはタイトル）ブロックと、タイトル
ブロックが、重畳する四角形または不規則な曲線の囲み
が存在するかどうか、それらの方向（orientation）等
に基づいて結合できる。次に、ある小さいテキストブロ
ックが実際にテキストブロックであるか、それとも写真
等の非テキストブロックの一部であるかを判断するため
に、ある中間調（またはグレイスケール）画像が四角い
領域を占めているかどうかが判定できる。３番目に、欄
の分析を行い、欄情報に基づいて、テキストブロックが
結合できる。こうした結合は、基本的に、ブロックが同
一の欄内にあるかどうか、お互いに近接しているかどう
か、その結合が他のブロックに重なるかどうか、及びそ
れらのブロックが同一の傾斜を持っているかどうかに基
づいて行なわれる。

【０１４６】ページの歪みがいくらか大きい場合は、歪
みページのケースにおいて上記の３つの処理ステップは
抜かされる。そして、小さいテキストブロックがその近
接ブロックと結合されるステップが実行される。この結
合は、近接ブロックの属性、近接ブロックの近接度、及
びテキストブロック自身の特性に基づいて行なわれる。
こうした結合の後、結合されたテキストブロックの属性
は、結合された近接テキストブロックと一致するように
変えられる。

【０１４７】また、複数のテキストブロックは、複数の
タイトルブロックまたは未知の連続成分を１つ含んだ複
数ブロックと結合することができる。この結合は、その
相対的な位置、ブロックの方向、ブロックの相対的なサ
イズ等に元づいて行なわれる。

【０１４８】最後に、ブロックの後処理として、幾つか
の非テキストブロックの結合を行なうこともできる。こ
うした結合は、非テキストブロックの相対的位置、ブロ
ックの属性等に基づいて行なわれる。例えば、幾つかの
写真ブロックは、それらが同一の写真に属しているとい
うことが検出されれば結合される。こうした後処理を、
後続の文字認識処理を容易にするために実行することが
可能である。

【０１４９】このように、格納された文書において効果
的及び効率的にテキスト及び非テキストブロックを選択
する方法及び装置であって、垂直及び水平テキストブロ
ックが認識され、テキストブロックの形成の前に文書の
回転を必要としない、方法及び装置を説明した。

【０１５０】図面のブロックで概略が示され、または指
定された個々の成分は、文字認識の分野では公知のもの
であり、その特定の構成及び動作は、本実施例の操作ま
たは実行の最良の形態において重要なものではない。

【０１５１】本発明は好適な実施例について説明された
が、本発明は開示された実施例に限定されるものではな
いことが理解されるべきである。反対に、発明の精神と
範囲内に含まれる、様々な修正や同等の変形が可能であ
るよう意図されている。特許請求の範囲の記載は、そう
した修正及や同等の構成及び機能の全てに渡るように最
大の解釈が与えられるものである。

【０１５２】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器からなる装置に適用し
ても良い。また、本発明はシステム或いは装置に本発明
により規定される処理を実行させるプログラムを供給す
ることによって達成される場合にも適用できることはい
うまでもない。

【０１５３】

【発明の効果】以上説明したように、本発明によれば、
垂直及び水平テキストブロックを認識し、テキストブロ
ック形成の前に歪んだ文書を回転させることを不要と
し、テキスト及び非テキストブロックを効果的に且つ効
率的に選択することが可能となる。また、本発明によれ
ば、各ブロックを不規則な形状の曲線で囲むことが可能
となり、各ブロックをより簡潔かつ明瞭に囲むブロック
選択方法が提供される。

【０１５４】

【図面の簡単な説明】

【図１】文字認識される文書の一般的な１ページを示す
図である。

【図２】本発明の一実施例に係わる装置の斜視図であ
る。

【図３】本発明の一実施例に係わる装置のブロック図で
ある。

【図４】本実施例のブロック選択の特徴がどの様に文字
認識のプロセスに組み込まれているかを示す、一般化さ
れたフローチャートである。

【図５】本発明に係わるブロック選択技術を示す全体的
なフローチャートである。

【図６Ａ】図５のステップＳ５１〜Ｓ５３の詳細を示す
フローチャートである。

【図６Ｂ】図５のステップＳ５１〜Ｓ５３の詳細を示す
フローチャートである。

【図６Ｃ】図５のステップＳ５１〜Ｓ５３の詳細を示す
フローチャートである。

【図６Ｄ】図５のステップＳ５１〜Ｓ５３の詳細を示す
フローチャートである。

【図７Ａ】輪郭トレースを説明するための図である。

【図７Ｂ】輪郭トレースを説明するための図である。

【図７Ｃ】輪郭トレースを説明するための図である。

【図８Ａ】非テキストユニットに対する分類処理を説明
するための図である。

【図８Ｂ】非テキストユニットに対する分類処理を説明
するための図である。

【図８Ｃ】非テキストユニットに対する分類処理を説明
するための図である。

【図９Ａ】白輪郭処理を説明するための図である。

【図９Ｂ】白輪郭処理を説明するための図である。

【図９Ｃ】白輪郭処理を説明するための図である。

【図９Ｄ】白輪郭処理を説明するための図である。

【図１０】本実施例における、テキスト及び非テキスト
文字を決定するためのルートまたはツリー階層構造を概
略的に示す図である。

【図１１】図５のステップＳ５６を示すフローチャート
である。

【図１２】図１１のステップＳ５６６を示すフローチャ
ートである。

【図１３Ａ】図５のステップＳ５７を概略的に示す図で
ある。

【図１３Ｂ】図５のステップＳ５７を概略的に示す図で
ある。

【図１４Ａ】図５のステップＳ５８を示すフローチャー
トである。

【図１４Ｂ】図５のステップＳ５８を示すフローチャー
トである。

【図１５】図５のステップＳ５９を示すフローチャート
である。

【図１６Ａ】図１５のステップＳ５９２を示すフローチ
ャートである。

【図１６Ｂ】図１５のステップＳ５９２を示すフローチ
ャートである。

【図１６Ｃ】図１５のステップＳ５９２を示すフローチ
ャートである。

【図１６Ｄ】図１５のステップＳ５９２を示すフローチ
ャートである。

【図１６Ｅ】図１５のステップＳ５９２を示すフローチ
ャートである。

【図１７】不規則な形状のテキストブロックを概略的に
示す図である。

Claims (81)

【特許請求の範囲】
1. 【請求項１】 画素画像データから画素のブロックを選
   択する選択方法であって、 画素データにおける連続成分の輪郭を描写する輪郭描写
   工程と、 連続成分を、サイズ及び他の連続成分との近接度に基づ
   いて、選択的に幅方向に結合してラインを形成する、第
   １の結合工程と、 幅方向に結合されたラインを、サイズ及び他のラインと
   の近接度に基づいて、選択的に垂直に結合してブロック
   を形成する、第２の結合工程と、 前記第２の結合工程で形成されたブロックの周りに不規
   則な曲線を形成する形成工程とを備えることを特徴とす
   るブロック選択方法。
2. 【請求項２】 画素画像データを入力する入力工程を更
   に備え、該入力工程は、画素画像データが２値画素画像
   データではない場合に、画素画像データを２値画素画像
   データに変換する工程を含むことを特徴とする請求項１
   に記載のブロック選択方法。
3. 【請求項３】 前記形成工程において、各テキストブロ
   ックの周りに、最小の不規則形状の曲線が形成されるこ
   とを特徴とする請求項１に記載のブロック選択方法。
4. 【請求項４】 前記輪郭描写工程で輪郭が描写された連
   続成分の階層ツリーを、前記形成工程で形成された対応
   する不規則形状の曲線の位置に基づいて形成する工程を
   更に備えることを特徴とする請求項１に記載のブロック
   選択方法。
5. 【請求項５】 前記形成工程で形成された不規則形状の
   曲線を、テキストブロック及び非テキストブロックに分
   類する工程を更に備えることを特徴とする請求項４に記
   載のブロック選択方法。
6. 【請求項６】 前記テキストブロックにおける文字画像
   を認識する工程を更に備えることを特徴とする請求項５
   に記載のブロック選択方法。
7. 【請求項７】 前記第１の結合工程と第２の結合工程
   は、非テキスト連続成分に対しては行なわれないことを
   特徴とする請求項６に記載のブロック選択方法。
8. 【請求項８】 前記非テキストの輪郭描写された連続成
   分に対して白輪郭を生じる工程を更に備えることを特徴
   とする請求項６に記載のブロック選択方法。
9. 【請求項９】 前記非テキストブロックは、白輪郭数に
   従って、表ユニットとして指定されることを特徴とする
   請求項８に記載のブロック選択方法。
10. 【請求項１０】 白輪郭フィリング率を計算する工程を
    更に備えることを特徴とする請求項９に記載のブロック
    選択方法。
11. 【請求項１１】 前記非テキストブロックは、フィリン
    グ率が高い場合は画像として指定されないことを特徴と
    する請求項１０に記載のブロック選択方法。
12. 【請求項１２】 非グリッド配列の白輪郭を再結合する
    工程を更に備えることを特徴とする請求項１０に記載の
    ブロック選択方法。
13. 【請求項１３】 非テキストブロックは、再結合率が高
    くない場合に、表として指定されることを特徴とする請
    求項１２に記載のブロック選択方法。
14. 【請求項１４】 白輪郭は４方向に計算されることを特
    徴とする請求項８に記載のブロック選択方法。
15. 【請求項１５】 連続成分の輪郭は少なくとも８方向で
    描写されることを特徴とする請求項１に記載のブロック
    選択方法。
16. 【請求項１６】 前記輪郭描写工程において、連続成分
    の輪郭は、連続成分の外側の部分でのみ描写されること
    を特徴とする請求項１に記載のブロック選択方法。
17. 【請求項１７】 画素画像データにおける間隙を検出す
    る工程を更に備え、 前記第１の結合工程において、連続成分は、間隙がそれ
    らの連続成分を分離している場合は、幅方向に結合され
    ないことを特徴とする請求項１に記載のブロック選択方
    法。
18. 【請求項１８】 連続成分の間の垂直に延びる間隙に従
    って欄が検出されることを特徴とする請求項１７に記載
    のブロック選択方法。
19. 【請求項１９】 前記第２の結合工程は、前記第１の結
    合工程で結合されたテキストデータのラインの間の非テ
    キスト境界を判定する工程を含み、 前記第２の結合工程は、介在する非テキスト境界が存在
    する場合は、ラインを垂直にブロックに結合しないこと
    を特徴とする請求項１に記載のブロック選択方法。
20. 【請求項２０】 前記輪郭描写工程の前に、画素画像デ
    ータを圧縮する工程を更に備えることを特徴とする請求
    項１に記載のブロック選択方法。
21. 【請求項２１】 画素画像データから画素のブロックを
    選択する選択装置であって、 画素画像データを格納する格納手段と、 （１）格納された画素画像データにおける連続成分の輪
    郭を描写し、（２）連続成分を、サイズと、他の不規則
    な形状の曲線との近接度に基づいて、選択的に幅方向に
    結合してラインを形成し、（３）幅方向に結合されたラ
    インを、サイズと、他のラインとの近接度に基づいて、
    選択的に垂直に結合してブロックを形成し、（４）各輪
    郭描写された連続成分の周りに不規則な形状の曲線を形
    成する、処理手段とを備えることを特徴とするブロック
    選択装置。
22. 【請求項２２】 画素画像データを入力する入力手段を
    更に備え、該入力手段は、前記画素画像データが２値画
    素画像データではない場合に、該画素画像データを２値
    画素画像データに変換する変換手段を含むことを特徴と
    する請求項２１に記載のブロック選択装置。
23. 【請求項２３】 前記処理手段は、各テキストブロック
    の周りに、最小の不規則形状の曲線が形成することを特
    徴とする請求項２１に記載のブロック選択装置。
24. 【請求項２４】 前記処理手段は、前記輪郭が描写され
    た連続成分の階層ツリーを、前記形成された対応する不
    規則形状の曲線の位置に基づいて形成することを特徴と
    する請求項２１に記載のブロック選択装置。
25. 【請求項２５】 前記処理手段は、形成された不規則形
    状の曲線を、テキストブロック及び非テキストブロック
    に分類することを特徴とする請求項２４に記載のブロッ
    ク選択装置。
26. 【請求項２６】 前記処理手段は、テキストブロックに
    おける文字画像を認識することを特徴とする請求項２５
    に記載のブロック選択装置。
27. 【請求項２７】 前記処理手段は、非テキスト連続成分
    に対しては結合機能を実行しないことを特徴とする請求
    項２５に記載のブロック選択装置。
28. 【請求項２８】 前記処理手段は、非テキストの輪郭描
    写された連続成分に対して白輪郭を生じることを特徴と
    する請求項２５に記載のブロック選択装置。
29. 【請求項２９】 前記処理手段は、非テキストブロック
    を、白輪郭数に従って、表ユニットとして指定すること
    を特徴とする請求項２８に記載のブロック選択装置。
30. 【請求項３０】 前記処理手段は、白輪郭フィリング率
    を計算することを特徴とする請求項２８に記載のブロッ
    ク選択装置。
31. 【請求項３１】 前記処理手段は、非テキストブロック
    を、フィリング率が高い場合は画像として指定しないこ
    とを特徴とする請求項３０に記載のブロック選択装置。
32. 【請求項３２】 前記処理手段は、非グリッド配列の白
    輪郭を再結合することを特徴とする請求項３０に記載の
    ブロック選択装置。
33. 【請求項３３】 前記処理手段は、非テキストブロック
    を、前記再結合の率が高くない場合に、表として指定す
    ることを特徴とする請求項３２に記載のブロック選択装
    置。
34. 【請求項３４】 前記処理手段は、白輪郭を４方向に計
    算することを特徴とする請求項２８に記載のブロック選
    択装置。
35. 【請求項３５】 前記処理手段は、連続成分の輪郭を少
    なくとも８方向で描写することを特徴とする請求項２１
    に記載のブロック選択装置。
36. 【請求項３６】 前記処理手段は、連続成分の輪郭を、
    連続成分の外側の部分で描写されることを特徴とする請
    求項２１に記載のブロック選択装置。
37. 【請求項３７】 前記処理手段は、画素画像データにお
    ける間隙を検出し、該間隙が連続成分を分離している場
    合はそれらの連続成分を幅方向に結合しないことを特徴
    とする請求項２１に記載のブロック選択装置。
38. 【請求項３８】 前記処理手段は、連続成分の間の垂直
    に延びる間隙に従って、欄を検出することを特徴とする
    請求項３７に記載のブロック選択装置。
39. 【請求項３９】 前記処理手段は、結合されたテキスト
    データのラインの間の非テキスト境界を判定し、介在す
    る非テキスト境界が存在する場合は、ラインを垂直にブ
    ロックに結合しないことを特徴とする請求項２１に記載
    のブロック選択装置。
40. 【請求項４０】 前記処理手段は輪郭描写の前に画素画
    像データを圧縮することを特徴とする請求項２１に記載
    のブロック選択装置。
41. 【請求項４１】 画素画像データにおける文字のテキス
    トファイルを形成する方法であって、 ２値の画素画像データを入力して格納し、 格納された画素画像データのブロックを選択し、 格納された画素画像データにおける連続成分の輪郭を描
    写し、 輪郭描写された連続成分がテキストユニットまたは非テ
    キストユニットを含んでいるかどうか判定し、 テキストユニットを、隣接するテキストユニットの近接
    度に基づいて、選択的に幅方向に結合してテキストライ
    ンを形成し、 テキストラインを、隣接するテキストラインの近接度
    と、テキストライン間の非テキストユニットの位置とに
    基づいて、選択的に垂直に結合してテキストブロックを
    形成し、 テキストブロックを不規則形状の曲線で囲み、 前記輪郭描写工程で輪郭描写された連続成分に基づい
    て、テキストブロックの階層的なツリーを形成し、 テキストブロックを少なくとも１つの欄に適応的に分け
    ることにより、ツリー化されたテキストブロックを画素
    データのラインに分割することを特徴とする方法。
42. 【請求項４２】 画素画像データが前処理される前処理
    工程を更に備えることを特徴とする請求項４１に記載の
    方法。
43. 【請求項４３】 前記前処理工程は画像圧縮工程を含む
    ことを特徴とする請求項４２に記載の方法。
44. 【請求項４４】 前記前処理工程は画素画像データを補
    強する工程を含むことを特徴とする請求項４３に記載の
    方法。
45. 【請求項４５】 非テキストユニットの内部を白輪郭ト
    レースする工程を更に備えることを特徴とする請求項４
    １に記載の方法。
46. 【請求項４６】 非テキストユニットに指定子を付加す
    る工程を更に備えることを特徴とする請求項４５に記載
    の方法。
47. 【請求項４７】 非テキストユニット内に含まれる白輪
    郭の数に基づいて、表であることを指定する指定子が非
    テキストユニットに付加されることを特徴とする請求項
    ４５に記載の方法。
48. 【請求項４８】 画素画像データにおける文字のテキス
    トファイルを形成する装置であって、 画素画像データをデータを入力する入力手段と、 入力された画素画像データを格納する格納手段と、 （１）格納された画素画像データにおける連続成分の輪
    郭を描写し、（２）輪郭描写された連続成分がテキスト
    ユニットまたは非テキストユニットを含んでいるかどう
    か判定し、（３）テキストユニットを、隣接するテキス
    トユニットの近接度に基づいて、選択的に幅方向に結合
    してテキストラインを形成し、（４）テキストライン
    を、隣接するテキストラインの近接度と、テキストライ
    ン間の非テキストユニットの位置とに基づいて、選択的
    に垂直に結合してテキストブロックを形成し、（５）テ
    キストブロックを不規則形状の曲線で囲み、（６）前記
    輪郭描写工程で輪郭描写された連続成分に基づいて、テ
    キストブロックの階層的なツリーを形成し、（７）テキ
    ストブロックを少なくとも１つの欄に適応的に分けるこ
    とにより、ツリー化されたテキストブロックを画素デー
    タのラインに分割する処理手段とを備えることを特徴と
    する装置。
49. 【請求項４９】 前記処理手段は、画素画像データを前
    処理することを特徴とする請求項４８に記載の装置。
50. 【請求項５０】 格納された文書のテキスト領域と非テ
    キスト領域のブロックを分離する方法であって、 格納された文書における連続画素成分を識別する識別工
    程と、 識別された画素成分をテキスト及び非テキスト成分に分
    離する分離工程と、 前記文書に対し、非テキスト成分に沿った可視線及び不
    可視線のサーチを行なうサーチ工程と、 識別されたテキスト成分と、可視及び不可視線を用い
    て、テキスト及び非テキストブロックを形成する形成工
    程と、 各形成されたテキストブロックについて、テキスト方向
    を検出する方向検出工程と、 検出されたテキスト傾斜に基づいて、テキストブロック
    からテキストラインを抽出する抽出工程と、 格納された文書について、抽出されたテキストラインに
    基づいて、歪み角度を検出する歪み検出工程と、 検出された歪み角度に基づいて、形成されたテキストブ
    ロックを修正する修正工程とを備えることを特徴とする
    ブロック分離方法。
51. 【請求項５１】 前記サーチ工程の後で、水平及び垂直
    タイトルラインを形成する工程を更に備えることを特徴
    とする請求項５０に記載のブロック分離方法。
52. 【請求項５２】 前記形成工程の後で、形成されたテキ
    ストブロックを、可視または不可視線が横切っている場
    合は分割する工程を更に備えることを特徴とする請求項
    ５０に記載のブロック分離方法。
53. 【請求項５３】 前記形成工程は、識別されたテキスト
    成分が、形成中のテキストブロックに含まれている１つ
    のテキスト成分の垂直上にあるか否かを判定する工程を
    含むことを特徴とする請求項５０に記載のブロック分離
    方法。
54. 【請求項５４】 前記形成工程は、識別されたテキスト
    成分と形成中のテキストブロックに含まれている他の１
    つのテキスト成分との間に、いずれかの線描オブジェク
    トが存在するかどうか検出する工程を含むことを特徴と
    する請求項５０に記載のブロック分離方法。
55. 【請求項５５】 前記形成工程は歪み角度を検出する工
    程の前に位置することを特徴とする請求項５０に記載の
    ブロック分離方法。
56. 【請求項５６】 修正され、形成されたテキストブロッ
    クを文字認識する工程を更に備えることを特徴とする請
    求項５０に記載のブロック分離方法。
57. 【請求項５７】 前記分離工程の後に、非テキスト成分
    を、所定の複数の非テキスト分類のうちの少なくとも１
    つに分類する工程を更に備えることを特徴とする請求項
    ５０に記載のブロック分離方法。
58. 【請求項５８】 格納された文書のテキスト領域及び非
    テキスト領域のブロックを分離する装置であって、 画素成分を含む文書を格納する格納手段と、 （１）格納された文書における連続画素成分を識別し、
    （２）識別された画素成分をテキスト及び非テキスト成
    分に分離し、（３）前記文書に対し、非テキスト成分に
    沿った可視線及び不可視線のサーチを行ない、（４）識
    別されたテキスト成分と、可視及び不可視線を用いて、
    テキスト及び非テキストブロックを形成し、（５）各形
    成されたテキストブロックについて、テキスト傾斜を検
    出し、（６）検出されたテキスト傾斜に基づいて、テキ
    ストブロックからテキストラインを抽出し、（７）格納
    された文書について、抽出されたテキストラインに基づ
    いて、歪み角度を検出し、（８）検出された歪み角度に
    基づいて、形成されたテキストブロックを修正する処理
    手段とを備えることを特徴とするブロック分離装置。
59. 【請求項５９】 前記処理手段は、前記（３）における
    サーチの後で、水平及び垂直タイトルラインを形成する
    ことを特徴とする請求項５８に記載のブロック分離装
    置。
60. 【請求項６０】 前記処理手段は、前記（４）におこえ
    る形成処理の後で、形成されたテキストブロックを、可
    視または不可視線が横切っている場合はこれを分割する
    ことを特徴とする請求項５０に記載のブロック分離装
    置。
61. 【請求項６１】 前記処理手段は、識別されたテキスト
    成分が、形成中のテキストブロックに含まれている１つ
    のテキスト成分の垂直に上にあるかどうか判定すること
    により、テキストブロックを形成することを特徴とする
    請求項５８に記載のブロック分離装置。
62. 【請求項６２】 前記処理手段は、識別されたテキスト
    成分と形成中のテキストブロックに含まれている他の１
    つのテキスト成分との間にいずれかの線描オブジェクト
    が存在するか否かを検出することでテキストブロックを
    形成することを特徴とする請求項５０に記載のブロック
    分離装置。
63. 【請求項６３】 前記処理手段は、格納された文書の歪
    み角度が検出される前に、テキスト及び非テキストブロ
    ックを形成することを特徴とする請求項５８に記載のブ
    ロック分離装置。
64. 【請求項６４】 前記処理手段は、修正され、形成され
    たテキストブロックについて文字認識することを特徴と
    する請求項５８に記載のブロック分離装置。
65. 【請求項６５】 前記処理手段は、非テキスト成分を、
    所定の複数の非テキスト分類のうちの少なくとも１つに
    分類することを特徴とする請求項５８に記載のブロック
    分離装置。
66. 【請求項６６】 水平及び垂直テキストを有する、格納
    された文書において、テキストブロックを形成する方法
    であって、 連続画素成分を識別する識別工程と、 識別された画素連続成分を水平及び垂直にグループ化す
    るグループ化工程と、 グループ化された成分に基づき、歪み検出を行なうこと
    なく、不規則形状の水平及び垂直テキストブロックを形
    成する形成工程と、 その後、各形成されたテキストブロックについて歪み角
    度を検出する検出工程とを備えることを特徴とするテキ
    ストブロック形成方法。
67. 【請求項６７】 前記グループ化工程は、テキスト及び
    非テキスト連続成分を分離する工程を含むことを特徴と
    する請求項６６に記載のテキストブロック形成方法。
68. 【請求項６８】 非テキスト成分を、所定の複数の非テ
    キスト分類の少なくとも１つに分類する工程を更に備え
    ることを特徴とする請求項６７に記載のテキストブロッ
    ク形成方法。
69. 【請求項６９】 格納された文書に対して、非テキスト
    連続成分のエッジに沿った不可視線のサーチを行なう工
    程を更に備えることを特徴とする請求項６７に記載のテ
    キストブロック形成方法。
70. 【請求項７０】 形成されたテキストブロックを、可視
    線または不可視線がそのブロックを横切っている場合、
    該テキストブロックを分割することを特徴とする請求項
    ６６に記載のテキストブロック形成方法。
71. 【請求項７１】 各テキストブロックについて、検出さ
    れた歪み角度に基づいて、テキストラインを形成する工
    程を更に備えることを特徴とする請求項６６に記載のテ
    キストブロック形成方法。
72. 【請求項７２】 形成されたテキストブロック内の画素
    連続成分を文字認識する工程をさらに備えることを特徴
    とする請求項６６に記載のテキストブロック形成方法。
73. 【請求項７３】水平及び垂直テキストを有する、格納さ
    れた文書において、テキストブロックを形成する装置で
    あって、 格納された文書を格納する手段と、 （１）連続画素成分を識別し、（２）識別された画素連
    続成分を水平及び垂直にグループ化し、（３）グループ
    化された成分に基づき、歪み検出を行なうことなく、不
    規則形状の水平及び垂直テキストブロックを形成し、
    （４）その後、各形成されたテキストブロックについ
    て、歪み角度を検出する処理手段とを備えることを特徴
    とするテキストブロック形成装置。
74. 【請求項７４】前記処理手段はテキスト及び非テキスト
    連続成分を分離することを特徴とする請求項７３に記載
    のテキストブロック形成措置。
75. 【請求項７５】 前記処理手段は、非テキスト成分を、
    所定の複数の非テキスト分類の少なくとも１つに分類す
    ることを特徴とする請求項７４に記載のテキストブロッ
    ク形成装置。
76. 【請求項７６】 前記処理手段は、格納された文書に対
    して、非テキスト連続成分のエッジに沿った不可視線の
    サーチを行なうことを特徴とする請求項７４に記載のテ
    キストブロック形成装置。
77. 【請求項７７】 前記処理手段は、形成されたテキスト
    ブロックを、可視線または不可視線がそのブロックを横
    切っている場合、分割することを特徴とする請求項７３
    に記載のテキストブロック形成装置。
78. 【請求項７８】 前記処理手段は、各テキストブロック
    について、検出された歪み角度に基づいて、テキストラ
    インを形成することを特徴とする請求項７３に記載のテ
    キストブロック形成装置。
79. 【請求項７９】 前記処理手段は、形成されたテキスト
    ブロック内の連続画素成分を文字認識することを特徴と
    する請求項７３に記載のテキストブロック形成装置。
80. 【請求項８０】 非テキスト情報と、水平及び垂直テキ
    スト情報とを有する、格納された文書において、テキス
    ト及び非テキストブロックを形成する方法であって、 連続画素成分を識別し、 識別された画素成分をテキスト及び非テキスト成分に分
    離し、 連続テキスト成分を水平及び垂直にグループ化し、 前記文書に対して、非テキスト成分のエッジに沿った可
    視線及び不可視線のサーチを行ない、 グループ化されたテキスト成分と、可視及び不可視線に
    基づき、歪み検出を行なうことなく、不規則形状の非テ
    キストブロックと、不規則形状の水平及び垂直テキスト
    ブロックとを形成し、 各形成されたテキストブロックについて、テキスト傾斜
    を検出し、 検出されたテキスト傾斜に基づいて、テキストブロック
    からテキストラインを抽出し、 その後、各形成されたテキスト及び非テキストブロック
    について、歪み角度を検出し、 検出された歪み角度に基づいて、形成された水平及び垂
    直テキストブロックを修正することを特徴とするテキス
    トブロック形成方法。
81. 【請求項８１】 非テキスト情報と、水平及び垂直テキ
    スト情報とを有する、格納された文書において、テキス
    ト及び非テキストブロックを形成する装置であって、 格納された文書を格納する格納手段と、 （１）連続画素成分を識別し、（２）識別された画素成
    分をテキスト及び非テキスト成分に分離し、（３）連続
    テキスト成分を水平及び垂直にグループ化し、（４）前
    記文書に対して、非テキスト成分のエッジに沿った可視
    線及び不可視線のサーチを行ない、（５）グループ化さ
    れたテキスト成分と、可視及び不可視線に基づき、歪み
    検出を行なうことなく、不規則形状の非テキストブロッ
    クと、不規則形状の水平及び垂直テキストブロックとを
    形成し、（６）各形成されたテキストブロックについ
    て、テキスト傾斜を検出し、（７）検出されたテキスト
    傾斜に基づいて、テキストブロックからテキストライン
    を抽出し、（８）その後、各形成されたテキスト及び非
    テキストブロックについて、歪み角度を検出し、（９）
    検出された歪み角度に基づいて、形成された水平及び垂
    直テキストブロックを修正する処理手段とを備えること
    を特徴とするテキストブロック形成装置。