JPH09171557A

JPH09171557A - イメージ処理方法及び装置

Info

Publication number: JPH09171557A
Application number: JP8221835A
Authority: JP
Inventors: Yan Wan Shin; ヤンワンシン; Toshiaki Yagasaki; 敏明矢ヶ崎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-08-11
Filing date: 1996-08-06
Publication date: 1997-06-30
Anticipated expiration: 2016-08-06
Also published as: EP0758774A2; EP0758774A3; DE69610882D1; JP3950498B2; EP0758774B1; US5774579A; DE69610882T2

Abstract

(57)【要約】【課題】本発明は、特徴抽出またはブロック選択技術
により定められるブロック矩形領域における重複の問題
を克服できるブロック選択装置を提供することを目的と
する。【解決手段】テキスト領域と非テキスト領域の両方を
含むイメージデータを処理するイメージ処理方法が提供
される。ブロック選択を行って、前記イメージデータ中
のテキストタイプ領域の各ブロックの周囲及び前記イメ
ージデータ内の非テキストタイプ領域の各ブロックの周
囲の外接矩形を得る。各テキスト及び非テキストブロッ
クについて輪郭ペアを得る。前記外接矩形が重複するか
どうかを判別する。前記輪郭ペアに基づいて重複する矩
形を分解する。非重複矩形について外接矩形に基づき、
重複矩形については分解矩形に基づいて、イメージデー
タを抽出する。該抽出されたイメージデータを処理す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書頁のテキスト
領域と非テキスト領域を区別するために該文書頁のイメ
ージを分析するブロック選択（または特徴抽出）装置で
あって、テキスト領域の各グループの周囲と非テキスト
領域の各グループの周囲とに外接する矩形を定め、その
後で重複する矩形を同定し、それらの矩形の重複する部
分を分解することによって該重複する部分の除去を可能
にする装置に関する。

【０００２】

【従来の技術】従来の特徴抽出装置においては、文書頁
の異なるタイプのイメージデータは、まず、該イメージ
データがテキストタイプであるかまたは非テキストタイ
プであるかに応じて同定され、次にイメージデータの領
域が、種類に応じて一緒にグループ化（または「ブロッ
ク化」）される。イメージデータの各ブロックが、その
後で、更なる処理のために抽出される。即ち、従来の特
徴抽出装置は、ブロック選択ルーチンを実行して、前記
イメージデータ内の連結成分を同定し、非テキストタイ
プの連結された成分からテキストタイプの連結成分を分
離し、別々に該テキスト及び非テキスト連結成分を好ま
しくは矩形のブロック内にグループ化し、そして非テキ
スト連結成分を更なる分析に付して、表データ、グラフ
データ、線画イメージ、ハーフトーンイメージ、フレー
ム等の非テキスト連結成分の特定の種類を同定する。

【０００３】一度イメージデータの特徴が抽出されると
階層木を、該木の各ノードがブロック選択中に定められ
たイメージデータの各ブロック矩形グループに１対１対
応するように設けて、設定することができる。階層木の
各ノードには、属性情報がイメージデータの各ブロック
矩形片毎に記憶される。即ち、該属性情報は、イメージ
情報のブロックがテキストタイプであるか非テキストタ
イプであるかについての情報を含み、テキストタイプ情
報は、さらに題名領域、見出し領域、テキスト領域、な
どに分類され、非テキストタイプ情報は、さらに、表情
報、線画情報、グラフ情報、ハーフトーンイメージ情報
などに分類されていることが可能である。なお、階層木
中のノードの位置は、文書頁内のイメージ情報の対応す
るブロック矩形の位置を暗に記憶している。文書のイメ
ージ情報内の矩形ブロックの場所との組合せで、階層木
により、光学式文字認識（ＯＣＲ）、データ及び／また
はイメージ圧縮、データルーチング、データ抽出、保
存、検索などのようなその後の適切な処理のための情報
の各ブロックの抽出が可能になる。例えば、テキストデ
ータとして指定されたイメージデータのブロックは、適
切なＯＣＲ処理に付しうるが、ピクチャデータと指定さ
れたイメージデータのブロックは、データ圧縮に付し得
るであろう。その結果、多様な異なる文書頁のいずれの
イメージデータであれ、任意に入力し、オペレータの介
入なしに自動的に処理可能となる。

【０００４】イメージデータの各ブロックの秩序だった
処理のために、多くの従来の特徴抽出装置は、ブロック
が重複していないという仮定に依存していた。そのよう
な仮定は、図２に示した文書などの、非常に多くの文書
において正しい。該図から分かるように、代表的な文書
頁１は、２コラムフォーマットで配列され、題名領域
２、水平な線３、各々テキストデータの行を含むテキス
ト領域４、５及び６、ハーフトーンピクチャ領域７、フ
レーム領域８、ならびに表９を含む。米国特許出願第０
７／８７３、０１２号「文字識別の方法及び装置」なら
びに米国特許出願第０８／３３８、７８１号「頁分析装
置」に記載されたブロック選択技術、によると、文書頁
１の各領域が、その中に位置するイメージデータのタイ
プに従って同定及び指定され、次いでイメージデータが
その各々のタイプに基づいて区分される。ブロック選択
処理の結果、各イメージ領域の矩形ブロックが図３に示
すように作成され、対応する階層木が形成される。即
ち、図３に示すように、文書１に対応するイメージデー
タ１１の場合は、ブロック選択により、題名ブロック１
２、テキストブロック１４、１５及び１６などの多様な
テキストタイプ領域ならびに線ブロック１３、ハーフト
ーンイメージブロック１７、フレーム領域１８及び表領
域１９等の多様な非テキストブロックが定められる。

【０００５】図３に示すように、非テキストブロックの
あるものはその中にテキストブロックを含みうるが、矩
形ブロックのいずれも他のブロックに重複していない。
例えば、フレーム領域１８は、非テキスト線画領域１８
ａ及びテキスト領域１８ｂを含み、表領域１９は、総じ
て１９ａで指定されるテキストタイプ表記載事項を含
む。

【０００６】

【発明が解決しようとする課題】上に述べたように、イ
メージデータ１１内のイメージ領域のブロック矩形指定
に基づき、各情報領域のイメージデータをその後の適切
な処理のために抽出することができる。さらに、そして
同じく前述したように、矩形ブロックのいずれも他と重
複していないので、抽出は直接的である。

【０００７】ブロック矩形領域が互いに他と重複すると
きは困難が生じる。そのような重複は、例えば、文書の
全体の外見に深く影響する編集書式の単純な変更ととも
に生じ得る。かくして、図４に示すように、フレーム領
域８を文書の２つのコラムにまたがる８ａで示される位
置に移動する編集書式の単純な変更が行われている。従
来のブロック選択及び特徴抽出技術では、図５に示すよ
うに、ブロック１８ａがブロック１４及びブロック１５
に重なるブロック矩形フォーマットが得られる結果とな
る。そのように定められた矩形ブロックに基づいてイメ
ージデータを抽出するときになると、これらのブロック
の重複は困難を引き起こす。即ち、領域４のテキストイ
メージデータにのみ対応すると想定されているブロック
１４についてイメージデータを抽出する時になると、非
テキストフレーム領域１８ａの不要な部分も抽出される
ことが分かる。同様に、テキストタイプイメージデータ
のみを含むと推定されている領域１５のイメージデータ
を抽出するときになると、非テキストフレーム領域１８
ａの不要なもう一つの部分が抽出されることが分かる。
かくして、特徴抽出またはブロック選択技術により設定
されるブロック矩形領域における重複は、現在までのと
ころ困難を生じている。

【０００８】本発明は、上述の問題点に鑑み、特徴抽出
またはブロック選択技術により設定されるブロック矩形
領域における重複の問題を克服できるブロック選択装置
を提供することを目的とする。

【０００９】

【問題を解決するための手段】本発明は、上述の困難に
対してブロック選択及び特徴抽出処理の結果得られる重
複矩形を同定し、該重複矩形をより小さい非重複矩形に
分解することにより対処する。好ましくは、重複する矩
形が全て分解されるのではなく、むしろ該重複矩形がま
ず分解が必要かどうかを判別するために分析されて、第
１の矩形についてイメージデータを抽出するときに第２
の矩形中の不要なイメージデータを抽出するのを回避す
る。

【００１０】好ましい形態においては、重複矩形の分解
は、各矩形内のイメージデータの輪郭ペアに基づく。即
ち、多くの水平の行にわたるイメージデータの場合、隙
間のない輪郭が定められ、そこから各イメージ行につい
て輪郭ペアを得ることが可能であるが、該輪郭ペアはそ
の線についてイメージデータの最左端及び最右端を定め
る。輪郭ペアは外接矩形内のイメージデータの３つの互
いに排他的な異なる種類のイメージデータの各々につい
て別様に得られる。即ち、輪郭ペアは、（１）テキスト
データ、（２）内部対象物を全く含まない非テキストデ
ータ及び（３）内部対象物を含む非テキストデータにつ
いて、別様に得られる。

【００１１】イメージデータの重複する矩形ブロック
は、その重複がしかるべきイメージ抽出に干渉するかど
うかを判別するために分析される。もし重複がしかるべ
きイメージ抽出に干渉しない場合には、分解は行われ
ず、輪郭ペアは用いられない。他方、矩形ブロックにお
ける重複がしかるべきイメージ抽出に干渉すると判別さ
れた場合は、輪郭ペアを用いて重複矩形を分解する。即
ち、分解は、関係のある重複矩形の種類に応じて別様に
行われる。即ち、分解は、（１）他のタイプ（即ちテキ
ストまたは非テキスト）ブロックに重複するテキストブ
ロック、（２）内部コンテンツを含まず、他の種類のブ
ロックに重複する非テキストブロック、及び（３）内部
コンテンツを含み他の種類のブロックに重複する非テキ
ストブロックについて、別様に行われる。

【００１２】かくして、本発明の１つの形態において
は、テキスト領域と非テキスト領域の両方を含むイメー
ジデータを処理する処理方法が提供される。本方法は、
ブロック選択を行って、イメージデータ内のテキストタ
イプ領域の各ブロックの周囲及びイメージデータ内の非
テキスト領域の各ブロックの周囲に外接する矩形を得、
各テキスト及び非テキストブロックについて輪郭ペアを
得るステップを含む。その次に、外接する矩形が重複す
るかどうが判別される。輪郭ペアに基づいて重複矩形を
分解し、非重複矩形の場合、外接矩形に基づいて、重複
矩形の場合、分解された矩形に基づいて、イメージデー
タが抽出される。次に抽出されたイメージデータが処理
される。

【００１３】この簡単な概要は、本発明の本質が速やか
に理解されるように提供したものである。本発明のより
完全な理解は、添付の図面に基づく好ましい形態の下記
の説明を参照することにより得ることができる。

【００１４】

【発明の実施の形態】図６は、本発明に係る重複矩形分
析及び分解を含む本発明の代表的な実施の形態の外観を
示す図である。図６には、プログラム化された汎用コン
ピュータが示されているが、本発明は、他のイメージ処
理装置に組み込み可能な、専用、ＲＯＭベースまたは据
えつけ型の装置などの他の装置において具体化可能であ
ることは理解されねばならない。

【００１５】図６には、マイクロソフトＷｉｎｄｏｗｓ
ＯＳ等のウインドウ型オペレーションシステムを有す
るＩＢＭＰＣまたはＰＣ互換機等のコンピュータ機器
４１０が示してある。コンピュータ機器４１０には、モ
ノクロまたはカラーディスプレイモニタ４１２が設けら
れ、ユーザに対しイメージを表示する。コンピュータ機
器４１０には更に、文書イメージファイル等のデータフ
ァイルならびにブロック選択及び重複矩形分析分解プロ
グラム等のアプリケーションプログラムファイルを記憶
する固定ディスクドライブ４１１が設けられている。さ
らにコンピュータ機器４１０には、テキストデータを入
力し、ディスプレイ４１２の表示画面に表示される対象
の操作を可能にするキーボード４１３と、ディスプレイ
４１２に表示される対象を指示したり操作したりするた
めの、マウス等のポインティング・デバイス４１４とが
設けられる。

【００１６】複数頁を有する文書はスキャナ４１６によ
って入力される。スキャナ４１６は文書の各頁または他
のイメージをスキャンして、これらの頁のビットマップ
イメージデータをコンピュータ機器４１０に供給する。
該イメージデータは、圧縮または非圧縮フォーマットで
ディスク４１１に記憶される。

【００１７】コンピュータ機器４１０が処理した文書を
出力するために従来のカラープリンタ４１８が設けられ
る。

【００１８】更に、ローカル・エリア・ネットワークと
インターフェースするためのネットワーク・インターフ
ェース４２４、及びファクシミリ／データモデムを介し
てファクシミリ・メッセージ及び他のデータファイルを
送受信するためのファクシミリ／モデム・インターフェ
ース４２６が設けられる。そのようなインターフェース
は、ドキュメントイメージデータを入力するためのスキ
ャナ４１６に加えて、またはその代わりに用いることが
できる。

【００１９】オペレータの指示に従って且つウインドウ
型オペレーションシステムの制御のもとで、デスクトッ
プ・パブリッシング・プログラム、ドローイング・アプ
リケーション・プログラム、ブロック選択アプリケーシ
ョン等の記憶されたアプリケーション・プログラムが選
択的に起動され、データを処理したり操作したりする。
また、オペレータの指示に従って且つこれらの記憶され
たアプリケーション・プログラムに基づいて、イメージ
をモニタ４１２に表示したり、モニタ４１２に表示され
ているイメージをプリンタ４１８で印刷するようにコマ
ンドが発せられる。

【００２０】最も典型的には、本発明を具体化するブロ
ック選択プログラムや重複矩形分析・分解プログラムを
含むコンピュータディスク４１１に記憶されたアプリケ
ーション・プログラムは、フロッピィディスク、ＣＤ−
ＲＯＭ、またはコンピュータ掲示板などのコンピュータ
読み出し可能媒体から各アプリケーションをダウンロー
ドしてディスク４１１に記憶したものである。

【００２１】図７は、コンピュータ機器４１０の内部構
成を示す詳細ブロック図である。図７に示すように、コ
ンピュータ機器４１０は、コンピュータバス５２１に接
続された、プログラム式マイクロプロセッサ等から成る
中央演算処理装置（ＣＰＵ）５２０を有する。また、ス
キャナ・インターフェース５２２、プリンタ・インター
フェース５２３、ネットワーク・インターフェース５２
４、ファクシミリ・モデム・インターフェース５２６、
ディスプレイ・インターフェース５２７、キーボード・
インターフェース５２８、及びマウス・インターフェー
ス５２９が、コンピュータバス５２１に接続されてい
る。

【００２２】ＣＰＵ５２０がアクセスできるように、ラ
ンダム・アクセス・メモリ（ＲＡＭ）等の主メモリ５３
０がコンピュータバス５２１に接続されている。特に、
ディスク４１１に記憶されたアプリケーション・プログ
ラムに関連する命令等、記憶されたアプリケーション・
プログラムの命令列を実行するときに、ＣＰＵ５２０
は、これらの命令列を、ディスク４１１（またはネット
ワーク・インターフェース５２４を介してまたはフロッ
ピィ・ディスク・ドライブ（図示せず）を介してアクセ
スされる媒体等の他のコンピュータ読み出し可能な媒
体）から主メモリ５３０にロードして、主メモリ５３０
からこれらの記憶されたアプリケーション・プログラム
の命令列を読み出して実行する。

【００２３】図１は、コンピュータで実現される方法を
示すフローチャートであって、文書頁を表す入力イメー
ジが入力され、該入力イメージに対してブロック選択が
実行されて文書イメージ内のテキスト及び非テキストブ
ロックの周囲の外接矩形を定め、輪郭ペアを各ブロック
について得、外接矩形を分析してそれらが重複している
か否かを判別し、重複していた場合は、該重複がイメー
ジ抽出に影響するかどうかを判別し、次に、それらがイ
メージ抽出に影響すると判別された場合は、重複矩形を
分解する。即ち、図１に示すように、分解は、重複矩形
が、テキストブロック、内部コンテンツを含まない非テ
キストブロック、または内部コンテンツを含む非テキス
トブロックに外接するかどうかに応じて別様に行われ
る。図１に示された処理ステップは、上述のようにコン
ピュータ読み出し可能な媒体に記憶され、それらの処理
ステップを主メモリ５３０にロードしてそこから実行す
るＣＰＵ５２０によって実行される。

【００２４】即ち、ステップＳ５０１で、文書頁を表す
イメージデータが入力される。前述したように、イメー
ジデータはスキャナ４１６を介して入力してよく、また
はディスク４１１上や、ネットワーク・インターフェー
ス４２４もしくはファクシミリ／モデム・インターフェ
ース４２６を介して記憶されたイメージデータファイル
から得てもよい。

【００２５】ステップ５０２において、入力イメージに
対してブロック選択が実行されて、テキスト及び非テキ
ストブロックの周囲の外接矩形を得、また各ブロックに
ついて属性情報と位置情報を記憶する階層木を得る。好
適なブロック選択技術は、前述の米国出願第０７／８７
３，０１２号及び第０８／３８８，７８１号に記載され
ており、その内容は、完全に記述したのと同じようにこ
こに引用により加入する。

【００２６】ステップＳ５０３においては、ステップＳ
５０２のブロック選択中に既に輪郭ペアが算出されてい
ない程度だけ、輪郭ペアが、ステップＳ５０２でブロッ
ク選択により定められた各ブロック矩形領域について得
られる。即ち、各ブロックは、通常多数の水平の線にわ
たる。ブロックの中に入るそのような行の各々につい
て、該ブロック中の最左端及び最右端の領域を定める輪
郭ペアがステップＳ５０３で得られる。輪郭ペアは、矩
形ブロック内のデータの種類に応じて別様に得られる。
即ち、輪郭ペアは、該ブロックが（１）テキストブロッ
ク、（２）内部コンテンツを含まない非テキストブロッ
クまたは（３）内部コンテンツを含む非テキストブロッ
クであるかどうかに応じて、別様に定められる。ステッ
プＳ５０３にしたがって輪郭ペアを得る方法について
は、図８及び図９を参照して下記において詳述する。

【００２７】ステップＳ５０４では、ステップＳ５０２
で得た外接矩形が重複するかどうかを判別する。外接矩
形が重複するかどうかの判別は、図１３を参照して、下
記に詳述する。もし重複する外接矩形がなければ、本発
明によりさらに処理を行う必要はなく、フローは、ステ
ップＳ５０９までスキップする。

【００２８】他方、ステップＳ５０４で外接矩形が重複
すると判別されたときは、ステップＳ５０５で、重複が
イメージ抽出に影響するかどうかを判別する。一般的
に、ほとんどの重複は、イメージ抽出に影響するが、中
にはイメージ抽出に影響しないものも存在しうる。例え
ば、重複するけれども、第１の外接矩形が第２の外接矩
形のイメージデータを全く含まないかまたはその逆であ
るという点で、互いに排他的である２つの外接矩形がブ
ロック選択により定められることはあり得る。そのよう
な外接矩形は、重複しているが、イメージ抽出には影響
を与えない。重複がイメージ抽出に影響するかどうかを
判別する方法についての詳細は、図１４（Ａ）〜（Ｃ）
を参照して詳述する。

【００２９】ステップＳ５０５で重複がイメージ抽出に
影響を与えないと判別された場合は、本発明によりさら
に処理を行う必要はなく、フローは、ステップＳ５０９
までスキップして進む。他方、重複がイメージ抽出に影
響する場合は、フローは、ステップＳ５０６、Ｓ５０７
及びＳ５０８に進み、各ステップで重複ブロックをそれ
ぞれ分解してイメージ抽出に影響しないようにする。

【００３０】ステップＳ５０６、Ｓ５０７及びＳ５０８
では、重複するブロックの種類に応じて重複ブロックが
別様に分解される。かくして、ステップＳ５０６では、
他の種類のブロック、即ちテキストまたは非テキストブ
ロックに重複するテキストブロックが分解される。ステ
ップＳ５０７では、内部コンテンツを含まない重複非テ
キストブロックが分解される。そしてステップＳ５０８
では、内部コンテンツを含む非テキストブロックが分解
される。階層木は、ステップＳ５０６、Ｓ５０７または
Ｓ５０８においてどのような分解が行われたかに基づい
て更新される。

【００３１】重複テキストブロック及び非テキストブロ
ックをステップＳ５０６またはＳ５０７またはＳ５０８
で分解した後で、フローはステップＳ５０９に進み、イ
メージデータがイメージデータの境界を定める外接矩形
に応じて抽出される。かくして、例えば、重複矩形が存
在しない状況では、イメージデータは、ステップＳ５０
２でブロック選択により定められた外接矩形に応じて抽
出される。他方、重複矩形が存在し、ステップＳ５０
６、Ｓ５０７またはＳ５０８で分解された場合は、各ブ
ロックのイメージ抽出がそれらのステップで決定された
分解ブロックに応じて実行される。

【００３２】フローは、次に抽出イメージデータが適切
に処理されるステップＳ５１０に進む。例えば、上述の
ように、テキストタイプイメージデータを抽出する時
は、適切な処理は、テキストデータ内の文字イメージの
同一性を判別するための光学式文字認識であってよい。
同様に、非テキスト表領域用の適切な処理には、該表内
に含まれるテキスト用のＯＣＲ処理が含まれてよい。さ
らに別の例として、非テキストハーフトーンイメージデ
ータの適切な処理には、より小さな記憶領域にハーフト
ーンピクチャを保存することを可能にする簡単なイメー
ジ圧縮が含まれてよい。

【００３３】図１の処理は、必要に応じて、ブロック選
択及びイメージ抽出が望まれる各文書頁のイメージデー
タについて繰り返し行われる。

【００３４】図８は、図１の上記ステップＳ５０３で簡
単に説明したように、イメージ情報の各矩形ブロックに
ついて輪郭ペアを得る方法を示すフローチャートであ
り、図９は、「輪郭ペア」が何を意味するかを説明する
図である。

【００３５】簡単に図９を参照すると、ブロック選択ス
テップＳ５０２で定められたイメージデータの任意のブ
ロック４０は、垂直方向に多数の走査線を含み、該走査
線の各々はブロックを水平に横切って延びている。任意
に形作られた連結成分４１は、例えば、文字のイメージ
またはその他のイメージであってよいが、やはり多数の
走査線を横切って垂直方向に延びている。「輪郭ペア」
は、対象物４１を含む各走査線について定められる。走
査線上の各輪郭ペア（対象物が違う位置で走査線を横切
る場合は各走査線には２個以上の輪郭ペアが存在しう
る）は、正確に２つのポイント：対象物が走査線上で始
まる第１（または左側）の点と対象物が走査線上で終わ
る第２（または右側）の点とを含む。かくして、例え
ば、図９を参照すると、走査線ｉには２つの輪郭ペアが
含まれ、第１のものは（ａ，ｂ）からなり、第２のもの
は（ｃ，ｄ）からなる。輪郭ペア（ａ，ｂ）には、対象
物４１が走査線ｉ上で始まる第１（左側）の点ａと対象
物４１が輪郭線ｉ上で終了する第２（右側）の点ｂが含
まれる。同様に、輪郭ペア（ｃ，ｄ）には、対象物４１
が走査線ｉ上で始まる第１（左側）の点ｃと対象物が輪
郭線ｉ上で終了する第２（右側）の点ｄが含まれる。走
査線「ｊ］の場合は、３つの輪郭ペア、即ち、（ｅ，
ｆ）、（ｇ，ｈ）及び（ｋ，ｌ）があり、走査線「ｋ」
の場合は、ただ１つの輪郭ペア（ｍ，ｎ）がある。輪郭
ペアの内側にあり輪郭ペアを含むイメージは、対象物４
１の連結成分に属するイメージである。したがって、対
象物のイメージは、各走査線に沿う輪郭ペアにのみもと
づいて抽出することができる。

【００３６】図９からよく理解されるように、イメージ
中の各対象物が輪郭ペアで表わされれば、イメージのど
の部分が次のイメージ処理のために抽出されなければな
らないかについてもはや混乱はないであろう。他方、か
なりのメモリスペースがイメージ内の各輪郭ペアを記憶
するのに必要とされ、特にイメージが何千もの輪郭ペア
が必要とされるであろうテキストから構成されている時
にはそうである。さらに、輪郭ペアの使用は、ブロック
矩形フォーマットでより自然に提示されるイメージの非
直覚的な表現になるために、ユーザにとっては不便であ
る。勿論、ブロック矩形フォーマットは、各矩形に対し
て単に左上の角と右下の角のみが設定に必要であるの
で、ずっと少ないメモリ記憶装置条件しか要求しない。
重複矩形が発生するときに生じる上述の欠点は、下記に
おいてより詳細に説明されるように、部分的には、輪郭
ペアのしかるべき使用法により対処される。

【００３７】図８を参照すると、３つの異なる種類のブ
ロック：テキストブロック、内部成分を含まない非テキ
ストブロック及び内部成分を含むテキストブロックの各
々について、輪郭ペアを導出するフローチャートが示さ
れている。よく理解されるように、イメージ内で出会う
いかなるブロックもこれらの互いに排他的な３つのカテ
ゴリの一つに属する。図８からさらによく理解されるよ
うに、各異なる種類のブロックの輪郭ペアは、それぞれ
が他の種類のブロックについてから導出される方法と
は、別様に導出される。

【００３８】かくして、ステップＳ６０１では、ステッ
プＳ５０２（図１）で導出された矩形ブロックがテキス
トブロックであるかどうか判別するために調べられる。
テキストブロックである場合は、次に輪郭ペアがステッ
プＳ６０２、Ｓ６０３及びＳ６０４により得られるが、
これらのステップにおいては、該ブロックの連結成分の
頂部、底部、左側及び右側の縁がまず得られ、それらの
４つの縁が組み合わされて、ブロック内の全ての連結成
分の隙間のない輪郭にされ、輪郭ペアがその隙間のない
輪郭から作成される。この処理は、図１０（Ａ）〜
（Ｆ）に示されている。図１０（Ａ）を参照すると、テ
キスト連結成分を含む矩形ブロックが描かれている。１
２のテキスト連結成分が示されているが、この数字は、
通常生じるよりもずっと少ないものであり、簡潔さのた
めにのみ示してある。図１０（Ｂ）〜（Ｅ）では、図８
のステップＳ６０２により、全ての連結成分の頂部の
縁、底部の縁、左側の縁及び右側の縁がそれぞれ得られ
る。次に、ステップＳ６０３により図１０（Ｆ）に示さ
れるように、頂部、底部、左側及び右側の縁が組み合わ
されて全ての連結成分が隙間のない輪郭にされる。４つ
の縁を組み合わせることにより、隙間のない輪郭が、テ
キストブロック内のテキストの全てを隙間なく囲む閉じ
たループに形成されることはよく理解されるであろう。
最後に、輪郭ペアが図１０（Ｆ）の隙間のない輪郭の輪
郭ペアを得ることにより、得られる（ステップＳ６０
４）。

【００３９】ステップＳ６０２ないしＳ６０４において
は、テキストブロックを囲む隙間のない輪郭を形成する
ため連結成分の矩形境界を用いると、各連結成分基づい
て隙間のない輪郭を算出する場合に多すぎる時間を費や
すことなく良好な結果が得られるであろうと感じられ
る。しかし、この人為的に作られた輪郭は、他の対象物
の輪郭と重複する結果となった場合に、該重複に関わる
連結成分の各々の輪郭ペアを用いて重複する部分を修正
することができる。

【００４０】図８に戻って、ステップＳ６０１で矩形ブ
ロックがテキストブロックでないと判別された場合は、
フローは、ステップＳ６０５に進み、矩形ブロックが内
部成分を含まない非テキストブロックであるかどうか判
別される。矩形ブロックが内部成分を含まない非テキス
トブロックである場合は、フローはステップＳ６０６及
びＳ６０７に切り替わり、そこで、輪郭ペアがブロック
内の各連結成分について得られ、そのようにして得られ
た輪郭ペアが連結される。この処理は、図１１に示され
るが、該図においては、３つの任意な連結成分４６、４
７及び４８が示されている。輪郭ペアは、該連結成分の
各々について導出され、輪郭ペアを結び組み合わせて、
全体に４９で示されるように、全非テキストブロック囲
む単一の輪郭を形成すべきかどうか考慮される。もし４
９で示されるような連結が望まれる場合は、連結のため
の空の道筋、即ち、重複を引き起こさない道筋が見出さ
れねばならない。その後で、連結された輪郭線が輪郭ペ
アとして出力される。他方、連結が望まれていない場合
は、各分離した連結成分の輪郭ペアが出力される。

【００４１】図８に戻り、ステップＳ６０５で、矩形ブ
ロックが内部成分を含まない非テキストブロックである
と判別されなかった場合は、カテゴリは互いに排他的で
あるので、該矩形ブロックは必然的に内部成分を有する
非テキストブロックでなければならない。したがって、
フローは、ステップＳ６０９及びＳ６１０（ステップＳ
６０８は単に完全さのために示してあり、実際には実行
を要しない）に進む。ステップＳ６０９とＳ６１０にお
いては、非テキスト対象物の外側の輪郭の輪郭ペアのみ
ならず内側白輪郭の輪郭ペアも得られ、ブロックの内部
成分を抽出するのを補助する。

【００４２】即ち、図１２（Ａ）を参照して、フレーム
対象物、表対象物または線画対象物等の内部成分を有す
る非テキスト成分は、対象物の最も外側の輪郭の内側に
含まれる白輪郭を有していてよい。内側白輪郭は、内部
対象物を抽出する補助のために用いられる。かくして、
図１２（Ａ）に示されるように、そしてステップＳ６０
９で説明されたように、テキスト成分などの内部成分５
２を含む任意の非テキストブロック５０について、まず
輪郭ペアが、該非テキスト対象物の最も外側の輪郭を定
める連結成分について得られる。したがって、図１２
（Ａ）に示してある状況では、輪郭ペアが連結成分５１
について得られる。その後、ステップＳ６１０にしたが
って最も外側の輪郭の内側白輪郭について輪郭ペアが得
られる。そのような内側白輪郭が５３で示されている。
（内側白輪郭を得る方法についての詳細な説明は米国特
許出願第０７／８７３，０１２号でなされており、その
内容は上述のように引用によりここに加入される。）最
も外側の輪郭を定める連結成分と内側白輪郭の両方につ
いての輪郭ペアが、次に、必要な輪郭ペア情報として出
力される。

【００４３】米国特許出願第０７／８７３，０１２号
は、図１２（Ｃ）に示す４方向パターンでの内側白輪郭
の導出を記述しているが、図１２（Ｄ）に示される８方
向パターンで内側白輪郭を導出することも可能である。
８方向導出は、非テキストの最も外側の輪郭が単に垂直
に配された縁だけではなく斜めの縁も有するような図１
２（Ｂ）に示されるような状況の場合に有利である。勿
論、該８方向パターンは、図１２（Ａ）に示されるよう
な状況パターンでも使用可能である。８方向導出は、５
３ａで示されるように斜めの縁が存在する場合でも、内
側白輪郭を良好に定めることを可能にする。しかし、８
方向検索パターンが用いられると、各ステップにおいて
白輪郭が外側の黒い境界で完全に包まれているかどうか
を判別するために白輪郭トレースを検査しなければなら
ない。

【００４４】要約すると、図８及び図９は、ステップＳ
５０３で簡単に触れた処理の詳細な処理を示すが、それ
によりブロック選択により同定された各矩形ブロックに
ついて輪郭ペアが得られ、またそれにより、輪郭ペア
は、該ブロックがテキストブロックであるか、内部成分
を含まない非テキストブロックであるか、内部成分を含
む非テキストブロックであるかに応じて別様に得られ
る。

【００４５】図１３及び図１４（Ａ）〜（Ｃ）は、重複
する外接矩形があるかどうかを判別し、重複矩形が存在
する場合は、重複がイメージ抽出に影響するかどうかを
判別する図１の処理ステップＳ５０４及びＳ５０５を説
明する図である。

【００４６】即ち、ステップＳ５０５では、ブロック選
択により同定されたブロックに重複するものがあるかど
うかが判別される。そのような重複は、各ブロックを定
める２つの座標（即ち、左上の角と右下の角）を他のブ
ロックの対応する座標と比較することにより判別可能で
ある。かくして、図１３は、４つのブロック、即ちテキ
ストブロック５４、テキストブロック５５、テキストブ
ロック５６、及び非テキストブロック５７を含む任意の
文書のイメージ５３を示す。各ブロックについての左上
の角及び右下の角と他のブロックについての対応する座
標との比較により、文書５３には重複するブロックがな
いことが示される。したがって、イメージ５３中のブロ
ックについては分解は必要でなく、文書５３の処理は、
直接イメージデータの抽出（ステップＳ５０９）に進む
ことが可能である。

【００４７】図１４（Ａ）〜（Ｃ）は、矩形ブロックに
おける重複がイメージ抽出に影響するかどうかを説明す
る図である。かくして、図１４（Ａ）においては、任意
の文書のイメージ６０は３つのブロック、即ち、ピクチ
ャブロック６１、ピクチャブロック６２、及びテキスト
ブロック６３を含む。テキストブロック６３の左上の角
及び右下の角の座標（即ち、座標（Ｘ１，Ｙ１）及び
（Ｘ２，Ｙ２））の比較により、テキストブロック６３
が非テキストブロック６１及び非テキストブロック６２
に重複していると判別される。しかし、図１４（Ａ）の
状況下では、テキストブロック６３がブロック６１及び
６２に重複しているといっても、テキストブロックがそ
れらに重複している領域には、ブロック６１及び６２の
イメージデータは存在しない。かくして、重複にも関わ
らず、ブロック６３のイメージ抽出は影響を受けず、テ
キストブロック６３の分解は必要とされない。他方、非
テキストブロック６１及び６２のイメージ抽出は、両方
とも、重複により影響される。即ち、ブロック６１の矩
形座標に基づいてイメージデータを抽出する場合は、必
要なピクチャデータが抽出されるのみならずブロック６
３から不要なテキストデータ部分も抽出されるであろ
う。したがって、非テキストブロック６１及び６２の両
方について、ブロック分解がステップＳ５０６、Ｓ５０
７またはＳ５０８にしたがって適切な処理として、必要
となる。（ここで、非テキストブロック６１及び６２は
内部成分を含まないと仮定すると、その場合は、分解処
理はステップＳ５０７にしたがって行われるであろ
う）。

【００４８】図１４（Ｂ）は、テキストブロック６５及
び非テキストブロック６６を含む任意の文書６４につい
て、重複がブロック６５と６６間に存在する状況を示
す。この状況では、図１４（Ａ）の状況とは違って、重
複のために、ブロック６５または６６のいずれについて
もイメージ情報を抽出するのは、同じく他のブロックに
ついての不要なイメージデータを得ることなしには不可
能である。したがって、ブロック６５及び６６の両方が
ステップＳ５０６ないしＳ５０８にしたがって分解に付
される。

【００４９】図１４（Ａ）及び（Ｂ）に示される重複
は、編集スタイルによるものであり、グラフィックが単
一のページ上でテキストと混合され、インデントされ位
置決めされたために生じたものである。しかし、重複は
他の原因によるものであり得、したがって、編集スタイ
ルによる重複に厳格に限定されるべきものではない。例
えば、重複は、イメージデータ内のスキュー（斜行）に
よっても発生可能であり、スキューは、意図的なもの
（やはり編集スタイルによる）またはある角度で文書を
走査したことによる非意図的なもののいずれかであり得
る。この状況は、任意の文書６７が第１のテキストブロ
ック６８及び第２のテキストブロック６９を含む図１１
Ｃに示されている。両方のテキストブロックが斜めにな
っており、そのスキューのため、ブロック６８と６９の
間に重複が形成される。その重複のために、他のブロッ
クからの不要な情報も抽出することなしには一つのブロ
ックからのイメージ情報を抽出できない。したがって、
ブロック６８及び６９の両方の分解が必要である。

【００５０】［重複するテキストブロックの分解］他の
テキストブロックまたは他のイメージタイプのブロック
に重複するテキストをしかるべく抽出するために、抽出
されるべきテキストを含むテキストブロックがより小さ
い非重複の矩形に分解される。ステップＳ５０６につい
て上で論じた重複するテキストブロックを分解する工程
は、図１５（Ａ）〜（Ｉ）、１６（Ａ）及び（Ｂ）、図
１７〜図１９、ならびに図２０（Ａ）及び（Ｂ）を参照
してより詳細に下記で論じる。

【００５１】一度重複テキストブロック領域が存在する
と判別され、該重複テキストブロック領域がイメージ抽
出に影響すると判別された場合は、重複状態がどのよう
に存在しているかが、どの領域が直ぐに分解されるべき
か（非重複領域）そしてどの領域がさらに分解を要する
か（重複領域）を判別するために吟味される。図１５
（Ａ）〜（Ｉ）に示されるように、２つのブロックに重
複が発生する仕方には９通りの例がある。（これらの９
つの例の鏡像及び回転が存在してもよい）。例えば、２
つの矩形が何らかの重複を有する場合、図１５（Ｄ）に
示す重複状態等のように、その水平及び垂直の縁が完全
にまたは一部重複しているかも知れず、一つの矩形のい
ずれかの縁が、他の矩形の縁内に完全に入っているかも
知れない。

【００５２】重複領域に関わる領域は、図１５（Ａ）〜
（Ｃ）及び１５（Ｅ）〜（Ｉ）の各重複状態に示される
ように、少なくとも２つのそして多くとも４つの矩形に
直ぐに分解可能である。勿論、図１５（Ｄ）に示すよう
に、２つのブロックが完全に互いに重複する場合があ
る。分解の第１のステップは、重複していない領域を分
解して１以上の非重複矩形に分解することにより刈り込
んで取り去ることである。図１５（Ａ）〜（Ｃ）及び１
５（Ｅ）〜（Ｉ）に示すように、非重複領域は非ボール
ド体の輪郭で示されている。例えば、図１５（Ａ）に示
されるように、テキストブロック１２０は、重複しない
第１及び第２の領域に分解可能であり、テキスト領域１
２１は、テキストブロック１２０と重複しない第１及び
第２の領域に分解可能である。その結果、直ぐに分解可
能な４つの非重複領域が得られる。しかし、重複領域１
２２の場合は、更なる分解が必要となる。この工程は下
記においてより詳細に論じられるであろう。

【００５３】まず、明瞭さのために、分解されるべきテ
キストブロックを「テキストブロック」と呼び、対象物
または該テキストブロックの矩形領域が重複する非テキ
スト領域を「重複対象物」と呼ぶ。この場合に重複対象
物は、テキストブロック、非テキストブロック、または
既に分解された矩形でありうる。重複対象物が分解され
た矩形である場合は、最初の分解処理が、テキストブロ
ックを分解するのに十分であるべきである。重複ブロッ
クがテキストまたは非テキストブロックであれば、分解
の第２のステップが、テキストまたは非テキストブロッ
クの「輪郭ペア」を用いて必要となるであろう。

【００５４】さて、図１６（Ａ）を参照すると、非テキ
ストブロック１３１に重複するテキストブロック１３０
の例が示されている。図１５（Ａ）で注意した重複状態
のように、イメージ抽出されるべきテキストが重複領域
１３２内に存在し、一度非重複ブロックが分解されると
その結果図１６（Ｂ）に示す重複領域１３２が得られ
る。重複領域１３２が次に、より小さい非重複矩形を作
るために更なる分解に付され、テキストブロックが重複
領域からすぐに抽出することが可能となる。

【００５５】かくして、重複領域１３２をさらに分解す
る工程を図１７〜図１９に示すフローチャートを参照し
て論じる。ステップＳ１４００においては、領域１３２
内のテキストブロックの全ての連結成分が集められる。
一度、それらが集められてしまうと、各成分が図２０
（Ａ）に示すような重複領域に入るように刈り込まれ
る。例えば、図２０（Ａ）に示すように、ブロック１５
１が刈り込まれ、重複領域内のブロックの部分のみが残
る。即ち、ブロック１５１について図２０（Ａ）に示さ
れたものは、ブロック全体の一部にすぎない。同じこと
が、ブロック１５２及び非テキストイメージ１５３の残
余の部分についても当てはまる。

【００５６】ステップＳ１４０１では、重複領域１３２
内にある重複非テキスト対象物の全ての輪郭ペアが集め
られ、上述したようにして非重複部分が重複部分から刈
り込まれる。ステップＳ１４０２では、連結成分が重複
非テキストイメージ内に入らない矩形の組にグループ化
される。この点については、ステップＳ１４０２での連
結成分を非重複矩形の組にグループ化する処理は二つの
異なる方法、即ち方法Ａ及び方法Ｂによって行うことが
可能である。方法Ａにおいては、領域１３２内のテキス
トブロックの刈り込まれた連結成分がステップＳ１４０
４で用いられ、方法Ｂにおいては、重複テキストブロッ
クの刈り込まれた連結成分から導出される輪郭ペアが用
いられる。方法Ａまたは方法Ｂのいずれかより、テキス
トブロックが非テキストイメージに重複しない矩形にさ
らに分解される。

【００５７】かくして、方法Ａの分解を用いて、ステッ
プＳ１４０５において、テキストブロックが水平なテキ
ストブロックであるかどうか判別される。ステップＳ１
４０５において、水平なテキストブロックであると判別
されたときは、フローは、ステップＳ１４０７に進み、
そこで、水平方向に沿う全ての連結成分が一緒にグルー
プ化される。一度水平方向の全ての連結成分がグループ
化されると、フローは、ステップＳ１４０８に進み、そ
こで、垂直方向に沿う全ての連結成分がグループ化され
る。

【００５８】ステップＳ１４０９において、重複非テキ
スト対象物の輪郭ペアのいずれとも重複しない重複領域
内の連結成分が残存しているかどうかが判別される。も
し輪郭ペアと重複しない更なる連結成分が存在しないな
らば、ステップＳ１４１２において、グループ化処理が
終了する。グループ化された水平方向連結成分及びグル
ープ化された垂直方向連結成分が次いで、組み合われて
４つの非重複矩形１５４、１５５、１５６及び１５７を
形成する。これらの矩形の座標は、非重複領域内のテキ
ストと同様にして重複領域からテキストを抽出するのに
利用される。しかし、もっと多くの連結成分が存在する
場合は、フローはステップＳ１４０７に戻る。

【００５９】ステップＳ１４０５で、テキストブロック
が水平方向のテキストブロックではない場合は、フロー
は、ステップＳ１４１４に進み、そこで連結成分がまず
垂直方向に沿って連結される。一度、それらが垂直方向
に沿って連結されると、フローは、ステップＳ１４１５
に進み、その時点で、全ての連結成分が水平方向に沿っ
て一緒にグループ化される。ステップＳ１４０９におけ
ると同様に、ステップＳ１４１６において、重複非テキ
ストイメージの輪郭ペアのいずれとも重複しない連結成
分が残存しているかどうか判別される。もし重複対象物
の輪郭ペアのいずれとも重複しない成分が残存していな
いと判別された場合は、グループ化処理がステップＳ１
４１２で終了する。グループ化された水平方向連結成分
及びグループ化された垂直方向連結成分は、次に、組み
合わされて非重複矩形を形成する。これらの矩形の座標
は、記憶され、非重複領域のテキストと同様に重複領域
からテキストを抽出するのに使用される。重複しない連
結成分が存在する場合は、フローはステップＳ１４１４
に戻る。

【００６０】図１８の連結成分のグループ化の結果、今
や更なる処理のために抽出可能となったブロック化され
た領域が得られる。更なる分解により今度は重複領域内
のテキストデータが直ぐにしかるべき後処理のために抽
出可能となる。

【００６１】一方、方法Ｂが用いられた（ステップＳ１
４０６）場合は、ステップＳ１４２０で、輪郭ペアが集
めれらた連結成分から導出されるか、即ちテキストブロ
ックの輪郭ペアが図２０（Ｂ）に示すように重複領域に
入るように刈り込まれる。なお、該グループ化は、テキ
ストブロックの連結成分ではなくて、輪郭ペアにより生
じるため、図２０（Ａ）に示されているのとは少し異な
っている。一度輪郭ペアが刈り込まれた連結成分から導
出されると、フローは、ステップＳ１４２１に進む。ス
テップＳ１４２１では、全ての垂直方向の連結された輪
郭ペアが一緒にグループ化される。ステップＳ１４２２
では、一度連結された垂直方向の輪郭ペアの全てが垂直
方向に沿ってグループ化されると、次に水平方向の輪郭
ペアが一緒にグループ化される。ステップＳ１４２３で
は、垂直方向及び水平方向グループ輪郭ペアから作られ
た矩形が重複対象物の輪郭ペアのいずれとも重複しない
ような垂直方向又は水平方向の連結輪郭ペアが残存する
かが判別される。もし、ステップＳ１４２３において、
残存する連結輪郭ペアが存在しないと判別されると、グ
ループ化処理はステップＳ１４２４で終了する。垂直方
向及び水平方向両方のグループ化された連結輪郭ペアは
重複対象物の輪郭ペアのいずれともまた前に分解された
矩形の非グループ化輪郭ペアのいずれとも重複しない矩
形に分解される。

【００６２】上述の処理の結果として、重複テキストブ
ロック内のテキストは、さらにテキストブロックの重複
領域をより小さな非重複矩形に分解することにより抽出
することができる。

【００６３】［内部コンテンツを含まない非テキストブ
ロックの分解］上記ステップＳ５０７で論じた内部コン
テンツを含まない重複非テキストブロックを分解する処
理を図２１（Ａ）〜（Ｃ）及び図２２を参照してさらに
詳細に論じる。

【００６４】非テキストブロックの矩形領域がもう一つ
の非テキストブロックと重複する場合は、非テキストブ
ロックの一方をより小さな非重複矩形に分解することが
可能である。より小さな非重複矩形の組によって提供さ
れる情報に基づいて該ブロック内の重複非テキストイメ
ージを直ぐに抽出することが可能である。

【００６５】明瞭さのために、分解されるべき非テキス
トブロックを「非テキストブロック」と呼び、該非テキ
ストブロックにより重複されている領域を「重複対象
物」と呼ぶ。

【００６６】さて、図２１（Ａ）を参照すると、非テキ
ストイメージブロック１６０及び１６１が領域１６２で
重複している。上記において重複テキストブロックにつ
いて論じたように、非重複領域は直ぐに最大４つの非重
複矩形に分解される。非テキストブロック１６０及び１
６１の「輪郭ペア」に基づいて、図２２のフローチャー
トに示される処理を用いて、重複領域１６２、非テキス
トブロック１６０及び１６１内のより小さな非重複矩形
の組を作ることが可能である。

【００６７】かくして、ステップＳ１７００において、
非テキストブロック１６０及び重複対象物１６１の輪郭
ペアを用いて、非重複領域を刈り込んで領域１６２内に
入るイメージのみが残存するようにする。即ち、図１５
（Ａ）を参照して前述したように、矩形１２０及び１２
１が重複領域１２２から刈り込まれる。同様に、ブロッ
ク１２３及び１２４が刈り込まれ、重複領域のみが残さ
れる。

【００６８】図２１（Ｃ）に示されるように、重複非テ
キストブロックが刈り込まれ、分解される。ステップＳ
１７０１においては、重複領域１６２において輪郭ペア
情報が存在するか否かが判別される。輪郭ペア情報が重
複領域に存在しないとステップＳ１７０２で判別される
と、さらに分解を行う必要はなく、処理が終了する。し
かし、重複領域１６２に輪郭ペア情報が存在するとフロ
ーはステップＳ１７０３に進む。

【００６９】ステップＳ１７０３においては、矩形重複
領域（重複領域の境界領域）に接触する全ての輪郭ペア
が非テキストブロック及び重複対象物の両方について集
められる。それらの集められた輪郭ペアは図２１（Ｂ）
に示す重複領域内に入るように刈り込まれる。

【００７０】次に、ステップＳ１７０４においては、非
テキストブロック１６０の刈り込まれた輪郭ペアが集め
られる。ステップＳ１７０５では、非テキストブロック
１６０及び重複ブロック１６１の重複領域１６２が、連
結された垂直方向の輪郭ペアをグループ化し、次いで、
垂直方向に沿うグループ化が終了した後で水平方向の輪
郭ペアがグループ化されることにより、分解される。一
度垂直方向の輪郭ペアがグループ化され、水平方向の輪
郭ペアがグループ化されると、重複対象物１６１の輪郭
ペアのいずれとも重複しないように矩形が形成される。
非テキストブロック１６０の重複領域１６２を分解した
結果を図２１（Ｃ）に示す。

【００７１】図２１（Ｃ）に示すように、非テキストブ
ロック１６０の重複領域１６２は２つのより小さい非重
複矩形１６３及び１６４に分解されている。

【００７２】［内部コンテンツを含む非テキストブロッ
クの分解］ステップＳ５０８で説明したように、テキス
トなどの内部コンテンツを含む非テキストブロックを分
解する処理について図２３（Ａ）〜（Ｄ）及び図２４な
らびに図２５（Ａ）及び（Ｂ）を参照してより詳細に論
じる。

【００７３】初めは、フレーム、表、ピクチャ等のブロ
ックには、その矩形領域が、該フレーム、表またはピク
チャ内の白輪郭によって包まれる異なる種類のイメージ
データを包んでいるものがあってもよい。例えば、フロ
ーチャートの場合は、その中にテキスト（アクション）
を含む非テキストイメージ（工程ボックス）があり、し
たがって、イメージは、イメージまたはテキストが、他
を抽出しないでしかるべく抽出され得るように、テキス
トとは別に定められねばならない。

【００７４】コンテンツを有するまたは有しない非テキ
ストイメージをしかるべく抽出するために、コンテンツ
を有する非テキストブロックがコンテンツと重複しない
最小数のより小さな外接矩形に分解されねばならない。
それらのより小さな外接矩形から、内容イメージという
よりむしろブロック化されたイメージがしかるべく抽出
可能になる。

【００７５】さて図２３（Ａ）を参照すると、テキスト
コンテンツを含む非テキストイメージの例が示されてい
る。図２３（Ａ）は、非テキストイメージ１８０〜１８
２を含むフローチャートの例である。非テキスト領域１
８０、１８１及び１８２の各々の内側に、それぞれ３つ
の白輪郭領域１８６、１８７及び１８８があり、各白輪
郭内に、テキストブロック１８３、１８４及び１８５が
ある。

【００７６】図２３（Ｂ）に示される非テキストイメー
ジのみを得るために、非テキストイメージ１８０、１８
１及び１８２をより小さな外接矩形によって分解できる
ように、非テキストイメージ、白輪郭及びテキストブロ
ックの輪郭ペアが集められる。

【００７７】かくして、図２３（Ｂ）に示すイメージを
しかるべく得るために、下記のステップが図２４のフロ
ーチャートに示されたように実行される。

【００７８】図２３（Ｂ）に示されるイメージの分解を
開始するために、非テキストイメージの各行の輪郭ペア
が、該輪郭ペアの一つを白輪郭の輪郭ペアで置き換える
ことにより修正される。例えば、図２３（Ｃ）に示すよ
うに、行ｉの輪郭ペアは、白輪郭の対応する行で各行の
輪郭ペアを置き換えることにより修正される。即ち、該
修正に先立って、非テキストイメージ１８０及び１８１
の輪郭ペアは、それぞれ（ａ，ｂ）及び（ｃ，ｄ）であ
り、白輪郭１８６及び１８７の輪郭ペアはそれぞれ
（ｅ，ｆ）及び（ｇ，ｈ）である。一度輪郭ペアが、各
行の輪郭ペアを対応する白輪郭の行に置き換えることに
より修正されると、非テキストイメージの輪郭ペアは、
（ａ，ｅ）、（ｆ，ｂ）、（ｃ，ｇ）及び（ｈ，ｄ）と
なる。

【００７９】各行の輪郭ペアを修正した後で、ステップ
Ｓ１９０１において、修正が非テキスト対象物の各輪郭
ペアについて繰り返される。一度輪郭ペアの全ての行の
修正が完了すると、ステップＳ１９０３において、修正
された輪郭ペアは、ピクチャそのものがしかるべく抽出
可能となるより小さな外接矩形の組にグループ化され
る。即ち、ステップＳ１９０３では、グループ化処理
が、まず垂直方向に連結された輪郭ペアのグループ化が
行われ、次に、垂直方向に沿うグループ化が終了した後
で、水平方向に連結された輪郭ペアの全てのグループ化
が行われる。全体の外接矩形が、テキストブロック１８
３、１８４及び１８５、他のグループ化されない輪郭ペ
アまたは他の前に形成された矩形等の内部ブロック内容
物の輪郭ペアのいずれとも重複しないように、さらに修
正された輪郭ペアを選択することが不可能になると、グ
ループ化処理は終了する。一度垂直方向に連結された輪
郭ペア及び水平方向に連結された輪郭ペアが全て連結さ
れてしまうと、より小さな外接矩形が、非テキストイメ
ージ１８０、１８１及び１８２の周囲に作られる。得ら
れた分解イメージは図２３（Ｄ）に示される。その後、
矩形の座標が更なる処理のために記憶され、分解が終了
する。

【００８０】図２３（Ｄ）に示すように、図２３（Ａ）
のイメージは、最小１１個の外接矩形に分解されてい
る。記憶されたこれらの１１個の外接矩形の座標を利用
して、該１１個の矩形、１８０、１８１及び１８２の非
テキストイメージがその中のコンテンツを抽出すること
なくしかるべく抽出可能になる。

【００８１】図２５（Ａ）は、テキストやピクチャデー
タ等の、内部に含まれるブロックからイメージデータを
抽出するためにどのようにフレームイメージが分解でき
るかを示す１例である。図２５（Ｂ）は、上記の方法を
用いて、テーブルイメージを、テーブルの内容物を抽出
することなく抽出できるようにするために、テーブルを
分解することができる方法を示す１例である。

【００８２】図２６（Ａ）は、不規則な形状の輪郭１９
２内に含まれるテキストブロック１９１を示す。そのよ
うな状況では、テキストブロックは、非テキスト輪郭用
のブロックに重複しがちである。上述の分解により、テ
キストブロック１９１を非重複領域１９１ａ，１９１ｂ
及び１９１ｃに分解可能であり、その全てが図２６
（Ｂ）に示されるような輪郭１９２の白輪郭内にある。
そのような分解により、テキストブロックのイメージデ
ータを抽出するときに、輪郭の不要なイメージデータも
間違って抽出されることが、確実になくなる。

【００８３】以上、本発明を特定の態様に関して説明し
たが、本発明は上記記載に限定されることはなく、抽出
されるべき全てのタイプのイメージデータに適用される
ことができるものと理解されるべきものである。更に、
発明の精神及び範囲から逸脱することなく、当業者によ
って種々の変更や修正が可能である。

【図面の簡単な説明】

【図１】重複矩形を分析し分解する方法を示すフローチ
ャートである。

【図２】文書頁の代表的な図である。

【図３】図２にブロック選択処理を行って得られた矩形
ブロックの図である。

【図４】文書頁の代表的な図である。

【図５】図４にブロック選択処理を行って得られた矩形
ブロックの図である。

【図６】本発明を具体化する装置の概観を示す斜視図で
ある。

【図７】図６の装置のブロック図である。

【図８】イメージデータ内の輪郭ペアを得る方法を説明
するフローチャートである。

【図９】輪郭ペアを説明する図である。

【図１０】テキストタイプイメージデータの場合に、輪
郭ペアを得る方法を説明する図である。

【図１１】内部成分を含まない非テキストイメージデー
タの輪郭ペアを得る方法を説明する図であり（Ａ）は元
のピクチャを示し、（Ｂ）は輪郭を結合した後のピクチ
ャを示す。

【図１２】（Ａ）及び（Ｂ）は、内部成分を含む非テキ
ストイメージデータの場合に輪郭ペアを得る方法を説明
する図であり、（Ｃ）及び（Ｄ）は、それぞれ４方向及
び８方向輪郭トレース間の相違を説明する図である。

【図１３】重複しない外接矩形を示す図である。

【図１４】重複輪郭がイメージ抽出に影響を与えるかど
うかを判別するための分析を説明する図である。

【図１５】２つのブロックがどのようにして重複可能で
あるかを説明する図である。

【図１６】（Ａ）は、非テキストブロックに重複するテ
キストブロックの例を示し、（Ｂ）は、（Ａ）に示す重
複領域の刈り込まれたものを示す図である。

【図１７】重複テキストブロックをより小さな矩形に分
解する方法を示すフローチャートである。

【図１８】図１７のフローチャートの続きである。

【図１９】図１７のフローチャートの続きである。

【図２０】それぞれ重複するテキストブロック領域を分
解する二つの方法を示す図である。

【図２１】二つの重複非テキストブロックを説明する図
である。

【図２２】重複非テキストイメージを分解する方法を示
すフローチャートである。

【図２３】内部コンテンツを含む非テキストブロックを
分解する方法を説明する図である。

【図２４】内部コンテンツを含む非テキストブロックを
より小さな外接矩形に分解する方法を示すフローチャー
トである。

【図２５】（Ａ）分解されたフレーム及び（Ｂ）分解さ
れた表の例をそれぞれ示す図である。

【図２６】（Ａ）不規則な形状の輪郭に含まれるテキス
トブロック及び（Ｂ）その分解後を説明する図である。

【符号の説明】

４１０コンピュータ機器４１１ディスク５２０ＣＰＵ５２２スキャナ・インターフェース

Claims

【特許請求の範囲】

【請求項１】テキスト領域と非テキスト領域の両方を
含むイメージデータを処理するイメージ処理方法であっ
て、ブロック選択を行って、前記イメージデータ内のテキス
トタイプ領域の各ブロックの周囲及び前記イメージデー
タ内の非テキストタイプ領域の各ブロックの周囲の外接
矩形を得る工程と、各テキスト及び非テキストブロックについて輪郭ペアを
得る工程と、前記外接矩形が重複するかどうかを判別する工程と、前記輪郭ペアに基づいて重複矩形を分解する工程と、非重複矩形については前記外接矩形に基づき、重複矩形
については分解矩形に基づいて、イメージデータを抽出
する工程と、該抽出されたイメージデータを処理する工程とを備えて
成るイメージ処理方法。
【請求項２】前記ブロック選択を行って外接矩形を得
る工程は、各矩形の左上と右下の角の座標を定める工程
を含み、前記外接矩形が重複するかどうかを判別する工
程は、一つの矩形の座標を他の各矩形の座標と比較する
工程を含むことを特徴とする請求項１記載のイメージ処
理方法。
【請求項３】重複矩形がイメージ抽出に影響するかど
うかを判別する工程をさらに含み、前記重複矩形を分解
する工程は、重複がイメージ抽出に影響すると判別され
た時にのみ行われることを特徴とする請求項１記載のイ
メージ処理方法。
【請求項４】各ブロックにつき輪郭ペアを得る前記工
程は、複数の互いに排他的なカテゴリのいずれに各ブロ
ックが属するかを判別する工程と、互いに異なる輪郭ペ
ア技術のうちから選択された技術であって前記互いに排
他的なカテゴリのいずれに前記ブロックが属するかに応
じて決定される技術に基づいて輪郭ペアを得る工程とを
含んで成ることを特徴とする請求項１記載のイメージ処
理方法。
【請求項５】前記互いに排他的なカテゴリは、テキス
トカテゴリと、内部成分非含有非テキストカテゴリと、
内部成分含有非テキストカテゴリとから成ることを特徴
とする請求項４記載のイメージ処理方法。
【請求項６】あるブロックの前記カテゴリがテキスト
タイプカテゴリである場合は、輪郭ペアは、該ブロック
のテキスト連結成分の頂部、底部、左側及び右側の縁を
トレースし、該頂部、底部、左側及び右側の縁を、隙間
のない輪郭に組み合わせ、該隙間のない輪郭から輪郭ペ
アを得ることにより得られることを特徴とする請求項４
記載のイメージ処理方法。
【請求項７】あるブロックの前記カテゴリが内部成分
を含まない非テキストブロックである場合は、輪郭ペア
は、該ブロック内の各連結成分の輪郭ペアを連結するこ
とにより得られることを特徴とする請求項４記載のイメ
ージ処理方法。
【請求項８】あるブロックの前記カテゴリが内部成分
を含む非テキストブロックである場合は、輪郭ペアは、
内側白輪郭の輪郭ペアを含むことを特徴とする請求項４
記載のイメージ処理方法。
【請求項９】重複する矩形を分解する前記工程は、複
数の互いに排他的に異なるカテゴリのいずれに前記重複
する矩形が属するかを判別する工程と、複数の互いに異
なる分解技術のうちから選択された技術であって、前記
矩形がいずれのカテゴリに属するかに基づいて選択され
る技術に基づいて前記重複する矩形を分解する工程とを
含んで成ることを特徴とする請求項１記載のイメージ処
理方法。
【請求項１０】テキスト領域と非テキスト領域の両方
を含むイメージデータを処理するイメージ処理装置であ
って、ブロック選択を行って、前記イメージデータ内のテキス
トタイプ領域の各ブロックの周囲及び前記イメージデー
タ内の非テキストタイプ領域の各ブロックの周囲の外接
矩形を得るブロック選択手段と、各テキスト及び非テキストブロックについて輪郭ペアを
得る輪郭ペア作成手段と、前記外接矩形が重複するかどうかを判別する重複判別手
段と、前記輪郭ペアに基づいて重複矩形を分解する分解手段
と、非重複矩形については前記外接矩形に基づき、重複矩形
については分解矩形に基づいて、イメージデータを抽出
する抽出手段と、該抽出されたイメージデータを処理するイメージデータ
処理手段とを備えて成るイメージ処理装置。