JP4427342B2 - 文書分析情報を使用して文書を再フォーマット化する方法及び製造物 - Google Patents

Description

本発明は、画像処理の分野に関連し、特に、本発明は、レイアウト分析、文書分析又は、光学式文字認識（ＯＣＲ）情報を使用する文書の再フォーマット化に関連する。

走査された文書は、しばしば、大きく、典型的には、２百万から２億画素（又は、サンプル）である。ある応用は、制約されたディスプレイとここでは呼ぶ、非常に少ない画素を有するディスプレイ上に文書を表す、更に小型の画像を表示することから利益がある。制約されたディスプレイは、ＰＤＡ、移動装置、携帯電話、ディジタルコピーフロントパネルのような装置等のような、物理的に制限された数の画素を有するディスプレイである。例えば、多くのＰＤＡは、現在１００，０００より少ない画素を有する。制約されたディスプレイは、より大きな物理的なディスプレイ（例えば、高解像度モニタ、印刷されたページ等）内の領域である。グラフィックユーザインターフェース（ＧＵＩ）は、文書と関連する（例えば、アイコン、検索結果、等）領域を有する。１つの形式の制約されたディスプレイは、サムネール画像を表示する領域である。サムネール画像（又は、サムネール）は、典型的には、３，０００から３０，０００画素である。制約されたディスプレイは、ディスプレイ内で有効な幅と高さのみが、表示されている文書又は画像と同じ大きさでない。

サムネールは、大きな画像の小さな画像表現であり、通常は、見ることそして大きな画像のグループを管理することを容易に且つ素早くすることを意図されている。多くのサムネールは、通常は、オリジナルの画像の丁度ダウンサンプル版である。言いかえると、伝統的なサムネールは、全体の文書を要求される幅と高さに再スケーリングし、そして、典型的には、アスペクト比を保存する。サムネール発生の処理の高速化に焦点を当てた、ウェブサムネール生成についてのソフトウェアパッケージが、入手できる。マージンの自動クロッピングを実行するソフトウェア（例えば、ＵＮＩＸ（登録商標）のｐｎｍツール）もある。

ＨＴＭＬフォーマットで利用できる文書のよりよい表現を提供する、”向上されたサムネール”がある。例えば、非特許文献１を参照する。これらの向上されたサムネールは、伝統的に生成されたサムネールのコントラストを低下させることにより、そして、ＨＴＭＬで見つかったキーワードを重ねることにより生成される。

他の研究は、非特許文献２に記載のような、更に効果的なサムネールを生成するためになされる。あるサムネール表現は、非特許文献３のような、サムネールの走査又は他の機械入力からのオリジナルの文書の検索を可能とするために、それに符号化される、特別な、機械認識可能な情報を有する。

他の研究は、伝統的なサムネールの新たな使用を生成するためになさなれる。例えば、サムバーは、固定の幅に再フォーマットされた文書であるが、しかし、制限されない幅を有し、そして、ＨＴＭＬ文書についてのウェブアプログラムで使用される。キーワードが、サムバー内で異なる色のコードで表示される。一般的には、テキストは、判読できない。非特許文献４を参照する。

しばしば、アイコンは、内容に関連される代わりに、ファイルの形式（例えば、それを生成したプログラム）を識別する。これらの場合には、サムネール内のオリジナルの文書のテキストの判読性は、目的ではない。サムネール表現は、しばしば、サムネールをみながらもとの文書を検索できる、判読できるテキスト以外の情報を有する。

次の１０年は、電子文書が好まれるので紙の文書の使用は劇的に減少すると考えるべきである。紙−電子の変化は、企業について、走査される文書ツールの設計を戦略的にしうる。走査された文書の重要な特徴は、オブジェクト特にテキストがファイル内で識別されず且つ認識されないことである。それは、走査された文書のテキスト文字、単語及び線の位置を特定し且つ識別する、光学式文字認識（ＯＣＲ）（又は、一般的には文書分析）ソフトウェアによりしばしば、後分析を必要とする。ＯＣＲの現在の使用は、一般的には、カリフォルニア、マウンテンビューのＡｄｏｂｅのＡｄｏｂｅ Ａｃｒｏｂａｔ Ｃａｐｔｕｒｅのように、キーワード検索のためのテキストファイル出力として又は、余分な情報として、認識されたテキストを使用し、そして、走査された文書にメタデータとしてテキストとその位置を追加することである。

文書分析システムは、２つの部分：レイアウト分析と文字認識（光学式文字認識又はＯＣＲとも呼ばれる）を有する。文字認識部は、ＡＳＣＩＩのような記号的な形式で出力を発生するために、文字及び文字のグループを解釈するために言語に特定の情報を使用する。レイアウト分析部は、文字認識を実行する前に必要なステップより構成され、即ち、個々の前景画素をストローク（結合されたインクのしみ）のような文字又は文字要素にグループ化し、テキストを含む画像領域を見つけ、そして、パラグラフ、線、単語及びキャラクタのようなテキスト情報ユニットをグループ化する。これらのユニットは、矩形の境界ボックスにより特徴化される。文字認識は、難しいタスクであり、そして、ＯＣＲソフトウェアは、文書上に幾つかの間違いをしうる。あるタイトル、見だし、等の、大きなフォントの少量のテキストは、特に認識するのが困難である。これは、ユーザを困らせそして、アプリケーションに誤りを導く。

レイアウト情報は、白スペースを拡張するのに（Ｃｈｉｌｔｏｎ，Ｊ．Ｋ．，Ｃｕｌｌｅｎ，Ｊ．Ｆ．の”ディジタル走査装置のための文書画像内の白スペースの拡張（Ｅｘｐａｎｓｉｏｎ ｏｆ Ｗｈｉｔｅ Ｓｐａｃｅ ｉｎ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ ｆｏｒ Ｄｉｇｉｔａｌ Ｓｃａｎｎｉｎｇ Ｄｅｖｉｃｅｓ）”を参照する）、白スペースを減少させるのに（名称”ポータブル電子文書に記載されている単語を識別する方法及び装置（Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｗｏｒｄｓ Ｄｅｓｃｒｉｂｅｄ ｉｎ ａ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｏｃｕｍｅｎｔ）”の特許文献１参照）又は、制約されたディスプレイに適用する（非特許文献５参照）ことに、既に使用されている。
米国特許番号５，８３２，５３０ Ｗｏｏｄｒｕｆｆ，Ａ．Ｆａｕｌｒｉｎｇ，Ａ．，Ｒｏｓｅｎｈｏｌｔｚ，Ｒ．，Ｍｏｒｒｉｓｏｎ，Ｊ．，Ｐｉｒｏｌｌｉ，Ｐによる、Ｐｒｏｃ．ＳＩＧＣＨＩ２００１、ｐｐ．１９８−２０５、２００１の、"ウェブを検索するためのサムネールの使用（Ｕｓｉｎｇ ｔｈｕｍｂｎａｉｌ ｔｏ ｓｅａｒｃｈ ｔｈｅ Ｗｅｂ）" Ｏｇｄｅｎ，Ｗ．，Ｄａｖｉｓ，Ｍ．，Ｒｉｃｅ，Ｓ．，によるＴＲＥＣ、１９８８、ｐｐ．５２８−５３４の、"高速に関連性を判断するための文書サムネールの視覚化（Ｄｏｃｕｍｅｎｔ ｔｈｕｍｂｎａｉｌ ｖｉｓｕａｌｉｚａｔｉｏｎｓ ｆｏｒ ｒａｐｉｄ ｒｅｌｅｖａｎｃｅ ｊｕｄｍｅｎｔｓ：Ｗｈｅｎ ｄｏ ｔｈｅｙ ｐａｙ ｏｆｆ？）" Ｐｅａｉｒｓ，Ｍ．による第３回ＩＣＤＡＲ９５のプロシーディングのｖｏｌ．２，ｐｐ．１１７４−１１７９、１９９５年の、"アイコンペーパ（Ｉｃｏｎ Ｐａｐｅｒ）" Ｇｒａｈａｍ，Ｊ．による、Ｐｒｏｃ．ＳＩＧＣＨＩ’９９、ＰＰ．４８１−１８８、１９９９年の、"リーダのヘルパ：個人化された文書読出し環境（Ｔｈｅ Ｒｅａｄｅｒ’ｓ Ｈｅｌｐｅｒ：ａ ｐｅｒｓｏｎａｌｉｚｅｄ ｄｏｃｕｍｅｎｔ ｒｅａｄｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）" Ｂｒｅｕｅｌ Ｔ．Ｍ．，Ｊａｎｓｓｅｎ，Ｗ．Ｃ．，Ｐｏｐａｔ，Ｋ．，Ｂａｉｒｄ，Ｈ．Ｓ，による、ＩＥＥＥ２００２、ｐｐ．４７６−４７９の、"ＰＤＡへのペーパ（Ｐａｐｅｒ ｔｏ ＰＤＡ）"

Ａｄｏｂｅは、テキストの検索性を可能とするために、ＯＣＲ情報を走査された文書の画像に添付する。ＯＣＲ情報は、しかしながら、サムネールを生成するのに使用できない。ＯＣＲがあるテキストに失敗する場合には、そのテストは検索可能でない。

しかしながら、走査されていない文書を再フォーマットする方法は、レイアウト分析に基づいて、２次元の制約されたディスプレイを目標とするためになされた。

電子文書を再フォーマットする方法及び装置が開示される。一実施例では、テキストゾーンの位置を特定するために文書の電子版のレイアウト分析を実行し、文書の電子版のテキストゾーンへスケールと重要度についての属性を割当て、画像を生成するために属性に基づいて文書の電子版内のテキストを再フォーマットする。

本発明は、本発明の種々の実施例の以下の詳細な説明と添付の図面により更に完全に理解されようが、しかしながら、本発明は特定の実施例に限定されると考えるべきではなく、例示と理解のためのみである。

走査された文書を再フォーマットする方法と装置が開示される。ここの教示は、制約されたディスプレイ上のより良い文書表現を達成するために、走査された文書を再フォーマットする問題と取り組むのに使用される。走査された文書は、画像又は画像を表す文書であってもよい。それは、スキャナ、カメラ又は、他の装置により捕捉され、又は、レンダリングによりディジタル形式で生成されうる。上述のように、制約されたディスプレイの一例は、サムネールである。一実施例では、結果の再フォーマットされた画像は、できるだけオリジナルの文書に含まれる多くの関連するテキストを、読取可能な方法で、表示する。

特に、ここに開示された技術は、テキストの語義に関する意味を使用せずに、文書内のテキストの再配置を可能とする要素を提供する。これらの要素は、テキストの境界ボックス、テキスト読取順序、テキスト領域の相対的な重要度の評価、スケーリングの可能性及びテキストのリフローの使用を含む。再フォーマッティングは、（例えば、以下に詳細に説明するように重要度値のような重要な情報を使用して）ブランク空間の除去、スケーリング、ラインとパラグラフの再整形、及び情報を知的に捨てることを使用して実行されうる。

以下の説明では、多くの詳細が本発明の徹底的な理解を提供するために述べられる。しかしながら、当業者には、本発明のこれらの特定の詳細なしに実行されうることは、理解されよう。他の例では、良く知られた構造と装置は、本発明を曖昧にすることを避けるために、詳細よりも、ブロック図の形式で示される。

以下の詳細な説明のある部分は、アルゴリズム及びコンピュータメモリ内のデータビットに関する動作の記号的な表現により示される。これらのアルゴリズム記載と表現は、他の当業者へ研究の実体を最も効果的に伝えるデータ処理技術の当業者により使用される手段である。アルゴリズムはここでは、そして、一般的には、望ましい結果を導くステップの自己一貫性のあるシーケンスであると考えられる。ステップは物理的な量の物理的な操作を必要とする。通常は、必要ではないが、これらの量は、記憶され、伝送され，結合され、比較されそして操作される、電気又は、磁気信号の形式をとる。これらの信号をビット、値、要素、シンボル、キャラクタ、項、数等と呼ぶことは、共通使用の理由により、原理的にしばしば便利である。

これらの全ての又は同様な用語は、適切な物理的な量と関連されそして、これらの量に与えられた単に便利なラベルであることは憶えておくべきである。特に述べない限り以下の説明から明らかなように、この記載を通して、”処理”又は、”計算”又は、”決定”又は、”表示”等のような用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）量として表現されたデータを、コンピュータシステムのメモリ又はレジスタ又は他のそのような情報記憶装置、伝送又は、表示装置内の物理的な量として同様に表現される他のデータへ、操作又は変換する、コンピュータシステム又は同様な電子計算装置の動作又は処理を指すことは理解されよう。

本発明は、ここの動作を実行する装置にも関連する。この装置は、要求された目的のために特に構成され、又は、それは、コンピュータ内に格納されたコンピュータプログラムにより選択的に活性化され又は再構成される汎用コンピュータを含みうる。そのようなコンピュータプログラムは、限定はされないが、フレキシブルディスク、光ディスク、ＣＤ−ＲＯＭ、及び、光磁気ディスクのような任意の形式のディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、又は、電子的命令を格納するのに適する他の形式の媒体のようなそして、各々はコンピュータシステムバスに接続された、コンピュータ読み出し可能な蓄積媒体に格納されうる。

ここで示されたさアルゴリズムと表示は、特定のコンピュータ又は他の装置に固有に関連はしない。種々の汎用システムは、ここの技術に従ってプログラムと共に使用されえ、又は、要求された方法ステップを実行するために更に特化された装置を構成することが便利であるとわかる。種々のこれらのシステムについての要求された構造は、以下の説明から明らかとなろう。更に、本発明は、特定のプログラミング言語を参照して記述されてはいない。種々のプログラミング言語は、ここに記載の本発明の教示を実行するために使用されうることは、理解されよう。

機械読み出し可能な媒体は、機械（例えば、コンピュータ）により読み出し可能な形式で情報を格納し又は伝送する機構を含む。例えば、機械読み出し可能な媒体は、読み出し専用メモリ（”ＲＯＭ”）、ランダムアクセスメモリ（”ＲＡＭ”）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置、電気的、光学的、音響的又は、他の形式の伝搬信号（例えば、搬送波、赤外信号ディジタル信号とう）、等を含む。

概要
ここに記載の技術は、走査された文書画像を制約されたディスプレイ文書表現へ、再フォーマットするために文書分析を実行することにより与えられるレイアウト分析情報を使用する。図１は、制約されたディスプレイ文書表現発生器の一実施例のデータフロー図を示す。この発生器は、ハードウェア（例えば、回路、専用論理）、（汎用コンピュータシステム又は専用機で実行されるような）ソフトウェア又は、その組み合わせを含み得る。

図１を参照すると、分析段階１０１は、走査された入力画像１００を受信し、そして、走査された画像内のテキストゾーンの組を、テキストゾーンの各々についての属性の組と共に発生する。分析段階１０１は、レイアウト分析情報を発生する、レイアウト分析器１１０を有する。一実施例では、レイアウト分析器１１０は文書分析ソフトウェア１１０Ａと光学的にフィックスアップ機構１１０Ｂを使用する。一実施例では、レイアウト分析情報は、読取順序の文書内の見つかるテキストゾーンのリスト、読取順序の文書内の見つかるテキストラインのリスト、各テキストラインの単語の境界ボックスのリスト、各テキストゾーンについてのキャラクタサイズを記述する統計値を含む。例えば、あるゾーンで使用される各キャラクタセットについて、このキャラクタセットの平均の寸法（幅と高さ）は、使用される統計値である。一実施例では、レイアウト分析器１１０は、テキストラインのアラインメント（例えば、左、右、中央、調整）、フォント情報、通常／太字／斜体、等及び単語の信頼性も提供する。

フィックスアップ機構１１０Bは、情報を階層で構造に組織化するパーサを含む。これは、以下に更に詳細に記載される。フィックスアップ機構１１０Bは、対応するもとの走査された画像にへ対応する傾斜除去された（デスキュー、ｄｅｓｋｅｗｉｎｇ）画像から出力されたレイアウト分析内の座標情報を調整する機能も有する。

分析段階１０１は、以下の詳細に記載するように、属性を割当てる、属性発生器１１１も有する。レイアウト分析情報と属性は、合成段階１０２へ送られる。一実施例では分析結果１３０も、出力される。

レイアウト分析情報が、読み出し順序情報を有しない場合には、上から下及び／又は、左から右又は、右から左へのような位置順序が使用され得る。

合成段階１０２は、記号フォーマッタ１１２と画像形成器１１３を有する。一実施例では、フォーマッタ１１２は、各テキストゾーンのスケールを選択するスケールセレクタ１１２Ａ、テキストゾーン上のリフローを実行するリフロー計算ユニット１１２Ｂ及び制約されたディスプレイ文書表現又は、制約されたディスプレイ出力画像のレイアウトを発生するレイアウトユニット１１２Ｃを有する。テキストのリフローが良く知られている。例えば、Ｇｏｒｍｉｓｈ他への、米国特許番号６，０４３，８０２の、名称「モニタに文書を表示するための解像度減少技術（Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ Ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｄｏｃｕｍｅｎｔｓ ｏｎ ａ Ｍｏｎｉｔｏｒ）」を参照し、これは、モニタ上に表示するために走査された文書のテキストをのリフローを開示する。

フォーマッタ１１２により実行されるこれらのリフロー動作は、例えば、高さと幅のような、制約された出力ディスプレイ表現のサイズに関して、ディスプレイ制約１２０を受信するのに応じて全て実行される。これらの制約はキャンバスサイズ又は、目標画像差入ずとも呼ばれる。フォーマッタ１１２は、境界ボックス座標のようなテキストゾーンにつての記号データに動作する。実際の画像データの処理を必要としない。

画像形成器１１３は、合成段階１０２からの出力に応じて、再フォーマットされた出力画像１１４を発生する。クロッピング（ｃｒｏｐｐｉｎｇ）、スケーリング及び貼り付け（ｐａｓｔｉｎｇ）のような画像データの実際の処理が実行される。

図１を参照して記載の動作とユニットを、以下に詳細に説明する。

制約されたディスプレイ文書表現は、単一のページに対して又は、全体の文書（又は、全体の文書のサブセット）に対して生成されうる。これは、幾つかの文書が同一又はほぼ同一のカバーページを有する時に特に有益である。

ＯＣＲ結果からの情報（フォントサイズと位置以外）は、テキストの包含を重み付けするのに使用され得る。例えば、検索で使用されるツールと逆文書頻度（ｉｎｖｅｒｓｅ ｄｏｃｕｅｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）のようなテキストの要約は、テキストを含むことの重要度を増加するのに使用される。

ここに記載の技術は、ＯＣＲでなく、レイアウト分析のみを使用して実行されうる。しかしながら、ＯＣＲを使用する実施例の利点がある。ＯＣＲが応用で要求されそして、レイアウト分析情報がＯＣＲ及び制約された表現発生と共有される場合には、制約された表現発生を発生するのに要求される追加の計算は少ない。他の利点は、制約された表現発生がＯＣＲ結果を使用せず、それゆえに、ＯＣＲエラーに対して免れ、そして、ＯＣＲが失敗したときに有益な情報を提供できることである。

再フォーマット処理の一実施例
図２は、文書を再フォーマットする処理を示す。この処理は、ハードウェア（回路、専用論理等）、ソフトウェア（汎用コンピュータシステム又は専用機で実行されるような）又は、両方を有する処理論理により実行される。

この処理では、テキストゾーンを使用して、一実施例では、目標は、可能な限り多くのテキストを表示することであり、各テキストゾーンは、最小の読取可能なサイズにスケーリングされている。一実施例では、最小の読取可能なサイズは、スケーリングファクタで示される。利用できるスペースを効率的に使用するために、ゾーン内のテキストは、出力ディスプレイの幅に適合するようにリフローされる。

図２を参照すると、処理論理は、最初に、レイアウト分析情報を得る為に、レイアウト分析（及びオプションでＯＣＲも）実行する（処理ブロック２０１）。これは、図１の文書分析ソフトウェア１１０Ａにより実行される。ＯＣＲは、テキストの位置及び境界ボックスを提供するレイアウト分析情報を提供する。テキストをリフローするために、個々の単語の位置が必要である。大きなテキストグループを選択し及び／又はクロップすることが使用されうる。分析情報は、例えば、罫線、単語の信頼性、フォント記述、キャラクタ境界ボックス等の、他の情報も提供する。レイアウト分析処理の結果は、画像の境界ボックスも提供する。一実施例では、得られたレイアウト分析情報は、ラインへの単語のグループ化、テキストゾーンへのテキストラインのグループ化、テキストの読み出し順序、及びラインのアラインメント形式（例えば、中央、左又は、右）を含む。

レイアウト分析情報を得た後に、処理論理は、レイアウト分析情報に必要な調整を実行する（処理ブロック２０２）。これは、ＯＣＲ処理中に行われた傾斜除去（デスキュー、ｄｅｓｋｅｗｉｎｇ）について補償するために、境界ボックスの座標を調整することを含む。これは、レイアウト分析情報を解析することも含む。

レイアウト分析情報を得た後に、処理論理は、選択的にゾーンセグメント化を実行する。

一旦テキストゾーンが識別されると、処理論理は各テキストサブゾーンについての幾つかの属性を得る（処理ブロック２０３）。これは、属性発生器１１１により実行される。これらの属性は、スケーリング及び／又は、重要度情報を含む。一実施例では、スケーリング情報は、スケーリングファクタであり、重要度情報は重要度値又は、等級である。スケーリングファクタと重要度値は各テキストゾーンについて発生される。

スケーリングファクタ属性は、テキストゾーンがスケーリングされる量を示す変数である。一実施例では、スケーリングファクタは、読取できなくなる前にテキストがスケーリングされうる下限である。一実施例では、（特定の形式のディスプレイについての）テキスト内のキャラクタの平均サイズと低い方のスケーリング限度の間の経験的な関係が、スケーリングファクタを決定するのに使用される。これは次の様である：
ｓｃａｌｉｎｇ＿ｌｉｍｉｔ＝ｍｉｎｉｍａｌ＿ｒｅａｄａｂｌｅ＿ｃｈａｒ＿ｓｉｚｅ／ｃｈａｒ＿ｓｉｚｅ（スケーリング＿限度＝最小＿読み出し可能＿キャラクタ＿サイズ／キャラクタ＿サイズ）。
特定のビューアー及びディスプレイに依存して、例えば、画素の最小の読み出し可能なキャラクタサイズは７２ｄｐｉＣＲＴモニタについては６に等しいがしかし、例えば、ＬＣＤ、高コントラストディスプレイのような、他の装置又は、他のフォント又は、意図された観測距離等で異なる。この関係を解釈する方法は、ｍｉｎｉｍａｌ＿ｒｅａｄａｂｌｅ＿ｃｈａｒ＿ｓｉｚｅ画素のキャラクタサイズが、典型的なユーザが快適に特定のディスプレイ上で読むことのできる、最小であると考えることである。このスケーリング限度ファクタによりスクケーリングすることにより、テキストはこのｍｉｎｉｍａｌ＿ｒｅａｄａｂｌｅ＿ｃｈａｒ＿ｓｉｚｅ画素寸法に縮小される。

代わりに、最小の読取可能なキャラクタサイズは、目標ディスプレイ解像度及び読取距離についての調整により決定されうる。合成に使用されるスケーリングファクタは、目標ディスプレイについて調整されるべきである。ＧＵＩは、ユーザが、最小のテキストについての望ましいサイズを選択することを可能とする（図１２）。各選択は、スケーリングファクタへの異なる調整に対応する。ｍｉｎｉｍａｌ＿ｒｅａｄａｂｌｅ＿ｃｈａｒ＿ｓｉｚｅは、ディスプレイ特性、観測条件及び／又は、観測者の嗜好に基づいて選択された望ましいサイズでありそして、読取可能基準へのみに限定されない。

テキストサブゾーンについての重要度値は、文書内のテキストサブゾーンの重要度を視覚的に評価するのに使用される、属性である。一実施例では、重要度値は、ゾーン内の最大キャラクタセットサイズとページ内のその位置を使用して決定される。一実施例では、重要度値を発生するのに使用される以下の式が与えられる：

ここで、ＸとＹは、それぞれ、テキストゾーンの重心の中心の水平及び垂直座標であり、ＷとＨは、文書の幅と高さであり、そしてＷ／２とＨ／２は文書の真中の座標である。（Ｘ＝０は左、Ｘ＝Ｗは右、Ｙ＝０は上、Ｙ＝Ｈは下である）。上述の式内の他のファクタは、ページ内の水平位置を考える。特に、ページの右又は左の辺のテキストゾーンは、中心のものと比べて、不利である。さらに使用される他のファクタは、垂直位置を考える。特に、ページの低部のゾーンは、ページの第１の半分内のものと比較して不利にされる。

他の実施例では、重要度重みをページの異なる領域と関連付けするのにテンプレートが使用される。更に他の代わりの実施例では、重要度値は、テキスト又は、その一部を圧縮するのに、テキスト符号化器（例えば、ＪＢＩＧ）により費やされた幾つかのビットである。

属性の決定後に、処理論理は、所定のテキストゾーンに含まれるテキストのリフローを示すためにリフロー計算を実行する（処理ブロック２０４）。（リフローは、ここで”記号的再フォーマッティング”及び”画像生成”の２段階で実行されることに注意する）。リフローの記号的再フォーマッティングは、画像データを評価することなしに実行される。処理論理は、ユニットの物理的なリフローの後に、テキスト要素の境界ボックスがどのように整列されるかを記述することにより、テキストの再マッピングのためのパラメータを計算する。この点では、実際にリフローされた画像出力データは生成されないことに注意する。実際のリフローの生成は、画像形成段階でのみなされる。再マッピング計算と実際の実行の間の分離は、再マッピング情報を見た後に、処理が、リフローが使用されないことを決定する場合には、計算的な効率を可能とする。

リフローの実行後に、処理論理は、キャンバス内に合うゾーンを選択する（処理ブロック２０５）。これは、図１の表示制約１２０を使用して実行される。キャンバスは、画素ユニットの形状（例えば、矩形）を含みうる。

処理論理は、クロッピングも実行しうる。一実施例では、キャンバスに合うゾーンを選択することは、重要度値を減少させる順序で、テキストゾーン上をループする処理論理を含む。これは、必要なリフローを計算することにより達成され、それにより、スケーリングファクタ属性によるスケーリング後に、リフローテキストゾーンはキャンバス（目標サイズ）に適合し、スケーリングされそしてリフローされたテキストを示す高さを計算する。そして、処理論理は、現在のサブゾーンと前のものを表示するのに十分なスペースがあるかを試験し、ない場合には、ループが抜けられる。ゾーンが合わないのでループが抜けられた場合にはそして、最後のリフローされたゾーンがラインのしきい値数（例えば、１０）よりも長い場合には、処理論理はこのゾーンの第１の半分のみを保持し、そして、ループを再開始する。しきい値は、ユーザ又はアプリケーションにより設定される。この最後のゾーンが、しきい値数ライン（例えば、１０）よりも小さい場合には、処理論理はループを再開始することなしに、できる限り多くのラインを保持する。そして、その合計に全てのゾーンを表示する十分なスペースがある場合には、そして、利用できるスペースの設定された量（例えば、６０％）より小さい量が使用される場合には、テキストのスケールが増加される。この点で、ループは増加されたスケールファクタを使用して再び実行される（処理ブロック２０６）。一実施例では、スケーリングファクタは、２５％、５０％、１００％又は、任意の割合だけ増加される。

処理論理は、表示命令のリストを発生する（例えば、クロップ、スケール、及び／又は、貼り付け命令）（処理ブロック２０７）。一実施例では、これらの命令は、読取順序である。他の実施例では、命令の出力リストが、クロップ位置（例えば、座標、高さ及び幅）、寸法、スケーリング（例えば、浮動少数点、合理的な数）及び貼り付け位置（例えば、ｘとｙ座標）とともに、発生される。

一旦、スケーリングとリフロー命令を有する選択されたゾーンの組が選択されると、画像形成段階中に、処理論理は、リフローされ且つスケーリングされたテキストゾーンを有する小さな画像オブジェクトを生成する。処理論理は、そして、このオブジェクトをより大きなキャンバスに張りつける。一実施例では、処理論理は最初に、リフローされテキストのためにブランクキャンバスを生成する。処理論理は、そして、一連のクロップと貼り付け動作を実行する。即ち、処理論理は、実際の画像を生成するために、テキストゾーンへの必要なクロッピング、スケーリング及び貼り付け動作を、オリジナルの走査された文書から実行する（処理ブロック２０９）。即ち、実際の画像は、オリジナルの走査された文書からテキストゾーンをクロッピングし、それらをスケーリングし、そしてそれらをキャンバスの等しい又は、等しくない空間に貼り付けることにより生成される。クロッピングは、全体のパラグラフのようなテキストゾーン内に含まれるもののある部分を取り除く又は、表示されるためにテキストゾーン内に残されるものを識別する動作を含む。

画像形成動作は、目標画像サイズ（制約）の寸法を使用してブランク画像生成を実行する論理を有し（処理ブロック２０８）、制約されたディスプレイキャンバスの生成となり、そして、処理の結果をテキストネールキャンバスに貼り付け、それにより、制約された表示画像１１２を生成する。

他の実施例では、画像生成を実行するときに、処理論理は、テキストゾーン内の全ての単語のプールを生成し、そして続いて、それを、ラインが所定の幅を満たしそして、他のテキストラインを開始するまで、テキストラインに加える。

画像の２部分のスケーリングと、領域クロッピングは、画像がＪＰＥＧ２０００で符号化される場合には、ＪＰＥＧ２０００復号器により実行される。画像がＪＰＥＧ２０００圧縮された画像は、低解像度ウェーブレット係数データを単純に復号することによってのみ、圧縮のために使用されたウェーブレット変換の各レベルについて、２のべき乗で縮小されたサイズにスケーリングされる。ＪＰＥＧ２０００画像は、あるタイル、プレシンクト、又は、コードブロックを複合することによってのみクロッピングされる。全ての圧縮されたデータを復号しないことにより、処理時間は減少される。例えば、２５６ｘ２５６タイルと５ウェーブレットレベルで圧縮された図１７に示された１０２４ｘ１０２４画像を考える。４００、６００と９００、８００の角を有する矩形をクロッピングしそして、両寸法で１／６にスケーリングすることを考える。２５６，５１２及び１０２４，１０２４の角を有する矩形（タイル９，１０，１１，１３，１４及び１５）より構成される６タイルと４の最低解像度レベル（６から、１／４のスケーリングとなる）が復号される。１９２ｘ１２８の復号された画像では、クロップされた矩形は、角（４００−２５６）／４＝３６、（６００−５１２）／４＝２２及び（９００−２５６）／４＝１６１及び（８００−５１２）／４＝７２を有しそして、従来技術の方法でクロップされる。（１／６）／（１／４）＝２／３のスケーリングは、任意の従来技術の方法で実行されうる。このように、１９２ｘ１２８の復号された画像サイズについての処理労力でありそして、大きな１０２４ｘ１０２４全画像サイズではない。

例示のレイアウト分析とＯＣＲシステム
一実施例では、Ｎ．Ｙ．のロチェスタのＸｅｒｏｘ画像システムからのソラリスＯＣＲソフトウェアのＳｃａｎＷｏｒＸバージョン２．２は、レイアウト分析とＯＣＲを実行するのに使用される。この実施例では、ここでは、ＸＤＯＣと呼ばれるテキストファイルフォーマットで、結果が出力される。出力は、対応するパラメータを有する、一連のインターミックスされたマークアップより構成される。多くの形式のレイアウト分析及び／又は、ＯＣＲシステムが、使用されそして従来技術で良く知られていることに注意する。

レイアウト分析により出力される情報から、オブジェクトの境界が走査された画像の画素座標内で識別される。オブジェクトは、例えば、ライン、キャラクタ、単語、テキスト、パラグラフ、罫線（例えば、米国特許の発明社名の上の水平線のような、垂直又は水平ライン）、テキストゾーン、画像ゾーン等である。境界ボックスは、典型的には、矩形領域であるが、しかし、画像領域又は領域の任意の記載でもよい。一実施例では、ソフトウェアはＯＣＲを実行するために実行されそして、それは、自身の座標系（例えば、ＸＤＯＣ座標）で、レイアウト分析情報を表現しそして出力する。この座標系は、走査された画像でない測定の異なる単位を使用し、そして、この画像を正確に記述しないが、代わりに、（Ｘｅｒｏｘ画像システム、ソラリスリリースノートのためのＳｃａｎＷｏｒＸＭｏｔｉｆバージョン２，２に記載されている）デスキューイング変換後の画像を記述する。画像画素座標系で位置情報を表示するために、２つの動作がＸＤＯＣ座標に適用される。第１は、逆デスキューイング動作が実行されそして、スケーリング動作が実行される。ページの上方左と下方右の座標が、ＸＤＯＣ座標系で与えられるので、ＸＤＯＣ系の文書の幅と高さは、決定される。

一実施例では、上、左、右及び下のテキストゾーンの境界（以下に詳細に説明する）と、画像ゾーンは、直接ＯＣＲソフトウェア出力で（又は、サブゾーンの処理出力内で）表現される。これらは、（上述のように）画像画素座標系に変換される。テキストラインとして、ＯＣＲソフトウェアは、基線のＹ座標と、左及び右Ｘ座標のみを提供する。フォント情報（大文字の高さと、ディセンダを有する又はディセンダを有すしない小文字の高さ）及び認識されたテキスト（大文字の高さと、ディセンダを有する又はディセンダを有すしない小文字の高さ）を使用して、ラインの上方及び下方境界が決定される。キャラクタ認識の失敗への強さのために、変形は認識されたキャラクタを考えずそして、上方の境界については大文字の高さを、そして、下方の境界についてはディセンダを有する小文字の高さのみを使用する。一旦、ライン境界が決定されると、座標は変換されそして、画像とテキストゾーンと同じように、矩形が決定されそして描かれる。

一実施例では、情報をさらに容易に走査するために、情報は、図３に示された例示の構造のような、階層データ構造に再組織化される。図３のボックスは、文書３０１、フォント記述子３０２、罫線３０３、テキストゾーン３０４、テキストライン３０５、単語３０６及び画像ゾーン３０７を有する。

キャラクタサイズの決定
レイアウト分析情報からのキャラクタサイズ情報は、属性割当て前に、使用するために、統計値へ変換される。アプリケーションに依存して、幾つかの変換が使用される。

一実施例では、テキストゾーンについてのスケーリングファクタが、キャラクタセットのサイズ（又は、フォント）を使用して、決定される。一実施例では、処理されているテキストゾーンについての最大のキャラクタセットサイズを決定するために、処理論理は、キャラクタセット（全ての個々のキャラクタ、フォント）の平均幅と高さの算術平均を決定する。これは、以下のように表現される：
ｃｈａｒ＿ｓｉｚｅ＝ｍａｘ_{ｃｈａｒａｃｔｅｒ ｓｅｔ}（（＜ｈｅｉｇｈｔ＞＋＜ｗｉｄｔｈ＞）／２）
幾何平均は、同様に使用される。他の実施例では、最小のフォントサイズが使用され又は、平均が使用される。一実施例では、そのゾーン内の最大のキャラクタセットサイズのみが使用される。即ち、スケーリングファクタ属性は、そのゾーン内の最大のフォントを有する各ゾーンについて計算される。代わりに、各キャラクタの境界ボックス又は、各単語又はライン又は点の推定されたフォントサイズの境界ボックスの高さが使用されうる。平均の幅と平均の高さも使用されうる。

再フォーマット化のためのゾーンへのセグメント化
レイアウト分析情報を得た後に、処理論理はゾーンセグメント化も実行し得る。これは、ＯＣＲ処理により識別されるテキストゾーンは、非常に大きいか又は、文書の全てのテキストより構成されうる。一実施例では、処理論理は、共通の特徴（フォント又はアラインメント）と空間の近接により関連される数テキストラインより構成される、オブジェクトを生成することによりゾーンセグメント化を実行する。

テキストラインの適切なグループ化を伴なうゾーンを決定する処理の一実施例は、図４に示されており、そして、そのようなオブジェクトは、ここではテキストゾーンと呼ぶ。図４を参照すると、ｉｓｐｃはインタースペース（境界ボックスを使用して計算されたライン間の間隔）を示しそして、高さは文書の高さを示す。セグメント化処理は、テキストゾーン４００のような、テキストゾーンについて、テキストゾーンを分けるかどうかを決定する処理論理で開始する。一実施例では、処理論理はインタースペース（ｉｓｐｃ）が５で割られた文書の高さ（ｈｅｉｇｈｔ）よりも大きい場合には、又は、ゾーンが罫線と識別された場合には、テキストゾーンを分ける（処理論理４０１）。そして、処理論理は、同じフォント又はアラインメントを有するラインのクラスタを作る（処理論理４０２）。代わりの実施例では、処理論理はフォントのみ又はアラインメントのみに基づいてクラスタを作る。

他の代わりのものは、テキストラインについての境界ボックスのみを使用することである。次に、処理論理は、インタースペース（ｉｓｐｃ）が所定の数（例えば、２）とメディアンインターペース（ｉｓｐｃメディアン）の積よりも大きいときに、テキストゾーンを分ける（処理ステップ４０３）。

同様に、レイアウト分析ソフトウェアが個々のテキストラインをゾーンにグループ化せずに出力する場合には、同様な特性を有するラインがゾーンにグループ化されうる。

アラインメント形式
一実施例では、アラインメント形式は既にＯＣＲ処理により決定されている。しかしながら、それは正確でないか又は、全体のページのアラインメントのみを考え、（ここで記載のリフロー処理について有益な）サブゾーンのテキストラインのアラインメントではないので、処理論理は、各サブゾーンについてアラインメント形式を再評価する。一実施例では、サブゾーンの中央、左エッジ及び右エッジの標準偏差を計算することによりそして、アラインメント形式として最も低い標準偏差を有する軸をとることにより実行される。

リフローの一実施例
一実施例では、リフローされるテキストは、テキストラインと呼ばれるクラスのオブジェクトのリストにより示される。テキストラインオブジェクトのこのリストは、画像データではなく、オリジナルの文書のテキストについての情報（ラインとワードの境界、フォントＯＣＲされたテキスト、属性）を含む。テキストラインオブジェクトのリストは、ｏｌｄ＿ｔｅｘｔｌｉｎｅ（古い＿テキストライン）と呼ぶ。リフロー計算の出力段階は、ここでは、ｒｅｆｌｏｗｎ＿ｔｅｘｔｌｉｎｅ（リフローされた＿テキストライン）と呼ばれる新たなテキストラインオブジェクトのリストを出力する。新たなリストは、境界ボックスについての新たな位置としてリフローを記述する。加えて、ｒｅｆｌｏｗｎ＿ｔｅｘｔｌｉｎｅ内のテキストオブジェクトは、古いラインとリフローされたラインの間のマッピングも含む。このマッピングは、リフローされたラインの部分（ラインのサブユニット）と古いラインの対応する部分の間の一連の対よりなる。ｒｅｆｌｏｗｎ＿ｔｅｘｔｌｉｎｅ内の各テキストオブジェクトについて、リフロー命令は、以下の方法のこれらの対の１つを記述する５アプレットのリストである。

リフロー命令／マッピング＝（ｒｅｆｌｏｗｎ＿ｓｔａｒｔ，ｒｅｆｌｏｗｎ＿ｅｎｄ，ｏｌｄ＿ｌｉｎｅ，ｏｌｄ＿ｓｔａｒｔ，ｏｌｄ＿ｅｎｄ）であり、
１）ｒｅｆｌｏｗｎ＿ｓｔａｒｔ，ｒｅｆｌｏｗｎ＿ｅｎｄ：ワードのリフローされたテキストラインオブジェクトのリスト内の数値位置により与えられる、部分の第１ワードと最後のワード；
２）ｏｌｄ＿ｌｉｎｅ：部分がくるテキストラインの（ｏｌｄ＿ｔｅｘｔｌｉｎｅリスト内の）数値位置；
３）ｏｌｄ＿ｓｔａｒｔ，ｏｌｄ＿ｅｎｄ：ワードのオリジナルのテキストラインオブジェクトのリスト内の数値位置により与えられる、部分の第１ワードと最後のワード。

例示の分析データフローが図５に示されている。ここではｃｕｒｒｅｎｔ＿ｔｅｘｔｌｉｎｅ（現在の＿テキストライン）と呼ぶテキストラインのオブジェクトを扱うループであり、それはリフロー後のテキストラインの記載である。図５を参照すると、処理論理は最初に、ｏｌｄ＿ｔｅｘｔｌｉｎｅの第１ラインをコピーすることにより、ｃｕｒｒｅｎｔ＿ｔｅｘｔｌｉｎｅを生成し、これは古いテキストラインメモリ５００に記憶されそして、その境界ボックスと表示制約を比較する（処理ブロック５０１）。そして、必要ならば、処理論理は、制約された幅に合うように、ｃｕｒｒｅｎｔ＿ｔｅｘｔｌｉｎｅを分ける（処理ブロック５０２）。（分けた後に）最後の部分は新たなｃｕｒｒｅｎｔ＿ｔｅｘｔｌｉｎｅ５０５となり、（分ける前の）他の部分は、リフローされたテキストラインメモリ５０３内のｒｅｆｌｏｗｎ＿ｔｅｘｔｌｉｎｅリストの先頭として記憶される。分けることが要求されない場合には、ｃｕｒｒｅｎｔ＿ｔｅｘｔｌｉｎｅリフローあれたテキストラインに記憶される。その後に、処理論理は、古いテキストラインメモリ５００内にｏｌｄ＿ｔｅｘｔｌｉｎｅが残っていないかどうかが決定される（処理ブロック５０６）。ない場合には、処理論理は、現在のテキストラインをリフローされたテキストラインメモリ５０３内へ、前リフローされたテキストラインメモリ５０３の最後に、に記憶されたリフローされたテキストラインの後に、記憶する。そのようであれば、処理論理は、ｃｕｒｒｅｎｔ＿ｔｅｘｔｌｉｎｅ５０５と古いテキストラインメモリ５００内の次のラインを併合する（処理論理５０７）。結果のラインは、新たなｃｕｒｒｅｎｔ＿ｔｅｘｔｌｉｎｅ５０８であり、これは、ループの先頭に帰還される。古いテキストラインメモリ５００内のループに帰還すべきそれ以上のラインがなくなるまで、ループは、継続する。これらの動作中に、リフローされたラインのテキストと古いラインの１つの対応は、以下の記載のように、部分リスト内に記録される。

例示の結果
図６は、特定の走査された文書を示す。図７は、図６の文書についてのテキストゾーン境界を示す。図７を参照すると、各ゾーンについて計算されたスケーリングファクタ（アンダーラインされた数）と重要度値（斜体の数）が示されている。テキストゾーン矩形境界の座標は、画素座標でありそして描かれている。これらの座標をＯＣＲ情報を解析し、スケーリングと逆デスキューイング変換後に得られたＸＤＯＣ座標から得る為に、実行される。

図８は、テキストライン境界を示す。一実施例では、テキストライン境界を得る為に、処理論理は、ＯＣＲ出力情報からＸＤＯＣ座標を得てそして、同じ動作を画素座標を得る為に適用する。

図９と１０は、文書内の例示のゾーンとリフローが適用された後のゾーンをそれぞれ示す。リフロー処理は、テキストをリフローするだけでなく、この場合は白色スペースも減少することに注意する。

図１１は、テキストゾーンの選択と除去、位置決め及びリフローを使用する例示の制約されたディスプレイ文書表現を示す。

文書のブラウジング
この技術に従って発生された、制約されたディスプレイ文書表現は、文書の組をブラウズしそして、ユーザが検索したい文書を選択することを可能とするために使用され得る。制約されたディスプレイ文書表現は、ユーザへあるキーテキストを提供するアイコンとして機能できる。一実施例では、これらの制約されたディスプレイ文書表現は、文書（例えば、走査された又はＰＤＦ文書）を取り出すボタンとして動作する。ユーザが望む文書を取り出すために多くの制約されたディスプレイ文書表現又はサムネールがウインドウ内に表示される、ブラウジングのシナリオでは、制約されたディスプレイ文書表現は多くの方法で使用され得る。例えば、ユーザの文書を取り出すために、ユーザが制約されたディスプレイ文書表現のみを見る、独立の制約されたディスプレイ文書表現がある。一実施例では、ユーザは、望むならそして、そのような選択が可能ならば、サムネールへ切り換えることが可能である。

他の実施例では、制約されたディスプレイ文書表現とサムネールの組合せが使用されうる。１つのそのような例では、ユーザは、カーソル制御装置（例えば、マウス）が文書についての領域を入力するときに、サムネールと制約されたディスプレイ文書表現の両方を、そして次に互いに、又は、ポップアップとしてのみ制約されたディスプレイ文書表現を見る。

更に使用では、制約されたディスプレイ文書表現又は、正規のサムネールを表示するために、自動化された選択がブラウザにより提供される。一実施例では、制約されたディスプレイ文書表現発生処理は、文書が正規のサムネールのほうが良いそのようなリッチ画像レイアウトを有するかを決定する。

更に他の使用では、サムネールブラウザで、ユーザがカーソル制御装置を使用してテキストゾーンをわたりカーソルを移動するときに、ゾーンのテキストがサイドウインドウ内に現れる。一実施例では、ＮＪのＷｅｓｔＣａｌｄｗｅｌｌのリコーポレーションのｅＣａｂｉｎｅｔは、文書を識別するために、キーワード検索を実行するためにＯＣＲを使用し得る。しかしながら、キーワード検索が低信頼性値を有する結果を発生した場合には、制約されたディスプレイ文書表現は、ユーザが検索している文書をユーザが識別することを助けるのに使用されうる。

同様に、多機能周辺機器（ＭＦＰ）又は全体の文書を示すことができない小ディスプレイを有する他の装置については、ここに記載の技術は、装置を通して記憶され及び／又はアクセス可能な文書に視覚的な指示を提供するのに使用されうる。

他の分析方法との組み合わせ
図１に記載の分析出力１３０は、他の分析と組み合わされうる。図１３は、制約されたディスプレイ文書表現発生を他の形式の画像発生と統合するシステムの一実施例のフロー図でありそして、以下に詳細に記載される。

図１３を参照すると、走査された文書１７００がウェーブレット分析１７０１に入力され、これは、走査された文書１７００にウェーブレット分析を実行する。ウェーブレット分析の結果は、画像１７０３を生成するために、合成及び画像生成１７０２により処理される。ウェーブレット分析１７０１と合成及び画像生成１７０２に関する更なる情報は、２００２年に１月１０日に出願された、名称「マルチスケール変換を使用して圧縮された画像のヘッダ−ベースの処理（Ｈｅａｄｅｒ−Ｂａｓｅｄ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｉｍａｇｅｓ Ｃｏｍｐｒｅｓｓｅｄ Ｕｓｉｎｇ Ｍｕｌｔｉ−Ｓｃａｌｅ ｔｒａｎｓｆｏｒｍｓ）」の米国特許出願番号１０／０４４，４２０及び、２００２年に１月１０日に出願された、名称「画像の小さな表現の内容及び表示装置依存生成（Ｃｏｎｔｅｎｔ ａｎｄ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ Ｄｅｐｅｎｄｅｎｔ Ｃｒｅａｔｉｏｎ ｏｆ Ｓｍａｌｌｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ）」の米国特許出願番号１０／０４４，６０３を参照し、両者は、本発明の譲り受け人に譲渡されそして、参照によりここに組み込まれる。

走査された文書１７００は、レイアウト分析１７０５にも入力され、これは、例えば、上述の、キャラクタ、単語、ライン、ゾーンの境界ボックスのような、境界ボックスを識別する。この情報はレイアウト分析１７０５からＯＣＲ１７０６へ出力され、これは、ＯＣＲ情報１７０７を発生するためにＯＣＲを実行する。ＯＣＲ情報１７０７は、全テキスト検索、自動キーワード抽出等に使用され得る。

レイアウト分析１７０５から出力される情報（画像分析出力）は、制約されたディスプレイ文書表現分析１７００（テキスト分析出力）への出力され、これは、制約されたディスプレイ画像１７１２を発生するために合成及び画像生成１７７１と共に上述のように動作する。

両ウェーブレット分析１７０２と制約されたディスプレイ文書表現分析１７１０の出力は、画像１７１６が発生される、併合、合成及び画像生成ブロック１７１５に入力される。どのように画像１７１６が発生されるかの一実施例を以下に示す。

Ｊ２Ｋベースの出力と制約されたディスプレイ画像表現出力の併合
走査された文書についてのウェーブレット分析出力を併合するために、（例えば、ＭＡＰアルゴリズムにり計算された）多重解像度セグメント化データ及び多重解像度エントロピー分布が有効でなければならない。更なる情報は、２００２年に１月１０日に出願された、名称「マルチスケール変換を使用して圧縮された画像のヘッダ−ベースの処理（Ｈｅａｄｅｒ−Ｂａｓｅｄ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｉｍａｇｅｓ Ｃｏｍｐｒｅｓｓｅｄ Ｕｓｉｎｇ Ｍｕｌｔｉ−Ｓｃａｌｅ ｔｒａｎｓｆｏｒｍｓ）」の米国特許出願番号１０／０４４，４２０を参照し、これは本発明の譲り受け人に譲渡されそして、参照によりここに組み込まれる。

次に結合されたコンポーネント分析が、多重解像度セグメント化の出力に実行される。これは、結合された近傍を発生するためにＭａｔｌａｂ（Ｍａｔｈｗｏｒｋｓ社）の関数呼出し”ｂｗｌａｂｌｅ”を使用して実行される。結合されたコンポーネント分析は技術的に良く知られている。出力は、それらの位置と共に結合されたコンポーネントとのリストである。

コンポーネント当りの属性が得られる。一実施例では、これは、セグメント化マップで決定される画像コンポーネントの解像度、コンポーネントを含む最小の矩形のｘとｙ位置とｘとｙ寸法及びその重要度値即ち、その解像度でコンポーネントを符号化するのに使用されたビット数を含む。

一旦制約されたディスプレイ分析出力が得られると、テキストゾーンのコンポーネント画像が生成される。

一実施例では、第１に、テキストゾーンについてのコードブロック解像度でのコンポーネントマップが生成される。このテキストゾーンの寸法に対応するコードブロック解像度での矩形の寸法（ｘ，ｙ）は、

で与えられ、ｘ_ｃｂとｙ_ｃｂは、コードブロックの寸法である。

次のステップで、新たなコンポーネントリストが、画像とテキストコンポーネントを併合することにより得られる。各画像コンポーネントについて、任意のテキストコンポーネントとのオーバーラップがあるかどうかに関するチェックがなされる。一実施例では、オーバーラップは、画像コンポーネントとテキストコンポーネント内の画素の最大数により割られたテキストと画像コンポーネントの間のオーバーラップする画素の数として計算される。画像コンポーネントとテキストコンポーネントがオーバーラップする場合には、オーバーラップの更に詳細な分析が実行される。

オーバーラップがない場合には、画像コンポーネントは併合されたコンポーネントリストに加えられる。

オーバーラップがある場合には、すべてのテキストコンポーネントを有する画像コンポーネントについてのオーバーラップの和がしきい値Ｔ_１（例えば、０．３）より小さいか又は、しきい値Ｔ_２（例えば、０．７）より大きいかに関するチェックがなされる。この場合には、画像コンポーネントは重要であると考えられる。画像コンポーネントとすべてのそのオーバーラップするテキストコンポーネントの間の結合の合計領域は、併合されたコンポーネントリストへコンポーネントとして加えられる。その解像度属性は、オリジナルの画像コンポーネントの属性である。

すべてのテキストコンポーネントを有するオーバーラップの和がしきい値Ｔ_１より大きいがしかし、Ｔ_２より小さい場合には、画像コンポーネントは、その中にテキストの重要な部分とその中に非テキストの重要な部分を有すると考えられる。この場合には、画像コンポーネントと重要なオーバーラップ（しきい値Ｔ_３（例えば、０．２５）より大きい）を有するテキストコンポーネントは、画像領域から抽出される。結果の、差画像は、ホールとの１つの結合されたコンポーネント又は、幾つかの小さな結合されたコンポーネントである。差画像内で結合されたコンポーネントの数を決定するために、結合されたコンポーネント分析がその上に実行される。結果は、もはや、テキストコンポーネントとの任意の重要なオーバーラップを有しない画像コンポーネントの集合である。集合は、併合されたコンポーネントリストに加えられる。その解像度属性は、オリジナルの画像コンポーネントの属性である。

最後のステップで、全てのテキストコンポーネントは、制約されたディスプレイ文書表現分析からのオリジナルの属性（解像度と重要度）を含む、併合されたコンポーネントリストに加えられる。

一旦、併合されたコンポーネントが生成されると、属性が割当てられる必要がある。これらの属性は、上述と同じものである。併合されたコンポーネントリストは、画像とテキストコンポーネントと属性の混合である。解像度属性は既にコンポーネント画像の併合中に割当てられているが、重要度値はさらに、併合されたコンポーネントリストに割当てられる必要がある。

テキストと画像コンポーネントについての重要度値を併合する目標を有する併合されたコンポーネントの重要度についてのメトリックの例は次の様であり：
Ｖ_１＝矩形を含む中のラベル付けされたコンポーネント画素の割合、
Ｖ_２＝矩形を含む中のコンポーネント画像解像度での累積的なエントロピー、
Ｖ_３＝テキストコンポーネントについてのレイアウトの分析からの重要度：画像コンポーネントについてはＶ_３＝０。
マージされたコンポーネントの重要度は、

画像コンポーネントについては、α＝１、
テキストコンポーネントについては、α＝０。
マージされたコンポーネント代わりの重要度値は、次のように得られる：

ここで、α＝０．７及びβ＝０、５であり、
Ｎ_１についての選択：＊合計の累積エントロピー＊（合計累積エントロピー）・（コンポーネントのサイズ）
Ｎ_３：（画像領域）・λ＊（全てのテキストコンポーネントの重要度の和に対するテキストコンポーネントの相対的な重要度）・λ。

しきい値の例は以下を含む：
ｔｈｒｅｓｈ１＝０．４
ｔｈｒｅｓｈ２＝０．７
ｔｈｒｅｓｈ３＝０．０４
λ＝５０００。

λ値は、例えば、
λ＝定数・（テキストゾーンを有する文書の範囲の割合）

のように適応的に計算されうる。

論理記述
コンポーネントの併合の数学的な記述は以下のように記載される。
Ｔ_ｍ＝テキストコンポーネント，ｍ＝１，．．．，Ｍ、
Ｉ_ｎ＝画像コンポーネント，ｎ＝１，．．．，Ｎ、
Ａ（Ｃ）＝コンポーネントＣ内のラベル付けされた画素の数、
Ｒ（Ｃ）＝コンポーネントＣを有する最小の矩形。
オリジナルのテキストボックスは、矩形形状を有するので、Ａ（Ｔ_ｍ）＝Ａ（Ｒ（Ｔ_ｍ））であるが、一般的にはＡ（Ｉ_ｍ）≠Ａ（Ｒ（Ｉ_ｍ））である。
テキストと画像コンポーネントのオーバーラップは、オーバーラップ（Ｉ_ｎ，Ｔｍ）＝ｍｉｎとして定義され、

画像とテキストコンポーネントの間の差画像は、

のように定義される。
例示の擬似コードは次のように与えられる：

図１４は、多重解像度セグメント化データと制約されたディスプレイテキスト表現分析からのボックスを併合する例を示す。図１４を参照すると、画像１４０１は、多重解像度セグメント化画像を示す。画像１４０１では、多重解像度セグメント化が、黒＝高から白＝低解像度（黒＝レベル１、ダークグレー＝レベル２、中間グレー＝レベル３、ライトグレー＝レベル４、白＝レベル５）を有するＭＡＰ推定として示されている。結合されたコンポーネント分析の実行と最大のビット数を含むもの選択後に、画像１４０２が発生されそして、多重解像度セグメント化画像の結合されたコンポーネントを表す。異なるカラーは異なるコンポーネントを表す。別に、制約されたディスプレイテキスト表現分析が実行されそして、コードブロック解像度での制約されたディスプレイテキスト表現分析からのゾーンを示す、コンポーネント画像１４０３を生成する。コンポーネント画像１４０２と１４０３は、画像１４０４を発生するために、併合される。

図１５は、多重解像度画像セグメント化データと制約されたディスプレイテキスト表現分析からのボックスを併合する処理の一実施例のフロー図である。ボックスの各々は処理論理の場合、ハードウェア（例えば、回路、専用論理等）、（汎用プロセッサ又は専用機で実行される）ソフトウェア又は、両方の結合を有する。

図１５を参照すると、処理論理は最初に有効にｎ＝１を設定する（処理ブロック１５０１）。次に、処理論理は画像コンポーネントｎと全てのテキストコンポーネントのオーバーラップを計算する（処理ステップ１５０２）。処理論理はそして、全てのテキストコンポーネントとのオーバーラップの和がゼロより大きいかどうかを試験する（処理ブロック１５０３）。そのようでない場合には、処理論理は、処理コンポーネント属性を含む最小の矩形を、併合されたコンポーネントリストに加え（処理ブロック１５２０）そして、処理論理は、ｎがＮ、画像コンポーネントの合計数、よりも小さいかどうかを試験する（処理ブロック１５２１）。そのようである場合には、処理論理は、ｎを増加し（処理ブロック１５０４）そして、処理は処理ブロック１５０２へ遷移して戻る。そうでない場合異は、処理は終了する。

テキストコンポーネントのオーバーラップの和がしきい値よりも大きい場合には、処理論理は、処理は処理ブロック１５０６へ遷移し、ここで、処理論理は、テキストコンポーネントを有するオーバーラップが第１のしきい値（ｔｈｒｅｓｈ１）よりも小さくそして、第２のしきい値（ｔｈｒｅｓｈ２）よりも大きいかどうかを試験する。そのようでない場合には、処理論理はコンポーネントを、画像コンポーネントとｎのオーバーラップを有する全てのテキストコンポーネントの結合に等しく設定し（処理ブロック１５１９）、処理論理は、処理ブロック１５２０と１５２０へ戻って遷移する。

全てのテキストコンポーネントを有するオーバーラップがｔｈｒｅｓｈ２より大きく且つｔｈｒｅｓｈ１よりも小さい場合には、処理は処理ブロック１５０５へ遷移し、ここで、処理論理は、変数ｍを１に等しく設定する。その後に、処理論理は、テキストコンポーネントｍとのオーバーラップが他のｔｈｒｅｓｈ３より大きいかどうかを試験する（処理ブロック１５０９）。そのようでない場合には、処理論理は、処理ブロック１５０７へ遷移し、ここで、変数ｍがテキストコンポーネントの合計数Ｍよりも小さいかどうかを試験する。そのようでない場合には、処理は、処理ブロック１５２０へ遷移する。そのようである場合には、処理は、処理ブロック１５０８へ遷移し、ここで、変数ｍは、１だけ増加されそして、処理は、処理ブロック１５０９へ遷移して戻る。そのようでない場合には、処理は処理ブロック１５１９へ遷移する。

テキストコンポーネントＭとのオーバーラップが、しきい値ｔｈｒｅｓｈ３よりも大きい場合には、処理論理は、処理ブロック１５１３へ遷移し、ここで処理論理は、テキストコンポーネントｍと属性を出力リストに記憶する。次に処理ブロック１５１０で、処理論理は、画像コンポーネントｎからコンポーネントｍからのテキストを減じる。

そして、処理論理は、新たな画像セグメントの結合されたコンポーネント分析を実行し（処理ブロック１５１１）そして、各新たなコンポーネントに対して、処理論理は、併合されたコンポーネントリストを記憶するためにコンポーネント属性を有する最小の矩形を加える（処理ブロック１５１２）。

制約されたディスプレイ文書表現をファイルに記憶する
制約されたディスプレイ文書表現をＪＰＥＧファイルに記憶する
多くのファイルフォーマットは、文書ページの画像と別のアイコンの両方を記憶する方法を有する。例えば、ＪＰＥＧ圧縮された画像は、典型的には、ＪＦＩＦファイルフォーマット又はＥｘｉｆファイルフォーマットのいずれかに記憶される。両ファイルフォーマットは、主画像から独立に符号化されたアイコンの記憶を可能とする。典型的には、これらのサムネールは、オリジナルの画像をサブサンプリングすることにより生成されるが、しかし、このようにそれらを得る要求はない。従って、制約されたディスプレイ文書表現発生処理の出力は、符号化されそして、ＪＦＩＦ又はＥｘｉｆファイルで記憶されうる。ディジタルカメラ又はＰＤＡのような装置は、しばしば、表示のためにサムネールを復号しそして、自動的に制約されたディスプレイ文書表現を表示する。ユーザがファイルを開く又は、ファイルの一部にズームインすることを求めるときには、装置は、全画像を復号しそして、ディスプレイ上に一部を表示する。これは、正確には望ましい応答である。

サムネールをＪＰＭファイルに記憶する
文書記憶システムについては、ＰＤＦ及びＪＰＭ（ＪＰＥＧ２０００パート６に定義されている）複数のページを記憶するファイルフォーマットは、ＪＦＩＦ又はＥＸＩＦよりもさらに有益である。幾つかのフォーマットは、サムネール画像を記憶する複数の方法を提供する。これらの幾つかは、画像データの再利用の能力のために、典型的なサムネールよりも更に効率的である。幾つかの方法は、追加の文書能力を提供する。

ＪＰＭファイルは、規定された形式と長さを有するファイル内のバイトの単純な範囲である、”ボックス”より構成される。各ボックスの内容は通常は（形式と長さ情報を有する）ボックスの組か又は、符号化された画像又はメタデータ又はレイアウト情報である”オブジェクト”の組のいずれかである。しばしば、復号器は、興味のボックスを素早く見つけそして不要な又は復号器により理解できないボックスをスキップするために長さと形式情報を使用できる。ＪＰＭファイルは、ファイルとページを組織化するために設計されたいくつかのボックスを含む。

ＪＰＭファイルは、単一のページについてのレイアウト情報を記憶するために設計された他のボックスを含む。ページは、単一のＪＰＥＧ又はＪＰＥＧ２０００ファイルによりＪＰＭ内で定義されているが、更に一般的には、位置決めされそして合成されねばならない画像とマスクオブジェクトのシーケンスとして定義される。最後に、ＪＰＭファイルは、符号化された画像データを記憶するボックスを含む。ページを構成するために合成された画像がある。ＪＰＭは多くの異なるオブジェクトのためにこの符号化されたデータを共有するボックスを提供する。

最も単純なＪＰＭファイルは、１ページのみとページを埋めるカラーの一様な矩形を含む。ペーについてのＪＰＥＧ２０００圧縮画像を含む例示のファイルは次のようである：

上述の例と、ここで与えられる他の例では、くぼみのレベルは、ファイル内のボックスの入れ子を示す。

全てのボックスの完全な説明はＪＰＥＧ２０００パート６で与えられる。（情報技術−ＪＰＥＧ２０００画像符号化規格−パート６：Ｃｏｍｐｕｎｔ画像ファイルフォーマット”ＩＳＯ／ＩＥＣＦＤＩＳ１５４４４−６”）。簡単には、署名ボックスは、ファイルをファイルフォーマットのＪＰＥＧ２０００ファミリとして識別する。多くのＪＰＥＧ２０００ファイルフォーマットが互換性があるので、ファイル形式ボックスは、他のフォーマットリーダーがこのファイルから有益なデータを得られるのは何かを示す。コンパウンド画像ヘッダボックスは、（例えば、ファイル内のページ数、ファイルのプロファイル、ファイル内の幾つかの構造ボックスの位置のような）ＪＰＭ復号器に有益な幾つかのフィールドを含む。幾つかの多ページ集合ボックスもある。これらのボックスは、文書内の全てのページボックスの位置を捜すために許されるポインタを提供する。それらは、文書内のページ間の順序正しいナビゲーションを可能とするキーである。ページコレクションロケータボックスは、本質的に、これがトップレベルのページコレクションボックスでない場合には現在のページコレクションを含む、ページコレクションへ戻るポインタである。このページテーブルボックスは、ページボックスへのポインタを含む。

ページボックスは、単一ページの情報を含む。ページヘッダボックスは、ページのサイズと向き、オブジェクトの数及び背景色を規定する。ページで合成されるべき各オブジェクト（マスクと画像）のペアについて１つのレイアウトオブジェクトボックスがある。それは、レイアウトオブジェクトヘッダボックスを含み、これは、レイアウトオブジェクトのサイズとオブジェクトをレイアウトする順序を示す識別子番号を提供する。オブジェクトヘッダボックスは、コンティギュアスコードストリームボックス（８バイトのオフセットと４バイトの長さフィールドを有する）へのポインタを含む。ポインタは他のファイル内でコードストリームを示すのに使用され得るが、しかし、このファイル内の追加のデータリファレンスボックスが必要である。

画像データは、ＪＰＥＧ２０００フォーマットのコンティギュアスコードストリームボックスに記憶される。

全体のファイルに対する１つのサムネール
全体の文書についてのアイコンを記憶するために、ＪＰ２ヘッダボックスは、ファイルレベルで加えられる。ＪＰ２ヘッダボックスが追加されるときには、ファイル内の第１のコンティギュアスコードストリームボックスはサムネールとして使用される。サムネールは、全体のページを示すのに使用されるコードストリームと等価である。代わりに、第２コードストリームがアイコンに加えられる。第２コードストリーム画追加される場合には、ファイルは、次のように見える（新たなボックスは下線が付されている）。

主画像サイズに関連するべきサムネールのサイズに対する要求は、なにもない。複数のページを有する文書については、単一ページよりも大きくそして、１次以上のからの要素を含みうる。

別のレイアウトオブジェクトとしての各ページについてのサムネール
”文書”サムネールのない、しかし、２ページの各々についてのサムネールを有するファイルを生成することが可能である。これは、ゼロのレイアウト識別子を有するオブジェクトがサムネールとして使用されそしてページに合成されない、ＪＰＭ規格内の規定を利用する。これらの２つのサムネールに関連する事項は、下線が付されている。

識別子０内のレイアウトオブジェクトとそれらに関連するコードストリームは、ページに合成されず、代わりに、それらは、全体のページを復号／レンダリングすることなしにページについての表現として使用される。ページが最大サイズでレンダリングされるときには、０以外の識別子を有するレイアウトオブジェクトが使用される。サムネールをファイルの先頭の近くに置くために（コードストリーム１及び３）、この例は全ページコードストリーム（コードストリーム２及び４）を最後に移動した。

もちろん、ボックスの配置と、そして、他の目的のために追加のボックスを含めることについての多くの他の可能性がについて存在する。

レイアウトオブジェクトを再使用する別のページとして記憶されたサムネール
（おそらく各テキスト領域又は、各単語が自身のレイアウトオブジェクトを有する）幾つかのレイアウトオブジェクトより構成されるページついて、幾つかのレイアウトオブジェクトは、選択されそして、サムネールのためにスケーリングされる。以下のファイルは、３オブジェクトを有し、別のコードストリームに記憶された、２００ｄｐｉで８１／２かける１１インチのページを記述する。”サムネール”は、２２０かける１７０サンプルの表示サイズを有する別のページとして記憶されている。主ページからの２つのオブジェクトは、サムネールページに含まれるが、しかし、他のオブジェクトはスペースの理由のために消去されている。オブジェクトの１つが、１０のファクタでスケーリングされ、そして、これは、オリジナルのページ上でされたように、同じ関連する量のサムネールを埋める。他のオブジェクトは、５のファクタで縮小され、そして、このように、主ページでなされるようにサムネール上に比較的長く現れる。これは、１０のファクタで減少されると、テキストは読み取れないと予測されるので、なされる。これは、図１６に示されているが、しかし、図１６では、サムネールページ１６６０と最大のレンダリングされたページ１６５０は、同じスケールで描かれない。図１６を参照すると、コードストリーム１６１０は、２つの異なるページで使用される。例えば、ページ１／レイアウト１ボックスス１６０１は、コードストリーム１６１０へのポインタと、レンダリングされたページ１６５０上でスケーリングしそして配置する命令を含む。ページ２／レイアウト１ボックスス１６０４は、コードストリーム１６１０へのポインタと、レンダリングされたページ１６６０上でスケーリングしそして配置する命令を含む。同様にボックス１６０３と１６０９は、２つの異なるページ上で、コードストリームボックス１６３０を使用する。しかしながら、コードストリーム１６２０は、１つのページ上でのみ使用される。

以下に記載のファイルは、ページ上でそしてサムネール内でオブジェクトの位置を示すために、幾つかのボックスの幾つかのパラメータをリストする。これらのパラメータのリストの定義は、ＪＰＥＧ２０００規格のパート６にある。

レイアウトオブジェクトを介しての異なるフォーマットとしてのページの記憶
別のページが、主ページからのレイアウトオブジェクトを利用するサムネールについて加えられるので、別のページは、文書の代わりの視野（ｖｉｅｗ）のために追加される。新たなページは、全ての同じレイアウトオブジェクトを有するが、しかし異なってスケーリングされそして、異なるサイズ及びページ上に異なって配置される。

このように、１つのＪＰＭファイルは、図９と１０を記憶できる。２つのページボックスと、ページ上の各アイテムについて各ページボックス内のレイアウトボックスがあるが、しかしデータ自身は複製されない。

レイアウトボックスの全てからのオーバーヘッドは重要でありそして、圧縮を減少する。しかしながら、幾つかのシステムは、両レイアウトを有しそして、望ましいレイアウトを提供するためにそれを分析する、サーバ上に１つのファイルを記憶するように選択できる。代わりに、異なるレイアウトは、要求が特定の見る幅を有するページについてなされるときに、発生される。

代わりの実施例
一実施例では、テキストゾーンの重要度ランキングの決定は、個々の提供するキーワードにより増加されうる。即ち、重要度ランキングは、キーワードに基づきうる。他の実施例では、個々は、重要度ランキングを実行する方法として、境界ボックスを選択するのを補助し得る。

他の実施例では、テキストがＯＣＲを受けそして、その結果にＯＣＲエラーを発生する場合には、オリジナルの画像からのビットマップは、ＯＣＲ結果の代わりに使用される。これは、結合された結果が、エラーを含まないことを保証する。

一実施例では、レイアウト分析ソフトウェアが、文書内の単語のサイズを見つけそしてそれらの単語が発生する場所を見つけるために文書を走査するために、ＪＢＩＧ２（情報技術−損失のある／無損失の２値画像の符号化、ＩＳＯ／ＩＥＣ１４４９２：２００１、２００１年１２月１５日）のような、辞書ベースの方法で置き換えられる。

一実施例では、リフロー処理は、全てのテキストが一様なサイズになる。これは、異なるスケーリングファクタを必要としそして、各テキストゾーンは同じサイズのテキストを含むことに注意する。他の実施例では、リフロー処理の結果は、全てのテキストがテキストの残りに対してその相対的なサイズを維持することである。言いかえると、リフロー前のテキストサイズの比は、リフロー後と同じである。他の単調なマッピングも使用されうる。

既にＯＣＲを実行するシステムについては、一旦ＯＣＲが実行されると、レイアウト情報は単純に捨てられる。ＯＣＲ情報の発生は、計算時間に関してコストがかかる。しかしながら、ここに記載の技術に従って、分析レイアウト情報を使用することは、文書分析で既に実行されている仕事の量と比較して、少量の余分な仕事のみを必要とする。

本発明の多くの変更と修正が、前述の記載を読んだ後に当業者に明らかとなるが、説明により示されそして開示された任意の特定の実施例は、限定するものではないことは理解されよう。従って、種々の実施例への参照は、本発明に必須であると考えられる特徴のみを列挙する請求項の範囲を限定するものではない。

再フォーマットされた文書発生器の一実施例のデータフロー図である。 再フォーマットされた文書を発生する処理の一実施例のフロー図である。 例示のデータ構造を示す。 ゾーンセグメント化処理の一実施例のフロー図である。 リフロー処理の一実施例のフロー図である。 オリジナルの走査された文書を示す。 図６の走査された文書のテキストゾーン境界を示す。 図６の走査された文書のテキストライン境界を示す。 オリジナルの文書内のゾーンの例を示す。 リフロー後の図９のゾーンを示す。 制約されたディスプレイ文書表現の例を示す。 最小の読取可能なテキストについてのユーザ選択”ｍｉｎ＿ｓｉｚｅ”を有するＧＵＩの例を示す。 制約されたディスプレイ文書表現と多重解像度セグメント化画像を発生できるシステムのブロック図である。 多重解像度画像セグメント化データと制約されたディスプレイテキスト表現分析からのボックスを併合する例を示す。 多重解像度画像セグメント化データと制約されたディスプレイテキスト表現分析からのボックスを併合する処理の一実施例のフロー図である。 同じコードストリームからの異なるページ画像の復号を示す。 ＪＰＥＧ２０００ベースのクロッピングとスケーリングを示す例示の画像である。

符号の説明

１００ 走査された入力画像
１０１ 分析段階
１０２ 合成段階
１１０ レイアウト分析器
１１０Ａ 文書分析ソフトウェア
１１０Ｂ フィックスアップ機構
１１１ 属性発生器
１１２ 記号フォーマッタ
１１２Ａ スケールセレクタ
１１２Ｂ リフロー計算ユニット
１１３ 画像形成器
１１４ 再フォーマットされた出力画像
５００ 古いテキストラインメモリ
５０３ リフローされたテキストラインメモリ
１７００ 走査された文書
１７０１ ウェーブレット分析
１７０２ 合成及び画像生成
１７０５ レイアウト分析
１７０６ ＯＣＲ
１７０７ ＯＣＲ情報
１７１０ 制約されたディスプレイ文書表現分析
１７１２ 制約されたディスプレイ画像
１７１５ 併合、合成及び画像生成ブロック
１７１６ 画像
１７７１ 合成及び画像生成

Claims (15)

1. 処理論理部と記憶部とを有するコンピュータにおいて、
   前記処理論理部が、前記記憶部に記憶された文書に関するレイアウト分析情報を取得する段階と、
   前記処理論理部が、前記レイアウト分析情報を使用して１つ以上のテキストゾーンに文書をセグメント化する段階と、
   前記処理論理部が、前記レイアウト分析情報を使用して１つ以上のテキストゾーンの各々についてスケーリング及び重要度情報を生成する段階と、
   前記処理論理部が、選択されたテキストゾーンの部分がスケーリング情報及び異なるシーケンスのラインへのテキストのリフローに基づいてスケーリングを受けた後に、重要度及びスケーリング情報に基づいて且つ画像表現に適合する選択されたテキストゾーンの一部に基づいて、目標サイズで文書の画像表現に適合する前記文書内の１つ以上のテキストゾーンの一部を選択する段階と、
   前記処理論理部が、目標サイズでの画像表現を生成するために、選択されたテキストゾーンに基づいて文書を再フォーマッティングする段階とを含む方法。
2. 前記レイアウト分析情報を取得する段階において、前記処理論理部は前記文書を走査することにより前記レイアウト分析情報を取得することを特徴とする、請求項１に記載の方法。
3. 前記レイアウト情報から、キャラクタセットのサイズを決定する段階と、
   キャラクタセットのサイズに基づいて処理されているテキストゾーンのスケーリングファクタを発生する段階とを有する請求項１に記載の方法。
4. 文書の、再フォーマットされた電子文書及び再フォーマットされていない電子文書を前記記憶部に記憶する段階をさらに有する、請求項１に記載の方法。
5. ＪＰＭファイル内のコードストリームが、再フォーマットされた電子文書及び再フォーマットされていない電子文書の両方に使用される、請求項４に記載の方法。
6. オリジナルの電子文書に適用する命令であるレイアウトボックスを有するオリジナルの電子文書を前記記憶部に記憶する段階をさらに有する、請求項１に記載の方法。
7. 処理論理部と記憶部とを有するコンピュータにおいて、
   前記処理論理部が、前記記憶部に記憶された電子文書についての多重解像度セグメント化画像を生成する段階と、
   前記処理論理部が、前記多重解像度セグメント化画像に連結コンポーネント分析を実行して、画像連結コンポーネントと、多重解像度セグメント化画像内のそれらの位置と、多重解像度ビット分布とのリストを生成する段階と、
   電子文書のレイアウト分析を実行してテキストゾーンの位置を特定する段階と、
   前記電子文書のテキストゾーンへ属性を割当てる段階と、
   前記テキストゾーンに関連するテキストコンポーネントのリストを生成する段階と、
   テキストコンポーネントと前記多重解像度セグメント化画像の画像連結コンポーネントに関連するコンポーネント画像を併合する段階とを含む方法。
8. 前記処理論理部が、レイアウト分析の境界ボックスを使用してテキストゾーンのコンポーネント画像を生成する段階をさらに含む、請求項７に記載の方法。
9. 前記処理論理部が、連結コンポーネントのリスト内の画像コンポーネントの各々について属性を得る段階をさらに含む、請求項７に記載の方法。
10. 前記コンポーネント画像を併合する段階は、テキストコンポーネントを有する各画像コンポーネントの間のオーバーラップを計算する段階を含む、請求項７に記載の方法。
11. 前記処理論理部が、オーバーラップの量が第１のしきい値よりも大きく且つ第２のしきい値よりも小さい場合には、画像コンポーネントから少なくとも１つのテキストコンポーネントを減ずる段階を含む、請求項７に記載の方法。
12. 併合は、１つ以上の属性に基づいている、請求項７に記載の方法。
13. 前記１つ以上の属性は、テキストコンポーネントについてのレイアウトの分析からの重要度を含む、請求項１２に記載の方法。
14. 文書に関するレイアウト分析情報を取得する手段と、
    前記レイアウト分析情報を使用して１つ以上のテキストゾーンに前記文書をセグメント化する手段と、
    前記レイアウト分析情報を使用して１つ以上のテキストゾーンの各々についてスケーリング及び重要度情報を生成する手段と、
    選択されたテキストゾーンの部分がスケーリング情報及び異なるシーケンスのラインへのテキストのリフローに基づいてスケーリングを受けた後に、重要度及びスケーリング情報に基づいて且つ画像表現に適合する選択されたテキストゾーンの一部に基づいて、目標サイズで文書の画像表現に適合する前記文書内の１つ以上のテキストゾーンの一部を選択する手段と、
    目標サイズでの画像表現を発生するために、選択されたテキストゾーンに基づいて文書を再フォーマッティングする手段とを有する装置。
15. 電子文書についての多重解像度セグメント化画像を発生する手段と、
    多重解像度セグメント化画像内のそれらの位置と多重解像度ビット分布と共に、画像連結コンポーネントのリストを発生するために、前記多重解像度セグメント化画像に、連結コンポーネント分析を実行する手段と、
    テキストゾーンの位置を特定するために、電子文書のレイアウト分析を実行する手段と、
    前記電子文書のテキストゾーンへ属性を割当てる手段と、
    前記テキストゾーンに関連するテキストコンポーネントのリストを生成する手段と、
    テキストコンポーネントと前記多重解像度セグメント化画像の画像連結コンポーネントに関連するコンポーネント画像を併合する手段とを有する装置。

Images