JP5950700B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、紙文書、又は文書の画像データから編集可能な電子文書データを生成する画像処理装置、画像処理方法及びプログラムに関するものである。

近年、文書を作成する際、単に文字を打ち込むのみならず、フォントに装飾を凝らしたり、図を自由に作成したり、あるいは写真等を取り込むなどといった、高度な機能が用いられるようになっている。

しかし、作成する文書の内容が高度になるほど、文書をまったくの新規から作成するには大きな労力が必要とされる。したがって、できるだけ過去に作成した文書の一部をそのまま、あるいは加工編集したものを再利用できるようにすることが望まれている。

一方、インターネットに代表されるようなネットワークの広がりにより、文書が電子的に配布される機会が増えている一方で、電子文書が紙に印刷された状態で配布されることも多い。

配布された文書として紙文書しか手元に存在しない場合でも、その紙文書から再利用可能なデータとして文書の内容を得る技術が考えられている。例えば、特許文献１では、紙文書を装置に電子的に読み込ませ、その読み込んだ文書と内容が一致する文書をデータベースから検索して取得し、読み込んだ文書のデータの代わりに利用できることが記載されている。また、同一の文書がデータベースから特定できなかった場合は、紙文書から読み込んだデータを再利用が容易なデータへと変換することによって、文書の内容を再利用することができる。

従来より、紙文書を読み取った画像データ（以下、文書画像データ）に含まれた文字情報を再利用が容易な電子データへと変換する技術として、ＯＣＲ技術がある。更に特許文献１では、ＯＣＲにより得られた文字情報を扱いやすくするために読み順などの文章構造を解析する。このようにして得た読み順の情報に従って文字情報を電子ファイル（例えば、ＸＭＬファイル）に流し込んで電子文書を生成することで使い勝手を向上させることができた。

特許第４２５１６２９号公報 特開平８−１４７４１０号公報 米国特許第５６８０４７８号明細書

しかし、電子文書を生成する際に、文書構造を再現して段組形式で出力する場合、電子文書フォーマットの出力仕様によっては、紙文書上に表れた文書のレイアウトを再現できないことがある。例えば、テキストをページ領域に順に流し込んでいくいわゆるワープロ文書のフォーマットでは、段組の中に更に別構成の段組が含まれている構造を再現できず、また、新聞の様な文章の順序関係と座標の前後が一致しないレイアウトを再現できない。ここで、段組とは、文書を２列以上の列に区切って文字や図などを配置することである。

本発明に係る画像処理装置は、画像から電子文書を生成する画像処理装置であって、前記画像から複数の文字領域を特定する特定手段と、前記複数の文字領域それぞれに対して文字認識処理を実行する文字認識手段と、前記電子文書の仕様で表現可能な段組配置の中から、前記複数の文字領域を再現するのに最も適した段組配置を選択する選択手段と、前記選択した段組配置と前記文字認識手段による文字認識結果とに基づいて、前記電子文書を生成する生成手段とを備えたことを特徴とする。

文書画像データから電子文書データを出力仕様に制限のあるフォーマットで生成する際に、レイアウト及び論理構造の再現率を両立させることが可能な画像処理装置、画像処理方法及びプログラムを提供することができる。

一実施形態におけるシステム構成例を示す図である。 実施例１における電子文書生成処理の構成を示すブロック図である。 実施例１における段組配置解析部のフローチャートである。 実施例１における入力画像の例を示す図である。 実施例１における論理構造解析結果の例を示す図である。 実施例１における文字領域射影の例を示す図である。 実施例１におけるセクション内での文字領域ヒストグラムの例を示す図である。 実施例１における段組配置候補の例を示す図である。 実施例１における段組配置候補の例を示す図である。 実施例１における論理構造の得点の例を示す図である。 実施例１における電子文書記述の例を示す図である。 実施例１における電子文書表示の例を示す図である。 本実施例を用いない段組配置の例を示す図である。 実施例３における入力画像の例を示す図である。 実施例３における論理構造解析結果の例を示す図である。 実施例３における電子文書記述の例を示す図である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

図１は一実施形態における画像処理装置を用いたシステム構成の一例を示している。
画像処理装置１００は、スキャナ１０１、ＣＰＵ１０２、メモリ１０３、ハードディスク１０４、及びネットワークＩ／Ｆ１０５を備える。なお、画像処理装置１００が備える構成はこれらに限定されず、画像処理装置が一般に備える構成も備える。スキャナ１０１は、読みとった文書の紙面情報を画像データに変換する。ＣＰＵ１０２は、画像データに電子文書生成処理を施すためのプログラムを実行し、各種処理の制御を行う。メモリ１０３は、該プログラムを実行する際のワークメモリやデータの一時保存などに利用される。ハードディスク１０４は、該プログラムやデータを格納するための記憶部である。ネットワークＩ／Ｆ１０５は、外部装置とデータの入出力を行うためのインタフェースである。

画像処理装置１００は、ネットワークＩ／Ｆ１０５を介してＬＡＮやインターネットなどの有線または無線のネットワーク１１０に接続にされている。ネットワーク１１０には更に汎用のパーソナルコンピューター（ＰＣ）１２０が接続されている。ＰＣ１２０は、画像処理装置１００からネットワーク１１０を介して受信したデータをＰＣ１２０上に表示し、編集することが可能である。

図２は、画像処理装置１００のＣＰＵ１０２により実施される電子文書生成処理の構成を示すブロック図である。符号２００は、電子文書生成処理の入力画像データを示している。符号２１０は、電子文書生成処理の出力電子文書データを示している。符号２０１〜２０５は、電子文書生成処理を構成する処理ブロックをそれぞれ示している。以下に、各データ及び各処理ブロックの概要を説明する。

入力画像データ２００は、電子文書生成処理の対象となる画像データである。入力画像データ２００は、例えば、図１に示された画像処理装置１００のスキャナ１０１により読み取られた紙文書の内容が、光電変換により電子的画素情報に変換された文書画像データである。もしくは、入力画像データ２００は、ネットワークＩ／Ｆ１０５を通して外部から供給された文書画像データ、又は画像処理装置１００内で生成された文書画像データであってもよい。入力画像データ２００は、具体的にはメモリ１０３もしくはハードディスク１０４に格納された状態で、図２に示された各処理ブロックにおける処理が行われる。

出力電子文書データ２１０は、電子文書出力処理の結果として出力される電子データである。出力電子文書データ２１０は、入力画像データ２００から抽出された文字、図、写真画像、表などのデータを、利用者がパーソナルコンピューターのアプリケーション上で表示・編集が可能となる形式で表現したものである。本実施形態における出力電子文書データ２１０は、入力画像データ２００から抽出されたデータのうち文字データが、所定のフォーマットに従って流し込まれることで、組版規則に従って出力される。本実施形態において、入力画像データ２００から抽出された文字データのうち、このように所定のフォーマットに従って流し込まれる本文の文字データによって構成される文字領域のことを本文領域と呼ぶ。本文領域は、１文書に付き１つ存在する。本文領域は、セクション及び／又は段組で区切られた複数の文書領域を含むことができる。

本文領域は、横書きの文章の場合、縦軸方向に分割されるセクションと、セクション内で横軸方向に分割される段組とから構成されるという文書形態となる。縦書き文書の場合、本文領域は、横軸方向に分割されるセクションと、セクション内で縦軸方向に分割される段組とから構成される。つまり本文領域は、１以上のセクションから構成され、セクションは１以上の段組から構成される。

本実施形態で出力される電子文書データでは、特に、段組の内部に更にセクションや別の段組を持つことや、本文の途中で組方向を変更することは、フォーマットの仕様上の制限によりできないものとする。また、本実施形態の電子文書データは、本文領域とは別に、文書内の自由な位置に配置できる文字領域を含むことができる。この文字領域を自由配置文字領域と呼ぶ。

次に、図２に示された各処理ブロックについて説明する。各処理ブロックにおける処理は、ＣＰＵ１０２が、メモリ１０３やハードディスク１０４などの記憶部から読み出したプログラムに従って処理を実行することによって行われる。

領域解析部２０１は、公知の領域解析技術を用いて、入力画像２００内に存在する文字領域を特定する。領域解析技術として、例えば特許文献３に記載されたものが知られている。

文字認識部２０２は、領域解析部２０１で特定された文字領域に対して文字認識処理をおこなって文字領域内の文字を特定し、特定された文字の文字コード列を得る。文字認識処理の結果は、文字コード列のみではなく、各文字の色情報、座標情報、推定文字サイズ、文字ピッチ、行ピッチなど、文字認識処理に付随して推定された書式情報を含んでいてもよい。

論理構造解析部２０３は、領域解析部２０１で得られた文字領域の位置や文字数から文書内容の論理構造を解析する。論理構造とは、文書中の各文字領域間の意味的、論理的な関係のことで、例えば文字領域の読み順、各文字領域のタイトル、内容、図表に付随するキャプションといった属性情報のことである。本実施形態では特に、公知の技術を用いて文字領域の位置情報から読み順を推測する。例えば特許文献２では、文書画像を解析し、文書画像に含まれる文字領域を記事、段組、段落などの階層に分解する。分解された各階層に対して、横書き文書ならば記事は上から順に、段組は左から順に、段落は上から順に、といった具合に位置関係よる読み順がつけられる。

段組配置解析部２０４は、領域解析部２０１及び論理構造解析部２０３による処理の結果を元に、出力電子文書データ２１０に用いられるべき適切な段組配置の解析及び選択を行う。具体的には、出力電子文書２１０の仕様で表現可能な段組配置の中から、領域解析部２０１で特定された文字領域の入力画像データ２００における位置と、論理構造解析部２０３で解析された論理構造とを最も再現可能な段組配置を選択する。段組配置解析部２０４による処理の詳細は、図３を参照して後述する。

電子文書生成部２０５は、特定された文字領域、文字認識の結果、解析して選択された段組配置を元に、出力電子文書データ２１０を生成する。具体的には、生成される出力電子文書データ２１０は、少なくとも、段組配置解析部２０４で選択した段組配置の情報と、当該段組配置によっては入力画像における位置を再現できない文字領域の属性情報とを含む。電子文書出力部２０５は、入力画像データ１つに対し１ページの電子文書を生成するようにしても、複数の入力画像データに対しマルチページ電子文書ひとつが生成されるようにしてもよい。生成される出力電子文書データ２１０の更なる詳細は、図１１及び図１２を参照して後述する。

図３のフローチャートを参照して、段組配置解析部２０４における処理を説明する。この処理の更なる詳細（具体例）は、図４から図１０を参照して後述する。

ステップＳ３０１において、段組配置解析部２０４は、組方向の判定を行う。組方向とは、文書内で文字が書き進められる方向である。段組配置解析部２０４は、領域解析部２０１で得られた全文字領域の縦書き／横書きの情報から文書全体の組方向を決定する。本実施形態では、もっとも合計文字数の多い領域の組方向を文書全体の組方向と判定する（１文書が複数ページからなるときは、ページごとに組方向が決定される）。ここで説明した組方向の決定方法は一例であり、これに限定されない。組方向を決定するために、組方向別の領域面積の総和を用いてもよいし、ＵＩから得られた値を用いてもよい。以下の説明では、特に説明のない場合は、文書の組方向が横書きと判定されたものとして説明する。縦書き時は、縦方向と横方向を逆に読み替えればよい。

ステップＳ３０２において、段組配置解析部２０４は、文書に含まれる文字領域のうち非本文領域の判定を行う。非本文領域とは、文書に含まれる文字領域のうち、本文領域ではない文字領域のことである。本実施形態では、例えば、ステップＳ３０１で文書の組方向が横書きと判定された場合、縦書きの文字領域は非本文領域と判定される。また文書上端に位置する領域をヘッダー、文書下端に位置する領域をフッターとして定義し、これらの領域に存在する文字領域を本文領域から除外する。これは一例であって、他にも文字認識結果の精度などの情報を用いて非文章領域やノイズ領域を判別し、本文領域から除外してもよい。非本文領域と判定された文字領域は、図３の処理における以降の処理（ステップＳ３０３からＳ３０７）の処理対象から除外される。すなわち、文書に含まれる文字領域から非本文領域が除外された領域が本文領域として特定され、以降の処理は、本文領域に対して実施される。

ステップＳ３０３において、段組配置解析部２０４は、ステップＳ３０２で文字領域から非本文領域を除外した領域である本文領域をセクションで区切る。詳細には、段組配置解析部２０４は、ステップＳ３０１で得られた組方向から、セクションの区切りとなる位置を抽出する。セクションの区切り位置を抽出するために、組方向が横書きの場合、横軸方向に文字領域射影がとられ、縦書きの場合、縦軸方向に文字領域の射影がとられる。射影の存在しない部分がセクションの区切り位置として抽出される。本処理では、射影を用いることで確実にセクションとして区切ることが可能な位置のみが抽出される。

ステップＳ３０４において、段組配置解析部２０４は、Ｓ３０３で抽出されたセクションの区切り位置に基づいて特定される複数のセクションから、未処理のセクションを処理対象として選択する。

ステップＳ３０５において、段組配置解析部２０４は、ステップＳ３０４で選択されたセクション内の文字領域を配置するための段組配置の候補（配置候補）として、出力電子文書データ２１０の出力仕様で表現可能な段組配置を選択する。すなわち、段組配置解析部２０４は、配置候補として、入力画像データ２００から認識・解析された文字領域の位置の再現率が高い段組配置を選択する。なお、より好ましい段組配置の候補を選出する為に、段組配置解析部２０４は、処理対象のセクションの中でさらにセクション区切りの候補を求め、分割したセクション毎に異なる段組配置の候補をメモリ１０３上に列挙することができる。このようにさらにセクションを区切って段組配置の候補を列挙する方法の具体的な例については後述する。なお、本実施形態での出力仕様では、段組の中にセクションを持つことができず、必ずセクションの中に段組を持つ構成になることを前提にしている。

ステップＳ３０６において、段組配置解析部２０４は、選択された段組配置の候補の中から、論理構造解析部２０３で解析された論理構造の再現率が高い段組配置を本文領域の段組配置として決定する。詳細には、ステップＳ３０５で得られた段組配置の候補が複数ある場合、それぞれの段組配置に対して、論理構造解析部２０３で解析された論理構造を元に得点付けがされ、最も得点が高くなる段組配置パターンが本文領域の段組配置として決定される。本実施形態では、段組配置内に含まれる読み順が連続する文字領域の数をもとに得点付けをおこなう。すなわち、元の文書の論理構造の再現率が高い段組配置ほど、高い得点が付けられる。得点付け処理の詳細については後述する。なお、ステップＳ３０５で得られた段組配置の候補が１つしか存在し場合、段組配置解析部２０４は、当該段組配置の候補を本文領域の段組配置として決定する。

ステップＳ３０７において、段組配置解析部２０４は、全セクションの処理が完了したかを判定する。未処理セクションが存在する場合、処理はステップＳ３０４へ進み、存在しない場合、処理は終了する。

次に、図４から図１２を参照して、図２及び図３に示した段組配置解析部２０４による処理の例を詳細に説明する。

図４に示された入力画像データ４００は、図２の入力画像データ２００の具体例である。入力画像データ４００は、スキャナ１０１によって得られた画像データである。破線で囲まれた領域４０１、４０２、４０３、４０４、４０５、４０７、４０８は、横書きの文字領域を示しており、領域４０６は、縦書きの文字領域を示している。それぞれの文字領域に付された符号は、領域ＩＤを示している。

図５は、入力画像データ４００に対して領域解析部２０１で領域解析処理を行い、文字認識部２０２で文字領域に対して文字認識処理を行い、さらに論理構造解析部２０３で論理構造情報を付加した結果データの例を示している。図５には、各文字領域から取得した情報が示されている。組方向と領域の座標情報は、公知の領域解析により取得される。文字列、文字数、文字サイズ、行数の情報は、公知の文字認識処理により取得される。取得されたこれらの情報は一例であって、他にも文字の色や太字、斜体などの修飾情報、文字間、行間などの情報を得てもよい。更に、本実施形態では、論理構造の情報として、公知の技術を用いて得た領域の読み順の情報を付加している。

ステップＳ３０１において、段組配置解析部２０４は、文書全体の組方向を決定する。文字領域４０１、４０２、４０３、４０４、４０５、４０６、４０７、４０８の全領域の組方向から、横書きの総文字数、縦書きの総文字数を比較して、文字数の多い方向を文書全体の組方向とする。入力画像データ４００では、横書きの総文字数は１５８文字、縦書きの総文字数は１０文字となるため、文書全体の組方向が横書きと判定され、処理はステップＳ３０２へ進む。

ステップＳ３０２において、段組配置解析部２０４は、文字領域４０１〜４０８のそれぞれに対して、非本文領域であるか否かの判定を行う。非本文領域と判定された領域は、本文領域から除外され、以降の処理の対象から除外される。本実施形態では、Ｓ３０１で決定された組方向と異なる文字領域４０６が本文領域から除外される。また、ページ上端１０％内の範囲に入っている文字領域をヘッダーとして、下端１０％内に入っている文字領域をフッターとして定義し、これらの領域に存在する文字領域を本文領域から除外される。図４に示す例では、文字領域４０８はフッターに存在するため、本文領域から除外される。なお本実施形態では、本処理内でヘッダー、フッターの判定を行ったが、これに限定されない。論理構造解析部２０３内で予め判定し、ヘッダー、フッターなどの属性情報を入力画像データ２００から得られた情報に付加しておき、この属性情報を利用して、非本文領域であるかの判定を行ってもよい。

図３に示すフローチャートにおける以降の処理（ステップＳ３０３からＳ３０７）では、非本文領域と判定された文字領域４０６、４０７は処理対象から除外される。

ステップＳ３０３において、段組配置解析部２０４は、文字領域の射影からセクションを区切る。本実施例では、ステップＳ３０１の処理によって、本文書の組方向が横書きと判定されているため、横軸方向に射影をとる。横軸方向への射影は、例えばページ全体の縦軸を所定の範囲毎に区切った区間に対して初期値としてすべて０を設定し、当該各区間について、横軸方向に処理対象の文字領域が存在する区間を１に設定する。このようにして１に設定された区間がセクション区切り位置として抽出される。本実施例において、入力画像データ４００の文字領域４０１、４０２、４０３、４０４、４０５、４０７に対し横軸方向の射影をとった結果の例が図６に符号６００で示されている。この例では、射影の存在しない部分６０１（０に設定されている区間）をセクションの区切りとして抽出される。その結果、破線で囲まれた領域６０２、６０３がセクションとして区切られる。なお、セクションを区切る方法はこのように射影をとる方法に限定されず、公知の方法により区切ることができる。

ステップＳ３０４において、段組配置解析部２０４は、未処理のセクションとしてセクション６０２を処理対象として選択し、処理はステップＳ３０５へ進む。

ステップＳ３０５において、段組配置解析部２０４は、セクション６０２に対して、出力電子文書データ２１０の出力仕様で表現可能な段組配置を選定する。

図７から図９を参照して、段組配置の選定方法の一例を以下に説明する。
まず、図７を参照して、セクション６０２を更に小さいセクション及び段組に分割する方法について説明する。図７は、図６のセクション６０２について、縦横方向に文字領域のヒストグラムをとった例を示している。ヒストグラム７００は、縦軸方向ヒストグラムである。セクション内を縦軸方向に走査し、存在した文字領域数がヒストグラムの高さとなっている。ヒストグラム７１０は、横軸方向ヒストグラムである。セクション内を横軸方向に走査し、存在した文字領域数がヒストグラムの高さ（幅）となっている。なお、上記のように文字領域数をヒストグラムの高さとする方法は一例であり、文字領域の幅、高さ、あるいは文字数、行数をヒストグラムの高さに用いてもよい。このヒストグラム中の谷となる部分から、セクション又は段組を区切る境界の候補として用いることで、段組配置を求めていく。

図８は、ステップＳ３０５の処理により図６のセクション６０２に対して得られる段組配置の侯補として選択されたものの例を示している。ここで、段組配置の候補（配置候補）として、入力画像データ２００から特定された文字領域のうち、入力画像データ２００における位置を再現できる文字領域の数が所定数以上である段組配置が選択される。

まず、前述のとおり、縦軸方向ヒストグラム７００から、区切り候補７０１、７０２が得られる。図８において、セクション６０２に対して区切り候補７０１、７０２を用いて本電子文書フォーマットで配置可能な文字領域の段組配置の候補群を選定した例として、候補のグループ８００が示されている。区切り候補７０１で区切った場合の例は、段組配置８０１、８０２である。区切り候補７０２で区切った場合の例は、段組配置８０３、８０４である。区切り候補７０１及び７０２で区切った場合の例は、段組配置８０５である。ここで、段組配置の候補として、入力画像データ２００における位置を再現できる文字領域の数が所定数以上である段組配置が選択される。例えばグループ８００は、各区切りで区切った場合の文字領域数が最大になるパターンのみを示している。すなわち、区切り７０１で区切った場合の段組配置８０１、８０２以外のパターン（例えば、文字領域４０１、文字領域４０２の２つの文字領域で構成されるパターンなど）は除外している。もちろん、全てのパターンを網羅的に求めてもよい。

ここで、前述したとおり、セクション６０２から、さらにセクションを分割することで異なる段組配置のパターンを求めることができる。本実施例では、横軸方向ヒストグラム７１０の谷部分からセクション区切り候補７１１、７１２が得られる。これらのセクション区切り候補を用いて分割したセクション毎の段組配置パターンを求める。ここでセクション６０２をさらに分割する方法として、セクション区切り候補７１１で区切った場合と、セクション区切り候補７１２で区切った場合と、セクション区切り候補７１１及び７１２の両方で３セクションに区切った場合の３通りが存在する。セクション毎にそれぞれの段組配置パターンのグループを求めると、セクション区切り候補７１１によって区切られた上部セクションでの段組配置グループ８１０、下部セクションでの段組配置グループ８２０が得られる。同様にセクション区切り候補７１２で区切った場合、上部セクションとして段組配置グループ８３０、下部セクションとして段組配置グループ８４０を得ることができる。また、セクション区切り候補７０１、７０２で区切った場合、両セクション区切り候補によって挟まれたセクションでの段組配置グループ８５０が新たに段組配置候補のグループとして得られる。段組配置グループ８１０には、区切り候補７０１を用いた２段組の段組配置８１１が含まれている。段組配置グループ８２０には、区切り候補７０２を用いた２段組の段組配置８２１が含まれている。段組配置グループ８３０には、区切り候補７０１、７０２を用いた３段組の段組配置８３１が含まれている。段組配置グループ８４０には、１段組の８４１が含まれる。段組配置グループ８５０は配置可能文字領域が存在しないため、実際の段組配置候補は含まれない。

最後に段組配置グループ８１０から８５０を組み合わせて、セクション６０２を構成する段組配置を決定する。セクション６０２を構成する段組配置の候補として、段組配置グループ８１０及び８２０から構成される段組配置、段組配置グループ８３０及び８４０から構成される段組配置、段組配置グループ８１０、８５０及び８４０から構成される段組配置が存在する。また、これらの候補に先に説明した段組配置グループ８００を加えた段組配置を、セクション６０２内の段組配置の全候補とする。

図９に、段組配置の候補の主な例を示す。この例では、段組配置の候補として、段組配置８０３、８０４、８０５に加えて、段組配置８１１及び８２１から構成した段組配置９００が示されている。ここでは特にこの４パターンを用いて説明するが、実際は全組み合わせを用いて網羅的に段組配置の候補を列挙する。もちろんこの段組配置パターン算出方法は一例であり、その他の方法を用いてもよい。

以上のようにステップＳ３０５において、段組配置解析部２０４は、出力電子文書データ２１０の仕様で表現可能な段組配置の中から、入力画像２００における位置を再現できる文字領域の数が所定数以上である段組配置を候補配置として選択する。

ステップＳ３０６において、段組配置解析部２０４は、ステップＳ３０５で得られた各段組配置パターンについて論理構造情報を元に得点を算出し、最も点数の高い段組配置を決定する。

図１０に、それぞれの段組配置侯補に対して算出された論理構造の得点の例を示す。図１０の表の「文字領域」の列に示された２段の長方形内に示された値は、上段は文字領域の領域ＩＤを示しており、下段は同領域の読み順を示している。例えば段組配置８０３は読み順１の文字領域４０１と、読み順３の文字領域４０３と、読み順４の文字領域４０４と、読み順５の文字領域４０５から構成されることを示している。この時、読み順の昇順で文字領域を並べたときに、読み順が連続している２つの文字領域が存在すれば得点を１点加点する。段組配置侯補８０３の例では、文字領域４０３と４０４の読み順が３と４で連続しているため１加点される。また、文字領域４０４と４０５の読み順が４と５で連続しているため、さらに１加点される。従って、段組配置侯補８０３の得点は、合計２点である。同様に計算すると、段組配置８０４の得点は３であり、段組配置８０５の得点は２であり、段組配置９００の得点は２である。ここで最も高い得点を持つ段組配置８０４が段組配置として決定される。すなわち、論理構造解析部２０３で解析された論理構造は文字領域の読み順を含み、段組配置解析部２０４は、候補配置に文字領域を配置したときに、文字領域が読み順に従った連続性を持っているほど、論理構造が高く再現されている候補配置であると判断する。

なお、変形例として、論理構造の得点を加点するだけでなく、減点する処理を行っても良い。例えば、領域解析部２０１は誤った文字領域を特定する場合がある。そのため、論理構造解析部２０３は、領域解析部２０１で特定された文字領域を公知の方法により解析し、誤って特定された文字領域を特定する。段組配置解析部２０４は、誤って特定された文字領域の存在により加点された論理構造の得点を減点する。

すなわち、この変形例では、論理構造解析部２０３で文字領域を解析して得られた論理構造は、領域解析部２０１で誤って特定された文字領域の情報を含む。段組配置解析部２０４は、候補配置に文字領域を配置したときに、当該誤って特定された文字領域が多く配置されるほど、論理構造が低く再現されている候補配置であると判断する。

以上のようにステップＳ３０６では、段組配置解析部２０４は、入力画像データ２００から解析された論理構造を最も再現可能な段組配置を候補配置から選択する。

ステップＳ３０７において、段組配置解析部２０４は、全セクションに対して処理が完了したかを判定する。この例において、未処理セクションが残っているため、処理はステップＳ３０４へ進む。ステップＳ３０４において、段組配置解析部２０４は、セクション６０３を処理対象として選択し、処理はステップＳ３０５へ進む。

ステップＳ３０５では、段組配置解析部２０４は、セクション６０３に対する段組配置候補を算出する。セクション６０３は文字領域４０７のみで構成されているため、組み合わせは１つに定まる。

ステップＳ３０６では、段組配置解析部２０４は、段組配置の組み合わせが文字領域４０７から構成される１つのみであるため、そのまま決定される。

ステップＳ３０７では、全セクションに対して処理が終了したので、この処理を終了する。

以上のように、図３から図１０に示した処理によれば、段組配置解析部２０４は、入力画像データ２００から出力電子文書データ２１０を生成するための段組配置を選択する。詳細には、段組配置解析部２０４は、出力電子文書データ２１０の仕様で表現可能な段組配置の中から、入力画像データ２００における文字領域の位置と、入力画像データ２００から認識・解析された論理構造とを最も再現可能な段組配置を選択する。

図１１に示されたＸＭＬ文書データ１１００は、段組配置解析部２０４（図３のステップＳ３０６）で選択した段組配置に基づいて電子文書出力部２０５によって生成された出力電子文書データ２１０の例である。電子文書出力部２０５は、論理構造解析部２０４で選択した段組配置の情報と、当該選択した段組配置によっては入力画像データ２００における位置を再現できない文字領域の属性情報とを少なくとも含むように、出力電子文書データ２１０を生成する。本実施例では、ＸＭＬ文書データ１１００は、領域解析部２０１、文字認識部２０２、論理構造解析部２０４で解析・認識された情報を含んでいる。本実施例では、出力電子文書データ２１０は、ＸＭＬ形式のフォーマットで生成されるが、出力電子文書データ２１０のフォーマットはこれに限定されず、任意のフォーマットとすることができる。

「Ｄｏｃｕｍｅｎｔ」要素に囲まれる部分は本文領域を示す。この本文領域には、入力画像データ２００から特定された文字領域のうち、段組配置解析部２０４が選択した段組配置で配置可能な文字領域についての情報が含められている。本文領域はセクションの塊を示す「Ｓｅｃｔｉｏｎ」要素によって、２つに分かれている。最初の「Ｓｅｃｔｉｏｎ」要素には、段組を示す「Ｃｏｌｕｍｎ」要素によって分けられた２つの段組が含まれている。「Ｐａｒａｇｒａｐｈ」要素は各文字ブロックを表す。文字ブロックの表示のためのレイアウトは、それぞれ左側の余白を示す「ｌｅｆｔ＿ｍａｒｇｉｎ」属性や、文字サイズ情報を示す「ｓｉｚｅ」属性などで調整される。

本文から独立した「Ｔｅｘｔ」要素は、自由配置文字領域を示す。この自由配置文字領域には、入力画像データ２００から特定された文字領域のうち、段組配置解析部２０４が選択した段組配置で配置できない文字領域についての属性情報が含められている。属性情報として、本実施例では、「Ｔｅｘｔ」要素は、文字領域の位置の情報（ｘ、ｙ）、文字領域内の文字のフォントサイズの情報（ｓｉｚｅ）及び文字領域内の文字の組方向の情報（ｏｒｉｅｎｔ）を含む。

図１２（ａ）は、パーソナルコンピューター１２０の表示部にＸＭＬ文書データ１１００に基づいて文書を表示させた例である。アプリケーションウィンドウ１２００の中に、ＸＭＬ文書データ１１００に含まれていた文字領域の情報が組版されて表示されている。ここで、入力画像データ２００は、ＸＭＬ文書データ１１００の出力仕様で本来表現できない段組構造の段組として、文書領域４０１、４０６を含んでいた。しかし、ＸＭＬ文書データ１１００は、文書領域４０１、４０６についての情報を前述の自由配置文字として含んでいる。そのため、パーソナルコンピューター１２０は、ＸＭＬ文書データ１１００に基づいて、入力画像データ２００の見た目を再現して文書を表示することができる。

図１２（ｂ）は、図１２（ａ）に示された文書に対して編集操作した例である。破線で囲まれた領域１２１１に示されているように、”ＩｎｓｅｒｔＮｅｗＣｈａｒａｃｔｅｒ”という文字列が挿入されている。本文領域に含まれる文字領域は、読み順により連続性を持つため、このように二つの文字領域にまたがって文字を挿入することが可能となる。なお、ＸＭＬ文書データ１１００において、「Ｐａｒａｇｒａｐｈ」要素が出現する順番が文字領域の読み順に対応する。この方法に限定されず、変形例として、ＸＭＬ文書データ１１００が読み順の情報を明示的に含むこととしても良い。

図１３は、自由配置文字領域を用いずに全ての文字領域を本文領域として（「Ｄｏｃｕｍｅｎｔ」要素として）電子文書データを生成した場合の電子文書の例を示している。図１３（ａ）の電子文書データ１３００は、セクション６０２について、レイアウトの情報を維持したまま全ての文字領域を本文領域に収めた例である。この例では、文字領域４０４を上部４０４ａと下部４０４ｂの２つに分割し、セクション６０２をセクション区切り１３０１で上下２つのセクションに分割している。上のセクションは３つの段組に分割されており、各段組には、それぞれ文字領域４０１、４０２、４０４ａが配置されている。下のセクションは２つの段組に分割されており、左の段組には文字領域４０３が配置され、右の段組には文字領域４０４ｂ及び４０５が配置されている。この例の場合、レイアウト情報は維持できているものの、文書の順序が４０１、４０２、４０４ａ、４０３、４０４ｂ、４０５となる。その結果、ひとつの文章である文字領域４０４を分割して得られた文字領域４０４ａと４０４ｂの間に文字領域４０３が入るため、この電子文書データは、論理構造の情報、すなわち読み順の連続性の情報を著しく損なっている。

図１３（ｂ）の電子文書データ１３１０は、セクション６０２について、論理構造を損なわないように本文領域に全ての文字領域を収めた例である。文字領域４０４と４０５の位置を下にずらすことで、セクション区切り１３１１で区切られている。上のセクションは、文字領域４０１と４０２がそれぞれ配置された２つの段組で構成され、下のセクションは、文字領域４０３が配置された段組と文字領域４０４、４０５が配置された段組とで構成されている。この例においては、論理構造は損なっていないが、レイアウト（文字領域の位置）すなわち見た目が大きく崩れている。

これらの例が示すとおり、文字領域の全てを本文領域として電子文書のフォーマットの出力仕様に従った段組構成で出力する場合、論理構造または見た目を損なうことになる。

以上説明したように、本実施例によれば、文書画像の見た目の情報を損なわず、かつ論理構造を可能な限り保持するので、編集性の高い電子文書を生成することができる。

実施例１では、各段組配置に対して得点付けを行うために用いる論理構造の情報として、読み順を用いた。段組配置に対して得点付けを行うために用いる論理構造の情報として、文書の内容の重要度を用いてもよい。本実施例では、文書の内容の重要度として、文字領域に含まれる文字数を用いて得点付けを行う。これは一例であり、自然言語処理を用いて文書の内容を意味解析した結果を文書の内容の重要度として用いて得点付けを行ってもよい。

以下、本実施例について、図２の入力画像データ２００として図４の画像データ４００を用いた場合の処理例を説明する。

図２の領域解析部２０１、文字認識部２０２で行われる処理は実施例１と同様であるため、説明は省略する。

論理構造解析部２０３では、各文字領域の持つ文字数を重要度として算出する。ここで、文字領域ごとに得られた文字数の値は、図５の表中の「文字数」の列に示される。

段組配置解析部２０４では、図３に示されたフローチャートに従い処理を行う。ステップＳ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５で行われる処理は、実施例１と同様であるため、説明は省略する。

セクション６０２に対するステップＳ３０６の処理では、論理構造解析部２０３で算出された文字数を元に、段組配置の候補のそれぞれに対して得点付けを行い段組配置の決定を行う。段組配置パターン８０３では、文字領域４０１、４０３、４０４、４０５の文字数の合計である１５１が合計得点となる。段組配置パターン８０４では、文字領域４０２、４０３、４０４、４０５の文字数の合計である１９２が合計得点となる。段組配置パターン８０５では、文字領域４０１、４０２、４０４、４０５の文字数の合計である７８が合計得点となる。段組配置パターン９００では、文字領域４０１、４０２、４０３、４０５の文字数の合計である１７８が合計得点となる。この中で最も高い得点を持つ段組配置８０４がセクション６０２の段組は位置として決定される。

すなわち、本実施例によれば、まず、論理構造解析部２０３で解析された論理構造は、領域解析部２０１で解析された文字領域の文字数に応じて判断された文字領域の重要度を含む。段組配置解析部２０４は、候補配置に領域解析部２０１で特定された文字領域を配置したときに、当該配置された文字領域の重要度が高いほど、論理構造が高く再現されている前記候補配置であると判断する。
以降の処理は、実施例１と同様であるため説明を省略する。

以上のように、本実施例でも実施例１と同様の結果が得られる。すなわち、本実施例によれば、文書画像の見た目の情報を損なわず、重要な文章をできるだけ本文領域に配置しようとするので、編集性の高い電子文書を生成することができる。

実施例１では論理構造の判定基準に読み順を用いたが、図、写真、表などの文字領域以外の領域との関係性を論理構造の判定基準にしても良い。

図１４に示された画像データ１４００は、図２に示された入力画像データ２００の例である。画像データ１４００は、文字領域１４０１、１４０２、１４０３、１４０４、写真１４１０、表１４２０を含む。文字領域１４０２は、写真１４１０に付随するキャプションである。文字領域１４０３は、表１４２０に付随するキャプションである。文字領域１４０１、１４０４が画像データ１４００の内容を示す重要な情報であるとする。

以下、入力画像データ２００の例として、図１４の画像データ１４００を用いて本実施例における処理の説明を行う。

領域解析部２０１では、文字領域の他に、図、写真、表を公知の領域解析技術を用いて解析して特定する。例えば特許文献３に開示されている領域解析技術では、画像から抽出された画像を、大きさ、形状などによって文字、図、写真等に分類している。また罫線により区切られる閉領域が整列している領域を表として抽出している。

本実施例では、領域解析部２０１における解析により、領域１４０１、１４０２、１４０３、１４０４が文字領域として特定され、領域１４１０が写真領域として特定され、領域１４２０が表領域として特定される。

なお表によっては、表要素であるテキストを罫線で区切らないものもあり、前記解析処理では複数の文字領域と抽出される場合がある。このような表に対し、論理構造解析部２０３で、小さなテキストの縦横の揃いを検出し、揃いの程度が高い領域を表領域としてまとめてしまってもよい。なお前記揃いの検出をするために、例えば対象領域で、小さなテキスト全体に対し図６で説明したような射影をとり、同射影で山と谷が規則的にあらわれる場合に揃いがあると判定すればよい。

なお、写真、図、表の特定方法は上記の例に限定されず、公知の方法によって特定される。

図１５は、領域解析結果に、文字認識部２０２、論理構造解析部２０３による処理の結果を加えた表である。公知の読み順判定では、読み順が領域１４０１、１４０２、１４０３、１４０４という順に判定されたとする。

段組配置解析部２０４では、図３のフローチャートに従って処理を行う。
ステップＳ３０１において、段組配置解析部２０４は、文字領域１４０１から１４０４の全ての組方向が横であるため、文書の組方向も横と判断する。

ステップＳ３０２において、段組配置解析部２０４は、文字領域のそれぞれに対して非本文領域であるかの判定を行い、文字領域から非本文領域を除外した領域を本文領域として特定する。本文領域ではない文字領域は、図３に示された以降の処理の対象から除外される。本実施例では、段組配置解析部２０４は、行数が１である文字領域に対して、図、写真、表領域矩形の上辺の中点と文字領域矩形下辺の中点との距離、あるいは表領域矩形の下辺の中点と文字領域矩形上辺の中心との距離を計算する。距離が１０（画素）以内のものをキャプションとして除外する。これらの計算は、図５に示された情報を用いて行われる。この判定によって、文字領域１４０２は、上辺の中点（４０，１４０）と、写真領域１４１０の下辺の中点（４０，１３５）が距離５であるためキャプションであるとして、本文領域から除外される。また文字領域１４０３も、上辺の中点（１００，１４０）と表領域１４２０の下辺の中点（１００，１３４）の距離が６であるためキャプションであるとして、本文領域から除外される。その後、実施例１と同様に、段組配置解析部２０４によってステップＳ３０３からＳ３０７の処理が行われる。すなわち、本実施例では、論理構造を用いてキャプションであると判定された文字領域が本文領域から除外される。詳細には、段組配置解析部２０４は、領域解析部２０１で特定された文字領域のうち、図、写真又は表に付随するキャプションについての文字領域の位置及び論理構造を考慮せずに、段組配置を選択する。

図１６の電子文書データ１６００は、電子文書出力部２０５によって生成した電子文書データの例である。電子文書データ１６００では、本文領域を表す「Ｄｏｃｕｍｅｎｔ」要素の中に１つの「Ｓｅｃｔｉｏｎ」要素が存在する。「Ｓｅｃｔｉｏｎ」要素の中に、「Ｃｏｌｕｍｎ」要素によって、文字領域１４０１と１４０４の２つの段組が示されている。つまり、電子文書データ１６００は、本文領域として１つのセクションを持ち、文字領域１４０１、１４０４が配置された２つの段組を持つ段組配置で出力されている。

また文字領域１４０２、１４０３が「Ｔｅｘｔ」要素、つまり本文から独立した自由配置文字領域として出力されている。「Ｉｍａｇｅ」要素はｘ、ｙ属性で指定される位置に、写真などの画像ファイルを参照して表示し、ここでは画像１４１０が指定されている。
「Ｔａｂｌｅ」要素は、ｘ、ｙ属性で指定される位置に「ｃｏｌ」属性によって指定された幅の列、「ｒｏｗ」属性によって指定された高さの行で表を出力する。ここでは表領域１４２０が記述されている。すなわち、論理構造の観点で本文の途中に含まれるべきではないキャプション領域を除外して段組配置を決定することができている。

以上、本実施形態であっても、文書画像の見た目の情報を損なわず、かつ論理構造を可能な限り保持するので、編集性の高い電子文書を生成することができる。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 画像から電子文書を生成する画像処理装置であって、
   前記画像から複数の文字領域を特定する特定手段と、
   前記複数の文字領域それぞれに対して文字認識処理を実行する文字認識手段と、
   前記電子文書の仕様で表現可能な段組配置の中から、前記複数の文字領域を再現するのに最も適した段組配置を選択する選択手段と、
   前記選択した段組配置と前記文字認識手段による文字認識結果とに基づいて、前記電子文書を生成する生成手段と
   を備えたことを特徴とする画像処理装置。
2. 前記選択手段は、前記電子文書の仕様で表現可能な段組配置の中から、前記複数の文字領域のうちの本文領域を再現するのに最も適した段組配置を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の文字領域間の論理構造を解析する解析手段を更に有し、
   前記選択手段は、前記解析手段で解析された前記複数の文字領域間の論理構造の再現率が最も高い段組配置を、前記複数の文字領域を再現するのに最も適した段組配置として選択することを特徴とする請求項１に記載の画像処理装置。
4. 前記解析手段で解析された論理構造は、前記複数の文字領域の読み順を含み、
   前記選択手段は、前記段組配置の本文として前記複数の文字領域を配置したときに、前記複数の文字領域が前記読み順に従った連続性を持っているほど、前記論理構造の再現率が高いと判断することを特徴とする請求項３に記載の画像処理装置。
5. 前記解析手段で解析された論理構造は、各文字領域の文字数に応じて判断される前記複数の文字領域それぞれの重要度を含み、
   前記選択手段は、前記段組配置の本文として前記複数の文字領域を配置したときに、当該本文として配置された複数の文字領域の重要度が高いほど、前記解析された論理構造の再現率が高いと判断することを特徴とする請求項３に記載の画像処理装置。
6. 前記複数の文字領域それぞれの文字数を解析する解析手段を更に有し、
   前記選択手段は、前記電子文書の仕様で表現可能な段組配置それぞれにしたがって前記複数の文字領域を配置したときに本文として配置される文字領域の文字数に基づいて、前記電子文書の仕様で表現可能な段組配置の中から前記複数の文字領域を再現するのに最も適した段組配置を選択することを特徴とする請求項１に記載の画像処理装置。
7. 前記生成手段は、前記複数の文字領域のうち、前記選択手段で選択された段組配置の本文として配置されない文字領域を、本文から独立した自由配置文字領域とした前記電子文書を生成することを特徴とする請求項１に記載の画像処理装置。
8. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
9. 画像から電子文書を生成する画像処理装置で実行される画像処理方法であって、
   前記画像から複数の文字領域を特定する特定ステップと、
   前記複数の文字領域それぞれに対して文字認識処理を実行する文字認識ステップと、
   前記電子文書の仕様で表現可能な段組配置の中から、前記複数の文字領域を再現するのに最も適した段組配置を選択する選択ステップと、
   前記選択した段組配置と前記文字認識ステップによる文字認識結果とに基づいて、前記電子文書を生成する生成ステップと
   を備えたことを特徴とする画像処理方法。

Images