WO2014050562A1

WO2014050562A1 - 段落領域の順序補正装置ならびにその動作制御方法およびその動作制御プログラム

Info

Publication number: WO2014050562A1
Application number: PCT/JP2013/074553
Authority: WO
Inventors: 大谷　洋
Original assignee: 富士フイルム株式会社
Priority date: 2012-09-28
Filing date: 2013-09-11
Publication date: 2014-04-03

Abstract

　本文段落領域を連続して閲覧する。　文書が画像化された文書画像21から，段落領域Ｆ１からＦ10の位置が抽出される。段落領域Ｆ１からＦ10のそれぞれの読出し順序が仮に決定される。段落領域Ｆ１からＦ10のそれぞれの段落領域の属性が検出され，本文が記述されている本文段落領域についての順序が決定される。決定された順序で，複数の本文段落領域に含まれている文字画像が，垂直方向にスクロールするだけで携帯電話の表示画面に順に表示される。

Description

段落領域の順序補正装置ならびにその動作制御方法およびその動作制御プログラム

　この発明は，段落領域の順序補正装置ならびにその動作制御方法およびその動作制御プログラムに関する。

　文書が画像化された文書画像には複数の段落領域が含まれていることがある。これらの段落領域には，本文が記述されているほか，本文とは関係の無いコラム，脚注などが記述されていることがある。文書画像に含まれている段落領域のみを順番に表示させるために，段落領域の順序を決定するもの（特許文献１，２，３），段落領域の接続関係を決定するもの（特許文献４）などがある。

特開2002-245466号公報特開平8-227440号公報特開2012-155714号公報特開平6-215184号公報

　しかしながら，複数の段落領域に本文段落領域とコラム段落領域などのように本文以外の記述がある段落領域が混在していると，本文段落領域を連続して閲覧することはできない。

　この発明は，本文段落領域を連続して閲覧できるようにすることを目的とする。

　この発明による段落領域の順序補正装置は，文書が画像化された文書画像に含まれており，文字列が含まれている複数の段落領域について決定された順序を補正する段落領域の順序補正装置において，文書画像に含まれている文字列が横書きの場合には文書画像の左上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定し，文書画像に含まれる文字列が縦書きの場合には文書画像の右上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定する段落領域決定手段，複数の段落領域のうち，本文が記述されている本文段落領域（見出し，箇条書きも本文と捉えてもよいし，本文と捉えなくともよい）を検出する本文段落領域検出手段，および本文段落領域検出手段において検出された本文段落領域の順序を，段落順序決定手段において決定された順序に応じて昇順となるように補正する本文段落順序補正手段を備えていることを特徴とする。

　この発明は，段落領域の順序補正装置に適した動作制御方法も提供している。すなわち，文書が画像化された文書画像に含まれており，文字列が含まれている複数の段落領域について決定された順序を補正する段落領域の順序補正装置の動作制御方法において，段落領域決定手段が，文書画像に含まれている文字列が横書きの場合には文書画像の左上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定し，文書画像に含まれる文字列が縦書きの場合には文書画像の右上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定し，本文段落領域検出手段が，複数の段落領域のうち，本文が記述されている本文段落領域を検出し，本文段落順序補正手段が，本文段落領域検出手段において検出された本文段落領域の順序を，段落順序決定手段において決定された順序に応じて昇順となるように補正するものである。

　この発明は，段落領域の順序補正装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

　この発明によると，文書画像に含まれている文字列が横書きの場合には文書画像の左上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序が決定され，文書画像に含まれている文字列が縦書きの場合には文書画像の右上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序が決定される。複数の段落領域のうち，本文が記述されている本文段落領域が検出され，検出された本文段落領域の順序が，段落順序決定手段によって決定された順序に応じた昇順となるように補正される。文書画像に含まれている複数の段落領域に，本文以外が記述されている段落領域が含まれていても，本文段落領域に順序をつけることができるので，本文段落領域を順番に閲覧することができるようになる。

　文書画像が複数ページ分ある場合には，各ページの文書画像ごとに段落順序決定手段による複数の段落領域の順序を決定する処理，本文段落領域検出手段による本文段落領域検出処理および本文段落順序補正手段による本文段落順序の補正処理を行わせる第１の文書画像制御手段，ならびに本文段落検出手段によって検出された本文段落領域を，本文段落順序補正手段によって補正された順序で，ページの少ない文書画像に含まれている順に表示するように表示装置を制御する第１の表示制御手段をさらに備えることが好ましい。

　また，本文段落領域検出手段によって検出された１ページの文書画像内の本文段落のすべてを囲む矩形領域を本文領域と決定する本文領域決定手段，ならびに本文領域決定手段によって決定された本文領域内にある段落領域のうち，段落領域の面積，文字数および行数が一定値未満であり，かつ本文段落領域検出手段によって検出された本文段落領域の文字画像サイズ，文字色，背景色または文字のフォントの少なくとも１つが異なる段落領域を見出し段落領域と判定し，段落領域に含まれる行数が２行以上であり，あらかじめ定められている特定文字から始まる段落領域を箇条書き段落領域と判定し，段落順序決定手段において決定された順序の前の順序の段落領域の文字画像サイズ，文字色，背景色またはフォントの少なくとも１つ異なる段落領域をコラム段落領域と判定する第１の補足段落領域判定手段をさらに備えてもよい。

　本文段落順序補正手段は，たとえば，本文段落領域検出手段によって検出された本文段落領域ならびに第１の補足段落領域判定手段によって判定された見出し段落領域および箇条書き段落領域をすべて本文段落領域として見なして，本文段落領域検出手段によって検出された本文段落領域ならびに第１の補足段落領域判定手段によって判定された見出し段落領域および箇条書き段落領域の順序を，段落順序決定手段において決定された順序に応じて昇順となるように補正するものである。

　さらに，第１の補足段落領域判定手段によって，見出し段落領域と判定されたことに応じて見出し段落領域の順序を決定し，箇条書き段落領域と判定されたことに応じて箇条書き段落の順序を決定し，コラム段落領域と判定されたことに応じてコラム段落領域の順序を決定する補足段落順序決定手段をさらに備えてもよい。

　文書画像が複数ページ分ある場合には，各ページの文書画像ごとに第１の補足段落判定手段による判定処理，および補足段落順序決定手段による段落領域の順序を決定する処理を行わせる第２の文書画像制御手段，ならびに第１の補足段落領域判定手段によって判定された見出し段落領域，箇条書き段落領域またはコラム段落領域のそれぞれを，補足段落順序決定手段によって決定された順序で，ページ番号の小さい順に各段落領域の文字を表示するように表示装置を制御する第２の表示制御手段をさらに備えてもよい。

　本文段落領域検出手段によって検出された１ページの文書画像内の本文段落のすべてを囲む矩形領域を本文領域と決定する本文領域決定手段，ならびに本文領域決定手段によって決定された本文領域外にある段落領域のうち，段落領域の面積，文字数および行数が一定値未満であり，本文段落領域検出手段によって検出された本文段落領域の文字画像サイズ，文字色，背景色または文字のフォントの少なくとも１つが異なる段落領域をロゴ段落領域と判定し，あらかじめ定められている特定文字から始まる段落領域を脚注領域と判定する第２の補足段落領域判定手段をさらに備えてもよい。

　第２の補足段落領域判定手段によってロゴ段落領域と判定された段落領域に数字のみが含まれていることに応じて，その数字がページ番号と判定するページ番号判定手段をさらに備えてもよい。

　第１の補足段落領域判定手段においてコラム段落領域と判定された段落領域が，あらかじめ定められている特定の文字（たとえば，図，表，FIG.，Tableなど）から始まることにより図表説明段落と判定する図表説明段落判定手段をさらに備えてもよい。

　補足段落順序決定手段は，たとえば，第１の補足段落順序決定手段においてコラム段落領域と判定されたことに応じて，隣接している２つのコラム段落領域であって，文字画像サイズ，文字色，背景色およびフォントが同じである２つのコラム段落領域を連続した順序とするものである。

　固定レイアウト表示またはリフロー表示を指定する表示指定手段，および表示指定手段によって固定レイアウト表示が指定されたことに応じて文書画像全体が表示画面に表示されるように表示装置を制御し，表示指定手段によってリフロー表示が指定されたことに応じて，指定された段落領域内の画像が表示領域に表示されるように表示装置を制御する第３の表示制御手段をさらに備えてもよい。

携帯電話の電気的構成を示すブロック図である。文書画像の一例である。文書画像の一例である。段落領域順序付けの処理手順を示すフローチャートである。段落領域順序付けの処理手順を示すフローチャートである。段落領域順序付けの処理手順を示すフローチャートである。段落領域順序付けの処理手順を示すフローチャートである。文書画像の一例である。本文順序テーブルの一例である。コラム順序テーブルの一例である。本文順序テーブルの一例である。コラム順序テーブルの一例である。携帯電話の処理手順を示すフローチャートである。携帯電話の処理手順を示すフローチャートである。リフロー表示が行われる様子を示している。文書画像サーバの電気的構成をブロック図である。携帯電話と文書画像サーバとの処理手順を示すフローチャートである。

　図１は，いわゆるスマートフォンと呼ばれる携帯電話１の電気的構成を示すブロック図である。この実施例では，携帯電話１の表示装置３の表示画面に文書画像（テキスト・データによって表わされる文書が画像化されたもの）が表示される。

　携帯電話１の全体の動作は，制御装置２によって統括される。

　携帯電話１には，他の携帯電話との通信，インターネットへのアクセス等のための通信装置12およびアンテナ11が設けられている。

　また，携帯電話１には，表示画面に文書，画像などを表示するための表示装置３が設けられている。表示装置３の表示画面には，タッチ・パネル４が形成されている。表示画面上に形成されているタッチ・パネル４をタッチすることにより，ユーザは，携帯電話１に様々な指令を与えることができる。

　携帯電話１には，ブラウザなどのプログラム，所定のデータが格納されるメモリ５も含まれている。さらに，携帯電話１には，メモリ・カード・インターフェイス６が設けられている。このメモリ・カード・インターフェイス６に，後述する動作プログラムが格納されているメモリ・カード７が装填されると，メモリ・カード・インターフェイス６によりメモリ・カード６に格納されている動作プログラムが読み取られる。読み取られた動作プログラムが携帯電話１にインストールされる。

　さらに，携帯電話１には，スピーカ８およびマイクロフォン９も含まれている。音声信号は，増幅回路10によって増幅されてスピーカ８に与えられることによりスピーカ８から音声が出力される。また，マイクロフォン９から入力した音声を表わす音声信号は，増幅回路10によって増幅されて制御装置102に入力する。

　図２および図３は，文書画像21および22の一例である。

　文書画像21および21は，画像化されているもので，画像データ（文書画像ファイル）によって表わされるものである。

　図２に示す文書画像21は第１ページ目であり，図３に示す文書画像22は第２ページ目である。第３ページ目以降の文書画像があってもよい。

　図２を参照して，文書画像21には，Ｆ１からＦ10までの10個の段落領域が規定されている。これらの段落領域Ｆ１からＦ10のそれぞれの段落領域に文字列が記述されている。段落領域Ｆ１は見出し段落領域であり，段落領域Ｆ２，Ｆ４，Ｆ５およびＦ６は本文段落領域であり，段落領域Ｆ３およびＦ９はコラム段落領域であり，段落領域Ｆ７はページ番号段落領域であり，段落領域Ｆ８はロゴ段落領域であり，段落領域Ｆ10は脚注段落領域である。本文段落領域Ｆ２，Ｆ４，Ｆ５およびＦ６には，文書の主となる内容を示す文章が記述されている。コラム段落領域Ｆ３およびＦ９には，本文とは異なる文章が記述されている。図２においては，詳しく後述するように，本文領域24も図示されている。

　図３を参照して，文書画像22には，Ｆ11からＦ18までの８個の段落領域が規定されている。これらの段落領域Ｆ11からＦ18のそれぞれに文字列が記述されている。段落領域F11，Ｆ12，Ｆ13，Ｆ14およびＦ18は本文段落領域であり，段落領域Ｆ12およびＦ16はコラム段落領域であり，段落領域Ｆ17はページ番号段落領域である。

　図２および図３において，上述したように，それぞれの段落領域がどのような段落領域か分るようにするために，「本文」，「コラム」などの文字が各段落領域に付されているが，それぞれの段落領域は画像化されているので，後述するように属性判定処理が行われることにより，それぞれの段落領域が，本文段落領域なのか，コラム段落領域なのか，その以外の段落領域なのかが分るようになる。図２，図３においては，見出し段落領域，本文段落領域，コラム段落領域，ロゴ段落領域，ページ番号段落領域，脚注段落領域などが図示されているが，箇条書き段落領域，図表説明段落領域，図表段落領域などが含まれていてもよいのはいうまでもない。

　図４から図７は，段落領域順序付け処理手順を示すフローチャートである。

　図２に示す文書画像21に含まれている段落領域Ｆ１からＦ10の段落領域の順序付けがされる場合について説明する。

　まず，文書画像21に含まれている文書の記述が横書きか縦書きかが判断される（ステップ31）。文書画像21を表わす文書画像ファイルのヘッダに横書きか縦書きかを示すデータが格納されている場合には，そのデータにもとづいて判断してもよいし，文書画像21をＯＣＲ（Optical Character Reader）機能により読み取り，得られた文字画像の配列にもとづいて判断してもよい。たとえば，隣接する文字画像同士の横方向の幅よりも縦方向の幅の方が大きければ横書きと判断されるし，その逆に隣接する文字画像同士の横方向の幅よりも縦方向の幅の方が小さければ縦書きと判断される。

　横書きと判断されると（ステップ31でＹＥＳ），文書画像21の左上の頂点を原点の座標（X0，Y0）としたときに，その左上の頂点にもっとも近い頂点をもつ段落領域が親段落領域とされる（ステップ32）。文書画像21では，文書画像21の左上の頂点にもっとも近い段落領域は段落領域Ｆ１であるから，段落領域Ｆ１が親段落領域とされる。縦書きの場合には，文書画像21の右上の頂点を原点の座標としたときに，その右上の頂点にもっとも近い頂点をもつ段落領域が親段落領域となる。

　つづいて，親段落領域の右辺よりも左に左辺が位置する子段落領域が（縦書きの場合は，親段落領域の下辺よりも上に上辺が位置する子段落領域）存在するかどうかが判断される（ステップ33）。文書画像21の場合，親段落領域である段落領域Ｆ１の右辺RSよりも左に左辺が位置する段落領域として段落領域Ｆ２，Ｆ３およびＦ４が存在するから，これらの段落領域Ｆ２，Ｆ３およびＦ４が子段落領域される。すると，子段落領域Ｆ２，Ｆ３およびＦ４が，上辺が上にあるものから順にソートされる（ステップ34）。文書画像21に含まれている子段落領域Ｆ２，Ｆ３およびＦ４では，子段落領域Ｆ２，Ｆ３およびＦ４の順に，それぞれの子段落領域Ｆ２，Ｆ３およびＦ４の上辺が上にあるから，子段落領域Ｆ２，Ｆ３およびＦ４の順にソートされる。

　このようにしてソートされた子段落領域Ｆ２，Ｆ３およびＦ４のそれぞれの上辺同士の差が一定値未満の場合には，それぞれの子段落領域Ｆ２，Ｆ３およびＦ４の左辺が左側にある子段落領域ほど順序が先となるように再ソートされる（ステップ35）。

　図８は，文書画像23の一例である。

　文書画像23には，段落領域Ｆ21からＦ25が含まれている。親段落領域は段落領域Ｆ21である。親段落領域Ｆ21に対する子段落領域は段落Ｆ22およびＦ23である。子段落領域Ｆ23の上辺の方が子段落領域Ｆ22の上辺よりも上にあるので，上述した図４ステップ34の処理では子段落領域Ｆ23の方が子段落領域Ｆ22よりも先に順序付けられる。しかしながら，子段落領域Ｆ22の上辺と子段落領域Ｆ23の上辺との差Δは小さく，一定値未満であったものとする。そのような場合，この実施例では，左辺が左側にある子段落領域Ｆ22が先となるように順序付けが行われる。

　図４に戻って，親段落領域Ｆ１，ソートまたは再ソートされた子段落領域Ｆ２，Ｆ３およびＦ４の順に仮順序付けが行われる（ステップ36）。

　つづいて，親段落領域の右辺よりも右に，左辺が位置する段落領域（縦書きの場合，親段落領域の下辺よりも下に，上辺が位置する段落領域）が存在するかどうかが確認される（図５ステップ37）。文書画像21では，現在の親段落領域は段落領域Ｆ１であり，その親段落領域Ｆ１の右辺RSよりも右に左辺が位置する段落領域Ｆ５からＦ10が存在する。したがって，親段落領域Ｆ１の右辺の延長線上と文書画像の上辺USとの交点（X1，Y1）が新たな原点とされ，その新たな原点に最も近い左上の頂点をもつ段落領域が新たな親段落領域とされる（ステップ38）。文書画像21では，新たな原点（X1，Y1）に最も近い左上の頂点をもつ段落領域は段落領域Ｆ５であるから，段落領域Ｆ５が新たな親段落領域とされる。縦書きの場合，親段落領域の下辺の延長線上と文書画像の右辺との交点が新たな原点とされ，その新たな原点に最も近い右上の頂点をもつ段落領域が新たな親段落領域とされる。

　新たな親段落領域が決定されると，再び図４ステップ33から36の処理が繰り返される。図２に示す文書画像21では，このような処理が繰り返されることにより，段落領域Ｆ５からＦ10までの仮順序付けが行われる。

　図９は，本文順序テーブルの一例である。

　本文順序テーブルは，本文段落領域の順序を示すテーブルである。

　本文順序テーブルには，段落領域ごとに仮順序，属性および補正済み順序の各欄が規定されている。上述のように仮順序付けがされると，本文順序テーブルの仮順序の欄にデータが格納される。

　図２に示す文書画像21では，段落領域Ｆ１からＦ10の順序どおりに仮順序がつけられることとなる。

　親段落領域の右辺よりも左に左辺が位置する子段落領域が存在しないと（図４ステップ33でＮＯ），その親段落領域が最後の順序とされる。

　図５に戻って，段落領域に仮順序がつけられると，それぞれの段落領域の属性を検出する処理に移行する。段落領域の属性は，その段落領域が，本文を記述しているのか，コラムを記述しているのか，箇条書きを記述しているのかなどを示すものである。

　属性の検出のために，まず本文段落判定処理が行われる（ステップ39）。段落領域の面積，文字数，文字密度（文字数／面積）および行数が一定値以上の場合に，その段落領域が一度，本文段落領域と判定される。詳しくは後述するように，一度本文段落領域と判定された段落領域であっても，その他の判定処理によりコラム段落領域などと修正されることもある。本文段落領域と判定された段落領域を囲む矩形が規定され，その矩形で囲まれた領域が本文領域とされる（ステップ39）。

　図２を参照して，段落領域Ｆ２からＦ６およびＦ９が，一度，本文段落領域と判定される。すると，それらの段落領域Ｆ２からＦ６およびＦ９を囲む矩形の領域24が本文領域と規定される。

　つづいて，文書画像21のすべての段落領域について，以下の処理が行われる。

　まず，本文領域24内の段落領域かどうかが確認される（ステップ41）。ロゴ，脚注，ページ番号であれば，本文領域24から外れており，見出し，箇条書き，コラム，本文であれば，本文領域24内に存在する筈である。このために，本文内の段落領域であれば（ステップ41でＹＥＳ），まず見出し判定処理が行われる（ステップ42）。面積，文字数，行数が一定値未満であり，かつ本文領域と判定された段落領域の平均的な文字画像サイズ，文字色，背景色および文字のフォントの少なくとも一つが異なる段落領域が見出し段落領域と判定される。見出し段落領域と判定されると（図６ステップ43でＹＥＳ），その段落領域の属性が「見出し」とされる（ステップ44）。たとえば，図２に示す文書画像21の段落領域Ｆ１は見出し段落領域と判定され，その属性が「見出し」とされ，その「見出し」という属性が本文順序テーブルの属性の欄に段落領域Ｆ１に対応して格納される。

　段落領域が見出し領域でなければ（ステップ43でＮＯ），箇条書き判定処理が行われる（ステップ45）。行数が２行以上であり，かつ数字，丸で囲まれた数字，括弧でくくられた数字，中点などから始まる文章を含む段落領域が箇条書き段落領域と判定される。数字かどうかは，上述したＯＣＲ機能を利用できるのはいうまでもない。箇条書き段落領域と判定されると（ステップ46でＹＥＳ），その段落領域の属性が「箇条書き」とされる（ステップ47）。

　段落領域が箇条書き領域でもなければ（ステップ46でＮＯ），コラム判定処理が行われる（ステップ49）。仮順序で前または後の段落領域に含まれている文字画像と文字画像サイズ，文字色，背景色またはフォントの少なくとも一つが異なる段落領域がコラム領域と判定される。たとえば，図２に示す文書画像21に含まれる段落領域Ｆ３に含まれる文字画像は，その前の段落領域Ｆ２に含まれる文字画像と文字画像サイズ，文字色，背景色またはフォントなどが異なり，段落領域Ｆ３がコラム段落領域と判定される。コラム段落領域と判定されると（ステップ49でＹＥＳ），つづいて図表説明判定処理が行われる（ステップ51）。行頭が，「図」，「表」，「FIG.」，「Table」などのあらかじめ定められている特定の文字，単語などであった場合には図表説明の段落領域と判定される。図表説明段落領域である場合には（ステップ52でＹＥＳ），その段落領域の属性が「図表説明」とされ（ステップ54），図表説明段落領域ではなかった場合には（ステップ52でＮＯ），その段落領域の属性が「コラム」とされる（ステップ53）。

　段落領域がコラム段落領域でもなければ（ステップ49でＮＯ），その段落領域は改めて本文領域とされ，属性が「本文」とされる（ステップ50）。見出し段落領域および箇条書き段落領域を含めて本文段落領域と見なしてもよい。

　段落領域が本文領域外のものについては（図５ステップ41でＮＯ），まずロゴ段落判定処理が行われる（図７ステップ55）。段落領域の面積，文字数および行数が一定値未満であり，かつ本文段落領域と判定された段落領域に含まれている文字画像の文字画像サイズ，文字色，背景色，フォントが異なる段落領域がロゴ段落領域と判定される。ロゴ段落領域と判定された段落領域については（ステップ56でＹＥＳ），さらにページ番号判定処理が行われる（ステップ62）。段落領域内に数字のみが含まれている場合には，ページ番号段落領域と判定される。段落領域がページ番号段落領域と判定されると，属性は「ページ番号」とされる（ステップ65）。段落領域がページ番号段落領域と判定されていなければ（ステップ63でＮＯ），その段落領域の属性は「ロゴ」とされる（ステップ64）。

　段落領域がロゴ段落領域でなければ（ステップ56でＮＯ），脚注判定処理が行われる（ステップ57）。行頭が数字，アスタリスクなどの特定の記号の場合には，その段落領域は脚注段落領域と判定される。脚注段落領域と判定された段落領域の属性は「脚注」とされる（ステップ59）。

　以上のように，段落領域の属性が判定されると，本文順序テーブルの属性の欄に，それぞれの属性が格納される。

　図９を参照して，文書画像21の段落領域Ｆ１は見出し段落領域であり，段落領域Ｆ２，Ｆ４，Ｆ５およびＦ６は本文段落領域であり，段落領域Ｆ３およびＦ９はコラム段落領域であり，段落領域Ｆ７はページ番号段落領域であり，段落領域Ｆ10は脚注段落領域であると判定され，それぞれの属性が属性の欄に格納されることとなる。

　文書画像21のすべての段落領域の属性が検出されると，検出された属性から，仮順序が補正される（ステップ60）。まず，本文順序テーブルの属性の欄に記述されている属性のうち，「見出し」，「本文」，「箇条書き」以外の「コラム」，「ページ番号」，「脚注」が付与されている段落領域についての順序を示すデータが，仮順序の欄に記載されたデータから除かれたデータが補正済順序の欄に格納される。また，補正済順序の欄に格納されたデータは，仮順序の欄に格納された順序にしたがって昇順となるように変更させられる。図９を参照して，段落領域Ｆ３の属性は「コラム」，段落領域Ｆ７の属性は「ページ番号」，段落領域Ｆ８の属性は「ロゴ」，段落領域Ｆ９の属性は「コラム」，段落領域Ｆ10の属性は「脚注」であるから，これらの順序データが仮順序データから除かれ，かつ昇順に順序が付与されると，補正済順序は，段落領域Ｆ１，Ｆ２，Ｆ４，Ｆ５およびＦ６となる。また，コラム順序テーブルも生成される。

　図10は，コラム順序テーブルの一例である。

　コラム順序テーブルは，段落領域に対応してコラムとしての順序を示すデータが格納されるものである。

　上述したように，段落領域Ｆ３およびＦ９の属性が「コラム」であるから，それらの仮順序にしたがって，段落領域Ｆ３に「１」が付与され，段落領域Ｆ９に「２」が付与される。

　図７に戻って，このように属性から仮順序が補正され補正済順序が得られると，コラム段落領域については，再補正が行われる（ステップ61）。

　コラム段落領域と判定された段落領域のうち，段落領域に含まれている文字画像のサイズ，文字色，背景色およびフォントが同じであり，かつ隣接している２つの段落領域は１つのコラムと見なされるように再補正が行われる。そのような２つのコラム段落領域については，それらの２つのコラム段落領域の順序が連続するように，順序が補正される。たとえば，図２に示す段落領域Ｆ２とＦ５とがコラム段落領域であったとすると，段落領域Ｆ２の次の順序が段落領域Ｆ５となるように再補正処理が行われることとなる。

　このようにして，図９に示すように文書画像21についての本文順序テーブル，図10に示すように文書画像21についてのコラム順序テーブルがそれぞれ生成される。

　同様に，図３に示す文書画像についても図11に示すように本文順序テーブルが生成され，図12に示すようにコラム順序テーブルが生成される。

　図13および図14は，上述した段落順序付け処理を利用して文書画像21等を表示装置３の表示画面に表示するときの携帯電話１の処理手順を示すフローチャートである。

　携帯電話１のメモリ５（メモリ・カード７でもよい）には，図２に示す文書画像21，図３に示す文書画像22などを表わす文書画像ファイルが格納されている。文書画像21を表わす文書画像ファイルと文書画像22を表わす文書画像ファイルとが別々でもよいし，一つの文書画像ファイルによって文書画像21，22など複数の文書画像が表わされてもよい。

　表示装置３の表示画面には，多数の文書画像の縮小画像が表示され，それらの縮小画像の中から所望の文書画像が選択される（ステップ71）。文書画像が選択されると，その選択された文書画像の全体が表示装置３の表示画面に渡って表示される（固定レイアウト表示）（ステップ72）。たとえば，図２に示す文書画像21が選択されたとすると，必要に応じて縮小されて，その文書画像21の全体が表示装置３の表示画面に表示される。すると，表示されている文書画像に含まれている段落領域が抽出される（ステップ73）。携帯電話１にあるＯＣＲ機能を利用して文書画像に含まれている文字画像の配列，位置が検出される。文字画像の配列，位置から各行の構成が分り，各行の構成から段落領域の位置が分る。このようにして段落領域が抽出されることとなる。一方，このようにして抽出される段落領域とは別に，ＯＣＲ機能によって抽出された図表領域も位置が分る。たとえば，文書画像21が選択されると，段落領域Ｆ１からＦ10が抽出されることとなる。つづいて，表示装置３の表示画面には，リフロー表示するか否かのボタン（図示略）が現れる。リフロー表示が選択されず（ステップ74でＮＯ），終了指令が与えられなければ（ステップ77でＮＯ），そのまま文書画像が固定レイアウトで表示される（ステップ72）。

　リフロー表示が選択されると（ステップ74でＹＥＳ），抽出された段落領域について，上述したように段落領域順序付け処理が行われる（ステップ75）。

　段落領域順序付け処理が行われると，図９，図11に示したように本文順序テーブル，図10，図12に示したようにコラム順序テーブルが生成される。本文順序テーブルの属性の欄から，選択された段落領域の属性が「見出し」，「本文」または「箇条書き」かどうかが確認される（ステップ76）。

　選択された段落領域の属性が「見出し」，「本文」または「箇条書き」であると（ステップ76でＹＥＳ），それらの「見出し」，「本文」または「箇条書き」の属性を有している段落領域に含まれている文字画像がすべて切り出され，それらの文字画像の配列にしたがって，切り出された文字画像が連結される（ステップ78）。異なる段落領域に含まれている文字画像であっても，段落領域の属性が「見出し」，「本文」または「箇条書き」であれば，それらの段落領域から文字画像が切り出され，切り出された文字画像が連結される。文字画像が連結されるとリフロー表示が行われる（ステップ79）。

　図15は，リフロー表示が行われる様子を示している。

　図２に示す文書画像21の段落領域Ｆ２が選択されたものとする。また，図15の上の図に示すように，段落領域Ｆ２の横幅は，携帯電話１の表示装置３の表示画面の表示領域90の横幅よりも大きいものとする。

　段落領域Ｆ２には丸印で示す文字画像が含まれており，リフロー表示が行われることにより，それらの文字画像の配列順序が維持された状態で水平方向にスクロールしなくとも，垂直方向にスクロールするだけで段落領域Ｆ２に含まれている文字画像を見ることができるようになる。また，この実施例では，上述のように，段落領域の順序付けが行われているので，垂直方向にスクロールするだけで，選択された段落領域内の文字画像を見ることができるだけでなく，その次の段落領域内の文字画像も見ることができる。たとえば，図９に示すように，本文順序テーブルに格納されている補正済順序は，段落領域Ｆ１，Ｆ２，Ｆ４，Ｆ５の順であるから，段落領域Ｆ２が選択され，段落領域Ｆ２内に含まれている文字画像について垂直方向のスクロールだけで見ることができるようにされ，段落領域Ｆ２内に含まれているすべての文字画像について表示装置３の表示画面への表示が終わると，垂直方向にスクロールされることにより，次の段落領域Ｆ４内に含まれている文字画像が，その文字画像の配列にしたがって表示領域90内に配列されるようになる。このように「見出し」，「本文」または「箇条書き」の属性を有している段落領域に含まれている文字画像については，垂直方向にスクロールするだけで連続してみることができるようになる。

　固定レイアウトの表示指示が無ければ（ステップ80でＮＯ），そのままリフロー表示が続けられる（ステップ79）。固定レイアウトの表示指示があると（ステップ80でＹＥＳ），図13ステップ72からの処理が繰り返される。

　選択された段落領域の属性が「見出し」，「本文」または「箇条書き」でなければ（図13ステップ76でＮＯ），選択された段落領域の属性が「コラム」かどうかが確認される（図14ステップ81）。

　選択された段落領域の属性が「コラム」であると（ステップ81でＹＥＳ），上述したように，選択された段落領域の属性が「本文」等であるのと同様に，「コラム」の属性を有している段落領域に含まれている文字画像が連結されて（ステップ82），リフロー表示される（ステップ80）。「コラム」の属性を有している複数の段落領域に含まれている文字画像を，垂直方向にスクロールするだけで，続けて見ることができる。たとえば，図２に示す文書画像21に含まれている段落領域Ｆ３が選択されると，図10に示すコラム順序テーブルが参照されて，垂直方向へのスクロールが行われて，段落領域Ｆ３に含まれている文字画像の表示が終了すると，段落領域Ｆ９に含まれている文字画像が表示されるようになる。

　選択された段落領域の属性が「コラム」でなければ（ステップ81でＮＯ），その選択された段落領域に含まれている文字画像のみが垂直方向へのスクロールだけで閲覧できるように表示装置３の表示画面に表示されるように，文字画像が配列される（ステップ83）。

　上述の実施例において，ある文書画像に含まれている段落領域が選択された場合に，その選択された段落領域の属性が「見出し」，「本文」または「箇条書き」のときに，他の文書画像に含まれており，かつ属性が「見出し」，「本文」または「箇条書き」の段落領域に含まれている文字画像についても，垂直方向にスクロールするだけで連続して見ることができるようにしてもよい。ページ番号の小さい順に各段落領域の文字が表示されるようになる。たとえば，上述のように文書画像21の段落領域Ｆ２が選択されたとすると，文書画像21の段落領域Ｆ２，Ｆ４，Ｆ５およびＦ６に含まれている文字画像が垂直方向のスクロールだけで連続して見ることができるようにされ，かつその次の文書画像22の段落Ｆ12，Ｆ13，Ｆ14およびＦ18に含まれている文字画像も，図11に示す本文順序テーブルの補正済順序の欄に含まれている順序にしたがって垂直方向のスクロールだけで連続して見ることができるようになる。そのような場合には，選択された文書画像だけでなく，その後に続く文書画像を表わす文書画像ファイルもメモリ５から読み出され，上述した処理が行われることとなろう。選択された段落領域の属性が「コラム」の場合は，同一ページ内の連続するコラムだけ表示してもよいし，本文のように複数のページにわたって連続して表示してもよい。

　図16および図17は，他の実施例を示している。

　図16は，文書画像サーバ100の電気的構成を示すブロック図である。

　文書画像サーバ100の全体の動作は，ＣＰＵ21によって統括される。

　文書画像サーバ100には，インターネットにアクセスするための通信装置102，所定のデータ等を記憶するメモリ103，キーボードなどの入力装置104，ハードディスク105，ハードディスク105にアクセスするためのハードディスク・ドライブ106およびＣＤ－ＲＯＭ（コンパクトディスク-リードオンリ・メモリ）ドライブ107が含まれている。後述する動作を制御するプログラムが格納されたＣＤ－ＲＯＭ108がＣＤ－ＲＯＭドライブ107に装填され，そのプログラムが読み取られる。読み取られたプログラムが文書画像サーバ100にインストールされる。もっとも，プログラムは，ＣＤ－ＲＯＭ108のような記録媒体に格納されていずに，インターネットを介して受信してもよい。

　文書を表わすテキスト・ファイルはハードディスク105に格納されている。ハードディスク105からテキスト・ファイルが読み取られ，ＣＰＵ101によって文書画像を表わす文書画像ファイルに変換される。変換された画像ファイルもハードディスク105に格納される。

　図17は，携帯電話１と文書画像サーバ100との処理手順の一部を示すフローチャートである。

　図17に示す処理手順は，図13および図14に示す携帯電話１の処理を携帯電話１と文書画像サーバ100とに分けて行うものである。

　まず，携帯電話１から文書画像サーバ100に，携帯電話１の表示装置３の表示画面に表示する文書画像がリクエストされる（ステップ111）。携帯電話１から送信されたリクエストが文書画像サーバ100において受信されると，そのリクエストに対応した文書画像を表わす文書画像ファイルがハードディスク105から読み取られる。この後，文書画像サーバ100では，リクエストされた文書画像から段落領域が抽出される（ステップ121）。読み取られた文書画像ファイルと抽出された段落領域とが携帯電話１に送信される（ステップ122）。

　また，文書画像サーバ100では，上述したように段落領域順序付け処理が行われる（ステップ123）。

　文書画像サーバ100から送信された文書画像ファイルが携帯電話１において受信されると，受信した文書画像ファイルによって表わされる文書画像が固定レイアウト形式で携帯電話１の表示装置３の表示画面に表示される（ステップ112）。表示されている文書画像に含まれている段落領域の選択およびリフロー表示の指示のいずれも無ければ（ステップ113でＮＯ），終了指示が与えられないときには（ステップ114でＮＯ），文書画像の固定レイアウト表示が続けられる（ステップ112）。段落領域が選択され，リフロー表示が指示されると（ステップ113でＹＥＳ），選択された段落領域，順序，属性が携帯電話１から文書画像サーバ100にリクエストされる（ステップ115）。たとえば，文書画像に含まれる段落領域のうち，選択された段落領域の位置（ユーザがタッチした位置）を示すデータが段落領域のリクエストとして携帯電話１から文書画像サーバ100に送信される。

　携帯電話１から送信されたリクエストが文書画像サーバ100において受信されると，そのリクエストに応じて，本文順序テーブル，コラム順序テーブル，段落抽出処理において得られる文書画像に含まれる段落領域の位置，各段落領域に含まれる文字画像の位置などを示すデータが文書画像サーバ100から携帯電話１に送信される（ステップ124）。

　文書画像サーバ100から送信された本文順序テーブル等が携帯電話１において受信されると，受信した本文順序テーブルに格納されている段落領域の属性のデータにもとづいて，選択された段落領域の属性が「見出し」，「本文」または「箇条書き」かの判断が行われる（ステップ116）。この後の処理は，図14に示す処理と同様であるので重複説明を省略する。

　上述の実施例では，文書画像が横書きの場合について説明したが，文書画像が横書きの場合に限らず，縦書きの場合についても同様に適用できる。文書画像が縦書きの場合には，垂直方向にスクロールすることなく水平方向にスクロールすることにより，文書を読むことができるようにリフロー表示が行われることとなろう。

　また，上述の実施例では，見出し段落領域，本文段落領域および箇条書き段落領域を，連続して閲覧できるようにしているが，見出し段落領域だけ，本文段落領域だけ，箇条書きだけを，それぞれ連続して閲覧できるようにコラム順序テーブルと同様のテーブルを生成するようにしてもよい。

　さらに，上述の実施例では，コラム段落領域については，連続して閲覧するように順序付けされているが，隣接していないコラム段落領域については必ずしも連続して閲覧するように表示制御しなくともよい。たとえば，図２に示すコラム段落領域Ｆ３とＦ９とは隣接しているので，連続して閲覧されるように順序付けが成され，コラム段落領域Ｆ３につづいてコラム段落領域Ｆ５が表示される。これに対し，図３に示すコラム段落領域Ｆ15とＦ16とは隣接していないので，連続して閲覧されるように順序付けされなくともよい。たとえば，図12に示すコラム段落領域Ｆ15およびＦ16の順序はいずれも「１」が付されることとなろう。これにより，コラム段落領域Ｆ15が選択された場合に，コラム段落領域Ｆ16が連続して表示されないようになる。コラム段落領域Ｆ15とＦ16とは隣接せずに，別々のコラムなので，連続して表示されなくとも，それらのコラム段落領域Ｆ15とＦ16とを閲覧するユーザは違和感を生じないこととなる。もっとも，隣接していないコラム段落領域についても上述のように連続して閲覧されるように順序付けされてもよい。そのような場合には，上述した図12に示すコラム順序テーブルに示すようにコラム段落領域Ｆ15の順序として「１」が格納され，コラム段落領域Ｆ16の順序として「２」が格納される。

１　携帯電話
２　制御装置
３　表示装置
21，22　文書画像
100　文書画像サーバ

Claims

　文書が画像化された文書画像に含まれており，文字列が含まれている複数の段落領域について決定された順序を補正する段落領域の順序補正装置において，
　文書画像に含まれている文字列が横書きの場合には文書画像の左上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定し，文書画像に含まれる文字列が縦書きの場合には文書画像の右上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定する段落領域決定手段，
　複数の段落領域のうち，本文が記述されている本文段落領域を検出する本文段落領域検出手段，および
　上記本文段落領域検出手段において検出された本文段落領域の順序を，上記段落順序決定手段において決定された順序に応じて昇順となるように補正する本文段落順序補正手段，
　を備えた段落領域の順序補正装置。
　文書画像が複数ページ分あり，
　各ページの文書画像ごとに上記段落順序決定手段による複数の段落領域の順序を決定する処理，上記本文段落領域検出手段による本文段落領域検出処理および上記本文段落順序補正手段による本文段落順序の補正処理を行わせる第１の文書画像制御手段，ならびに
　上記本文段落検出手段によって検出された本文段落領域を，上記本文段落順序補正手段によって補正された順序で，ページ番号の小さい順に各段落領域の文字を表示するように表示装置を制御する第１の表示制御手段，
　をさらに備えた請求項１に記載の段落領域の順序補正装置。
　上記本文段落領域検出手段によって検出された１ページの文書画像内の本文段落のすべてを囲む矩形領域を本文領域と決定する本文領域決定手段，ならびに
　上記本文領域決定手段によって決定された本文領域内にある段落領域のうち，段落領域の面積，文字数および行数が一定値未満であり，かつ上記本文段落領域検出手段によって検出された本文段落領域の文字画像サイズ，文字色，背景色または文字のフォントの少なくとも１つが異なる段落領域を見出し段落領域と判定し，段落領域に含まれる行数が２行以上であり，あらかじめ定められている特定文字から始まる段落領域を箇条書き段落領域と判定し，上記段落順序決定手段において決定された順序の前の順序の段落領域の文字画像サイズ，文字色，背景色またはフォントの少なくとも１つ異なる段落領域をコラム段落領域と判定する第１の補足段落領域判定手段，
　をさらに備えた請求項１または２に記載の段落領域の順序補正装置。
　上記本文段落順序補正手段は，
　上記本文段落領域検出手段によって検出された本文段落領域ならびに上記第１の補足段落領域判定手段によって判定された見出し段落領域および箇条書き段落領域をすべて本文段落領域として見なして，上記本文段落領域検出手段によって検出された本文段落領域ならびに上記第１の補足段落領域判定手段によって判定された見出し段落領域および箇条書き段落領域の順序を，上記段落順序決定手段において決定された順序に応じて昇順となるように補正するものである，
　請求項１から３のうち，いずれか一項に記載の段落領域の順序補正装置。
　上記第１の補足段落領域判定手段によって，見出し段落領域と判定されたことに応じて見出し段落領域の順序を決定し，箇条書き段落領域と判定されたことに応じて箇条書き段落の順序を決定し，コラム段落領域と判定されたことに応じてコラム段落領域の順序を決定する補足段落順序決定手段，
　をさらに備えた請求項３または４に記載の段落領域の順序補正装置。
　文書画像が複数ページ分あり，
　各ページの文書画像ごとに上記第１の補足段落判定手段による判定処理，および上記補足段落順序決定手段による段落領域の順序を決定する処理を行わせる第２の文書画像制御手段，ならびに
　上記第１の補足段落領域判定手段によって判定された見出し段落領域，箇条書き段落領域またはコラム段落領域のそれぞれを，上記補足段落順序決定手段によって決定された順序で，ページ数の少ない文書画像に含まれている順に表示するように表示装置を制御する第２の表示制御手段，
　をさらに備えた請求項５に記載の段落領域の順序補正装置。
　上記本文段落領域検出手段によって検出された１ページの文書画像内の本文段落のすべてを囲む矩形領域を本文領域と決定する本文領域決定手段，ならびに
　上記本文領域決定手段によって決定された本文領域外にある段落領域のうち，段落領域の面積，文字数および行数が一定値未満であり，上記本文段落領域検出手段によって検出された本文段落領域の文字画像サイズ，文字色，背景色または文字のフォントの少なくとも１つが異なる段落領域をロゴ段落領域と判定し，あらかじめ定められている特定文字から始まる段落領域を脚注領域と判定する第２の補足段落領域判定手段，
　をさらに備えた請求項１から６のうち，いずれか一項に記載の段落領域の順序補正装置。
　上記第２の補足段落領域判定手段によってロゴ段落領域と判定された段落領域に数字のみが含まれていることに応じて，その数字がページ番号と判定するページ番号判定手段，
　をさらに備えた請求項７に記載の段落領域の順序補正装置。
　上記第１の補足段落領域判定手段においてコラム段落領域と判定された段落領域が，あらかじめ定められている特定の文字または単語から始まることにより図表説明段落領域と判定する図表説明段落領域判定手段，
　をさらに備えた請求項３から８のうち，いずれか一項に記載の段落領域の順序補正装置。
　上記補足段落順序決定手段は，
　上記第１の補足段落順序決定手段においてコラム段落領域と判定されたことに応じて，隣接している２つのコラム段落領域であって，文字画像サイズ，文字色，背景色およびフォントが同じである２つのコラム段落領域を連続した順序とするものである，
　請求項５から９のうち，いずれか一項に記載の段落領域の順序補正装置。
　固定レイアウト表示またはリフロー表示を指定する表示指定手段，および
　上記表示指定手段によって固定レイアウト表示が指定されたことに応じて文書画像全体が表示画面に表示されるように表示装置を制御し，上記表示指定手段によってリフロー表示が指定されたことに応じて，指定された段落領域内の画像が表示領域に表示されるように表示装置を制御する第３の表示制御手段，
　をさらに備えた請求項１から10のうち，いずれか一項に記載の段落領域の順序補正装置。
　文書が画像化された文書画像に含まれており，文字列が含まれている複数の段落領域について決定された順序を補正する段落領域の順序補正装置の動作制御方法において，
　段落領域決定手段が，文書画像に含まれている文字列が横書きの場合には文書画像の左上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定し，文書画像に含まれる文字列が縦書きの場合には文書画像の右上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定し，
　本文段落領域検出手段が，複数の段落領域のうち，本文が記述されている本文段落領域を検出し，
　本文段落順序補正手段が，上記本文段落領域検出手段において検出された本文段落領域の順序を，上記段落順序決定手段において決定された順序に応じて昇順となるように補正する，
　段落領域の順序補正装置の動作制御方法。
　文書が画像化された文書画像に含まれており，文字列が含まれている複数の段落領域について決定された順序を補正する段落領域の順序補正装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
　文書画像に含まれている文字列が横書きの場合には文書画像の左上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定させ，文書画像に含まれる文字列が縦書きの場合には文書画像の右上の頂点から段落領域までの距離にもとづいて複数の段落領域の順序を決定させ，
　複数の段落領域のうち，本文が記述されている本文段落領域を検出させ，
　検出された本文段落領域の順序を，決定された順序に応じて昇順となるように補正するように段落領域の順序補正装置のコンピュータを制御するプログラム。