WO2014050480A1

WO2014050480A1 - 文書画像処理装置ならびにその動作制御方法およびその動作制御プログラム

Info

Publication number: WO2014050480A1
Application number: PCT/JP2013/073885
Authority: WO
Inventors: 浩教矢野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2012-09-26
Filing date: 2013-09-05
Publication date: 2014-04-03
Anticipated expiration: 2015-03-26

Description

文書画像処理装置ならびにその動作制御方法およびその動作制御プログラム

　この発明は，文書画像処理装置ならびにその動作制御方法およびその動作制御プログラムに関する。

　文書画像や固定型レイアウトの文書ファイルを携帯端末で閲覧した場合，文書内の段落のサイズが携帯端末の表示画面サイズよりも大きいため，継続した閲覧には段落領域のスクロールを必要とする。このため携帯端末における文書閲覧では閲覧行為と端末操作行為とを交互に意識する必要があり，閲覧行為のみを継続することで得られる快適な文書閲覧ができなくなる。このような問題を解決するために「携帯端末向け文書画像レイアウト再構成技術「GT-Layout」の開発」（非特許文献１）が知られている。このGT-Layoutは，文書画像と文字位置情報とから，表示画面にあわせて文字位置を並べ替え，表示画面サイズに合った文書画像を構成することで一方向のスクロールにより文書の閲覧を可能にするものである。

　文字画像の表示順番が決定され，その順番にしたがって文字画像が表示画面に表示される。文書画像ではない，テキスト・データによって表わされる通常の文章を画面に表示する場合，文章内の約物が行の先頭に来ないように，文字間のバランスを調整する禁則処理を行う必要がある。

　また，句読点が後にくる場合には改行を認めないもの（特許文献１），句点については禁則処理により行頭に位置させることはできないとするもの（特許文献２），文字画像に禁則処理コードを付与するもの（特許文献３），文書画像についてのものではないが，禁則文字の場合，一文字前の文字に合成するもの（特許文献４）などもある。

http://www.fujifilm.co.jp/rd/report/rd057/pack/pdf/ff_rd057_009.pdf http://ja.wikipedia.org/wiki/%E7%B4%84%E7%89%A9 特開平5-266168号公報特開2004-280418号公報特開2005-267129号公報特開平6-236372号公報

　しかしながら，禁則処理を行う場合であっても，文書画像の場合は文字が画像として表わされていることから，テキスト・データで表わされる文書の場合と同様の禁則処理を行うことはできない。たとえば，特許文献４では，禁則文字の場合，一文字前の文字領域の一部を切り取り，その切り取った部分に禁則文字を合成しているが，文字画像の一部が切
り取られてしまうと，文字を表わす画像部分も切り取られてしまう可能性がある。

　この発明は，文書画像において禁則処理ができるようにすることを目的とする。

　この発明による文書画像処理装置は，文書が画像化された文書画像から，画像に含まれる文字を表わす文字画像を切り出す文字画像切り出し手段，画像切り出し手段において切り出された文字画像によって表わされる文字に行頭禁則文字または行末禁則文字が含まれているかどうかを判定する禁則文字判定手段，および禁則文字判定手段によって行頭禁則文字を表わす行頭禁則文字画像が含まれていると判定されたことに応じて行頭禁則文字画像を行頭禁則文字画像の直前の文字画像に結合して結合文字画像を生成し，禁則文字判定手段によって行末禁則文字を表わす行末禁則文字画像が含まれていると判定されたことに応じて行末禁則文字画像を行末禁則文字画像の直後の文字画像に結合して結合文字画像を生成する結合文字画像生成手段を備えていることを特徴とする。

　この発明は，文書画像処理装置に適した動作制御方法も提供している。すなわち，この方法は，文字画像切り出し手段が，文書が画像化された文書画像から，画像に含まれる文字を表わす文字画像を切り出し，禁則文字判定手段が，画像切り出し手段において切り出された文字画像によって表わされる文字に行頭禁則文字または行末禁則文字が含まれているかどうかを判定し，結合文字画像生成手段が，禁則文字判定手段によって行頭禁則文字を表わす行頭禁則文字画像が含まれていると判定されたことに応じて行頭禁則文字画像を行頭禁則文字画像の直前の文字画像に結合して結合文字画像を生成し，禁則文字判定手段によって行末禁則文字を表わす行末禁則文字画像が含まれていると判定されたことに応じて行末禁則文字画像を行末禁則文字画像の直後の文字画像に結合して結合文字画像を生成するものである。

　この発明によると，文書画像から文字画像が切り出され，切り出された文字画像によって表わされる文字に行頭禁則文字（行または列の先頭に現れる文字として適さない文字）または行末禁則文字（行または列の最後に現れる文字として適さない文字）が含まれているかどうかが判定される。行頭禁則文字が含まれている場合には，行頭禁則文字画像が，その直前の文字画像に結合され，結合文字画像が生成される。行末禁則文字画像が含まれている場合には，行末禁則文字画像が，その直後の文字画像に結合され，結合文字画像が生成される。行頭禁則文字画像または行末禁則文字画像単独では存在しないので，行頭または行末が行頭禁則文字画像または行末禁則文字画像となってしまうことを未然に防止できる。

　文字画像切り出し手段において切り出された文字画像および結合文字画像生成手段によって生成された結合文字画像を文書画像における文字配列にしたがって表示画面の表示領域に位置決めする位置決め手段，行または列の最後の文字画像が結合文字画像であって，結合文字画像が表示領域に収まらないかどうかを判定する収納判定手段，ならびに収納判定手段によって結合文字画像が表示領域に収まらないと判定されたことに応じて，その結合文字画像が含まれる行または列のすべての文字画像を縮小する縮小手段をさらに備えるようにしてもよい。

　縮小手段は，たとえば，所定の縮小率で，その結合文字画像が含まれる行または列の文字画像を縮小することにより結合文字画像の表示領域に収まらないかどうかを判定する縮小判定手段を備えてもよい。縮小判定手段により結合文字画像が表示領域に収まると判定されたことに応じて，その結合文字画像が含まれる行または列のすべての文字画像が縮小される。この場合，位置決め手段は，縮小判定手段により結合文字画像が表示領域に収まらないと判定されたことに応じて結合文字画像が最後に位置決めされていた行または列の次の行または列の先頭の位置に結合文字画像を位置決めすることが好ましい。

文書画像処理装置の電気的構成を示すブロック図である。文書画像の一例である。文書画像処理装置の処理手順を示すフローチャートである。文書画像の一例である。結合文字画像が生成される様子を示している。文字情報テーブルの一例である。文字情報テーブルの一例である。表示領域に位置決めされた文字画像の一例である。文書画像の一例である。結合文字画像が生成される様子を示している。文字画像位置決め処理手順を示すフローチャートである。表示領域に位置決めされた文字画像の一例である。表示領域に位置決めされた文字画像の一例である。

　図１は，この発明の実施例を示すもので，文書画像（画像化された文書を文書画像ということにする）を，所望の表示領域に表示できるように整形する文書画像処理装置１の電気的構成を示すブロック図である。

　文書画像処理装置１の全体の動作は，制御装置２によって統括される。

　文書画像処理装置１には，種々の指令を入力するキーボードなどの入力装置３，他のクライアント端末装置，携帯電話などと通信するための通信装置４，文書画像等を表示する表示装置５，所定のデータを記憶するメモリ６などが設けられている。また，文書画像処理装置１には，ＣＤ（コンパクト・ディスク）ドライバ７が設けられている。後述する動作を制御するプログラムが格納されているコンパクト・ディスク８がＣＤドライバ７に装填され，コンパクト・ディスク８に格納されているプログラムがＣＤドライバ７によって読み取られると，そのプログラムが文書画像処理装置１にインストールされる。もっとも，通信装置４を利用してプログラムを受信し，受信したプログラムが文書画像処理装置１にインストールされるようにしてもよい。

　さらに，文書画像処理装置１には，文字領域取得装置11，禁則文字抽出装置12，領域合成装置13および整形画像作成装置14が含まれている。文字領域取得装置11は，文書画像から文字画像の領域を検出して抽出するものである。文字画像の抽出は，ＯＣＲ（Optical Character Reader）の機能を利用できる。文書画像における文字画像の座標位置，文字画像によって表わされる文字の種類，文字の並び順，文字が横書きか，縦書きかどうかも検出される。禁則文字抽出装置12は，文字画像によって表わされる文字が禁則文字の場合に，その文字画像を抽出するものである。文字領域取得装置11における文字の種類の検出は必ずしも精度が高くないので，ある文字画像の直前の文字画像および直後の文字画像のそれぞれの座標との相対的位置を参照して禁則文字を抽出することができる。たとえば，ダブル・クォーテーションと呼ばれる引用符は，その引用符の直前の文字画像によって表わされる文字の上部の10パーセント程度で正方形の形をした画像かどうかによって判定できる。もちろん，パターン・マッチングを利用して禁則文字を表わしている文字画像を抽出することもできる。領域合成装置13は，禁則文字を表わす文字画像を，その直前または直後の文字画像に結合して結合文字画像を生成するものである。禁則文字画像が行末禁則文字を表わしている場合には直後の文字画像と結合され，禁則文字画像が行頭禁則文字を表わしている場合には直前の文字画像と結合される。整形画像作成装置14は，所望の表示領域をもつ表示画面に表示できるように，文字領域取得装置11において得られた文字画像および領域合成装置13において得られた結合文字画像の位置決めをするものである。これらの処理について詳しくは，後述する。

　図２は，画像化された文書画像20の一例である。

　文書画像20には，画像によって表わされている文字（INVENTION!）が含まれている。これらの文字は，テキスト・データによって表わされているものではなく，画像によって表わされているものである。この実施例では，この文書画像20が整形される。

　図３は，文書画像処理装置１の処理手順を示すフローチャートである。

　メモリ６には，文書画像20を表わす文書画像データが格納されているものとする。図２に示したように，文書画像20から，文字画像の抽出等の処理が行われる（ステップ31）。

　図４は，文書画像20から，文字画像21－30が抽出された様子を示している。文字画像21－30の抽出は，上述のようにＯＣＲの機能が利用される。抽出された文字画像21－30は，矩形で囲まれている。文書画像20の左上の頂点を原点（X0，Y0）としたときに，これらの矩形の左上の座標が，文字画像21－30の座標位置となる。たとえば，文字画像21，22および23のそれぞれの位置は，座標（x1，y1），（x2，y2）および（x3，y3）で表わされる。同様に，文字画像30の位置は，座標（x10，y10）で表わされる。また，文字画像21－30の幅および高さも検出される。検出された文字画像21－30の座標等は，文字情報テーブルに格納される。

　図６は，文字情報テーブルの一例である。

　図６に示す文字情報テーブルは，文書画像20についてのものである。

　文字情報テーブルには，検出された文字画像を識別するためのＩＤごとに，文字画像のＸ座標，Ｙ座標，幅，高さおよび文字画像によって表わされている文字の種類が格納されている。文字情報テーブルに格納されているＩＤ１からＩＤ10は，文字画像21から30にそれぞれ対応している。たとえば，文字画像21のＩＤは，ＩＤ１であり，Ｘ座標はｘ１，Ｙ座標はｙ１，幅は0.5ｗ，高さはｈ，文字の種類は「Ｉ」である。また，文字画像30のＩＤは，ＩＤ10であり，Ｘ座標はｘ10，Ｙ座標はｙ10，幅は0.5ｗ，高さはｈ，文字の種類は「！」である。

　図３に戻って，抽出した文字画像から行頭禁則文字または行末禁則文字を表す文字画像が検出されたかどうかが確認される（ステップ32）。行頭禁則文字または行末禁則文字はあらかじめ決められている。たとえば，感嘆符，疑問符，カンマ，ピリオド，終わりの括弧などが行頭禁則文字であり，始まりの括弧などが行末禁則文字である。

　行頭禁則文字を表す行頭禁則文字画像が検出された場合には，その行頭禁則文字画像の直前の文字画像と，その行頭禁則文字画像とが付けられて，結合文字画像が生成される（ステップ33）。

　図５は，結合文字画像が生成される様子を示している。

　図４に示す文書画像20において検出された文字画像30は疑問符を表しており，行頭禁則文字画像30である。このために，行頭禁則文字画像30の直前の文字画像29と行頭禁則文字画像30とが付けられて一つの結合文字画像30Ａが生成される。結合文字画像30Ａが生成されると，上述した文字情報テーブルも修正される。

　図７は，修正後の文字情報テーブルの一例である。

　上述のように生成された結合文字画像30ＡのＩＤは，結合前の文字画像29のＩＤであるＩＤ９が用いられている。結合文字画像30Ａは，文字画像29と30とが付けられたものであるから，幅がｗから1.5ｗに変更され，文字の種類が「Ｎ」から「Ｎ！」に変更されている。Ｘ座標，Ｙ座標および高さについては変更されていない。

　図３に戻って，行末禁則文字を表す行末禁則文字画像が検出された場合には，その行末禁則文字画像の直後の文字画像と，その行末禁則文字画像とが結合されて，結合文字画像が生成される（ステップ34）。行末禁則文字画像の結合処理については後述する（図９，図10参照）。

　行頭禁則文字画像および行末禁則文字画像のいずれも検出されない場合にはステップ33または34の処理はスキップされる。

　行頭禁則文字画像または行末禁則文字画像が検出され，結合文字画像が生成される，あるいは行頭禁則文字画像および行末禁則文字画像のいずれも検出されないと，検出された文字画像等が，表示しようとする表示画面の表示領域に位置決めされる（ステップ35）。これにより整形画像の作成処理が行われることとなる。

　図８は，所望の表示画面に対応する表示領域50に文字画像が位置決めされた様子を示している。

　表示領域50の横幅は，文書画像20の横幅よりも狭い。このために，文書画像20では１行に文字画像21から30（30Ａ）のすべてが表示されているが，表示領域50の１行にはそれらの文字画像21から30（30Ａ）のすべてを表示することはできない。

　表示領域50の第１行目には文字画像21から25が位置決めされ，表示領域50の第２行目には文字画像26から30Ａが位置決めされている。文字画像21から30Ａの位置決めは，図７に示す文字情報テーブルを利用して，文書画像２の文字配列どおりに表示領域50に収まるように行われるのはいうまでもない。たとえば，図８に示す例では，文字画像21から26までを第１行に収めようとすると，文字画像26が表示領域50からはみ出してしまうので，その文字画像26は第２行目の先頭に位置決めされている。

　このようにして表示領域50内に位置決めされた文字画像が表示装置５の表示画面６に表示されることとなる。

　図９は，文書画像40の他の例を示している。

　文書画像40には，文字画像41から49が含まれている。文字画像41から46および48は禁則文字画像ではないが，文字画像47は括弧の始まりを示す行末禁則文字画像47であり，文字画像49は括弧の終わりを示す行頭禁則文字画像49である。

　図10は，行末禁則文字画像47および行頭禁則文字画像49から結合文字画像が生成される様子を示している。

　上述したように，行末禁則文字画像47の場合には，その直後にある文字画像48と結合される。また行頭禁則文字画像49の場合には，その直前にある文字画像48と結合される。これにより，結合文字画像49Ａが得られる。

　図11から図13は，他の実施例を示している。

　この実施例は，上述のように行頭禁則文字画像と文字画像とが結合されて結合文字画像が生成された場合に，その結合文字画像が行の最後に位置決めされることにより表示領域内に収まらなくなるときに，収まるように行のすべての文字画像を縮小するものである。

　図11は，文字画像位置決め処理手順を示すフローチャートである。図３のステップ35の処理手順を示している。図12および図13は，表示領域50に文字画像61から67，71から77，81から86および結合文字画像87が位置決めされている様子を示している。

　まず，番号パラメータｎおよび行パラメータｍがそれぞれ１にリセットされる（ステップ41）。上述のようにして抽出された文字画像のうち第ｎ番目の文字画像が読み取られると（ステップ42，ステップ43でＮＯ），その第ｎ番目の文字画像が第ｍ行の表示領域に位置決めされる（ステップ44）。たとえば，最初の文字画像であれば，その文字画像が第１行目の最初の位置に位置決めされ，図12に示すように文字画像61が位置決めされる。第ｎ番目の文字画像が表示領域50に収まれば（ステップ45でＮＯ），番号パラメータｎがインクレメントされ（ステップ46），再びステップ42および44の処理が繰り返される。これにより第ｍ行に文書画像の文字配列にしたがって文字画像が順次位置決めされていく。

　第ｎ番目の文字画像が表示領域に収まらなくなると（ステップ45でＹＥＳ），その第ｎ番目の文字画像が結合文字画像かどうかが判定される（ステップ47）。結合文字画像でなければ（ステップ47でＮＯ），行パラメータｍがインクレメントされ（ステップ49），第ｎ番目の文字画像が第ｍ行の表示領域50に位置決めされる（ステップ44）。たとえば，図12に示すように，第１行に文字画像61から67が位置決めされ，次に読み取られた文字画像71が第１行に位置決めしようとすると表示領域50内に入らない。文字画像71は結合文字画像ではないので，第２行目の最初に位置決めされることとなる。

　表示領域50に収まらなくなった第ｎ番目の文字画像が結合文字画像であると（ステップ47でＹＥＳ），収まらなくなった第ｍ行のすべての文字画像を所定の縮小率（たとえば，90パーセントの縮小率）で縮小した場合に表示領域50に収まるかどうかが確認される（ステップ48）。収まらなければ（ステップ48でＮＯ），行パラメータｍがインクレメントされ（ステップ49），結合文字画像は次の行の先頭に位置決めされる（ステップ44）。収まると（ステップ48でＹＥＳ），結合文字画像を含めて第ｍ行のすべての文字画像が縮小される（ステップ50）。たとえば，図12の第３行に示すように，第３行の最後に結合文字画像87が位置決めされ，その結合文字画像87が表示領域50からはみ出しており，第３行の文字画像81から86および結合文字画像87のすべてが所定の縮小率で縮小させられることにより，表示領域50内に収まると判断されると，図13の第３行に示すように，第３行の文字画像81から86および結合文字画像87が縮小させられる。第３行の文字画像81から86および結合文字画像87が表示領域50内に収まることとなる。第３行の文字画像81から86および結合文字画像87のすべてが所定の縮小率で縮小させられても，表示領域50内に収まらない場合には，結合文字画像87は第４行目の最初に位置決めされる。

　上述の実施例では，文書画像処理装置１において，文書画像から文字画像を抽出する処理，抽出した文字画像が禁則文字かどうかを判定する処理，結合文字画像を生成する処理，整形画像の作成処理および表示装置５への表示処理が行われているが，作成された整形画像を表わすデータを文書画像処理装置１から，携帯電話などの他の端末装置に送信し，その端末装置において表示処理が行われるようにしてもよい。また，整形画像の作成処理も他の端末装置において行われるようにしてもよい。さらに，文書画像処理装置１における処理は，専用装置でなく，サーバを利用したソフトウエアによって実行するようにしてもよいし，スマートフォンのような携帯電話において実行するようにしてもよい。

　さらに，上述の実施例では，横書きの文書画像について説明したが，横書きでなく，縦書きの文書画像についても同様に実施できる。縦書きの場合，行の変わりに列と読み替えればよいこととなろう。

１　文書画像処理装置
２　制御装置
11　文字領域取得装置
12　禁則文字抽出装置
13　領域合成装置
14　整形画像作成装置
20，40　文書画像

Claims

　文書が画像化された文書画像から，画像に含まれる文字を表わす文字画像を切り出す文字画像切り出し手段，
　上記画像切り出し手段において切り出された文字画像によって表わされる文字に行頭禁則文字または行末禁則文字が含まれているかどうかを判定する禁則文字判定手段，および
　上記禁則文字判定手段によって行頭禁則文字を表わす行頭禁則文字画像が含まれていると判定されたことに応じて行頭禁則文字画像を行頭禁則文字画像の直前の文字画像に結合して結合文字画像を生成し，上記禁則文字判定手段によって行末禁則文字を表わす行末禁則文字画像が含まれていると判定されたことに応じて行末禁則文字画像を行末禁則文字画像の直後の文字画像に結合して結合文字画像を生成する結合文字画像生成手段，
　を備えた文書画像処理装置。
　上記文字画像切り出し手段において切り出された文字画像および上記結合文字画像生成手段によって生成された結合文字画像を文書画像における文字配列にしたがって表示画面の表示領域に位置決めする位置決め手段，
　行または列の最後の文字画像が結合文字画像であって，結合文字画像が表示領域に収まらないかどうかを判定する収納判定手段，ならびに
　上記収納判定手段によって結合文字画像が表示領域に収まらないと判定されたことに応じて，その結合文字画像が含まれる行または列のすべての文字画像を縮小する縮小手段，
　を備えた請求項１に記載の文書画像処理装置。
　上記縮小手段は，
　所定の縮小率で，その結合文字画像が含まれる行または列の文字画像を縮小することにより結合文字画像の表示領域に収まらないかどうかを判定する縮小判定手段を備え，
　上記縮小判定手段により結合文字画像が表示領域に収まると判定されたことに応じて，その結合文字画像が含まれる行または列のすべての文字画像を縮小するものであり，
　上記位置決め手段は，
　上記縮小判定手段により結合文字画像が表示領域に収まらないと判定されたことに応じて結合文字画像が最後に位置決めされていた行または列の次の行または列の先頭の位置に結合文字画像を位置決めするものである，
　請求項１または２に記載の文書画像処理装置。
　文字画像切り出し手段が，文書が画像化された文書画像から，画像に含まれる文字を表わす文字画像を切り出し，
　禁則文字判定手段が，上記画像切り出し手段において切り出された文字画像によって表わされる文字に行頭禁則文字または行末禁則文字が含まれているかどうかを判定し，
　結合文字画像生成手段が，上記禁則文字判定手段によって行頭禁則文字を表わす行頭禁則文字画像が含まれていると判定されたことに応じて行頭禁則文字画像を行頭禁則文字画像の直前の文字画像に結合して結合文字画像を生成し，上記禁則文字判定手段によって行末禁則文字を表わす行末禁則文字画像が含まれていると判定されたことに応じて行末禁則文字画像を行末禁則文字画像の直後の文字画像に結合して結合文字画像を生成する，
　文書画像処理装置の動作制御方法。
　文書画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
　文書が画像化された文書画像から，画像に含まれる文字を表わす文字画像を切り出させ，
　切り出された文字画像によって表わされる文字に行頭禁則文字または行末禁則文字が含まれているかどうかを判定させ，
　行頭禁則文字を表わす行頭禁則文字画像が含まれていると判定されたことに応じて行頭禁則文字画像を行頭禁則文字画像の直前の文字画像に結合して結合文字画像を生成させ，
　行末禁則文字を表わす行末禁則文字画像が含まれていると判定されたことに応じて行末禁則文字画像を行末禁則文字画像の直後の文字画像に結合して結合文字画像を生成させるように文書画像処理装置のコンピュータを制御するプログラム。