JP4847378B2 - 画像処理装置、画像処理方法、プログラム及びコンピュータ読取可能な記録媒体 - Google Patents

Description

本発明は、文書方向を認識する画像処理装置、画像処理方法、プログラム及びコンピュータ読取可能な記録媒体に関する。

製本原稿を複写したり、スキャナで読み取ったりするとき書籍の綴じ部は焦点面から離れ、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像の綴じ部は読みにくく、ＯＣＲにより文字認識処理を行うとき認識率が著しく低下する。特に厚手製本ではその割合が高く、書籍の綴じ部を焦点面から離れないように加圧作業をすると製本の破損にもつながる。これを防止する技術、これに関連する技術を次に開示する。

特許文献１は、画像情報ページ領域内の文頭領域文字方向を認識し、認識された文字方向データから画像情報の画像方向を認識する画像方向認識方法および画像方向認識装置が提案されている。

引用文献２は、ＯＣＲ、パンチ穴、端部空白などの少なくとも一つ以上で判別する複合方式である縦横方向データを利用した画像方向性判定方法および装置が提案されている。

引用文献３は、原稿としてブック原稿を読み取る場合に、読み取りスキャン画像を二値化して文字行を抽出し、これらの文字行の形状の変化に基づいてブック原稿の３次元形状（コンタクトガラスからの浮き上がり量）を推定し、このコンタクトガラスからの浮き上がり量に基づいてスキャン画像の歪みを補正することで、ブック原稿のページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる技術が提案されている。

引用文献４は、読み取りスキャン画像を二値化した二値化画像から文字の外接矩形を抽出し、抽出された文字外接矩形の形状の変化とスキャン画像の地肌濃度の変化とを利用してスキャン画像の歪み量を推定し、推定された歪み量に基づき、スキャン画像もしくは二値化画像に対して拡大処理を施し、ブック原稿のページ綴じ部とスキャンの主走査方向とが垂直な場合であっても、文字外接矩形の形状には変化が現われることから、ブック原稿のスキャン画像の補正が可能となる技術が提案されている。

引用文献５は、読み取りスキャン画像から文字の外接矩形を抽出し、抽出された文字外接矩形の形状の変化を利用して原稿画像の歪み量を推定し、推定された歪み量に基づき、スキャン画像に対して拡大処理を施すことで、ブック原稿のページ綴じ部とスキャンの主走査方向とが垂直な場合であっても、文字外接矩形の形状には変化が現われ、ブック原稿のスキャン画像の補正が可能となる技術が提案されている。
特開平０５−２２５３８２号公報 特許第３３４３３６７号公報 特開２００２−３５８５１４号公報 特開２００２−２４７３４８号公報 特開２００２−１８５７７９号公報

しかし、基本的に、従来の方式では、ＯＣＲ（文字認識）が前提となっているため、本発明で対象とするような歪みのある画像に対しては、文字認識精度は期待出来ず、精度高
く判別することは難しい。また、複合方式においても、そのような情報が書籍原稿に存在することは期待できないため、判別は出来ない。

そこで本発明は、スキャナにより入力した二値、多値（カラー、グレースケール）の書籍画像の歪み補正、綴じ部の黒い影を容易に補正する方法と同時に、文書方向の判別を行う画像処理装置、画像処理方法、プログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。

上記目的を達成するため、本発明は、第１の態様として、主走査方向に対してページ綴じ部が略平行、または、略垂直となるように、読み取り面の上または下に接触した原稿画像を読み取る読取手段と、前記読取手段で読み取られた読み取り画像の歪み形状を認識するとともに、外接矩形の位置情報を抽出する歪み形状認識手段と、読み取り画像の中の文字の外接矩形の情報を基に前記読み取り画像を主走査方向と、副走査方向とに伸張して前記読み取り画像の歪みを補正する歪み補正手段と、前記歪み形状認識手段により抽出された前記外接矩形の位置情報を基に前記外接矩形が揃っている方が行頭となるよう、前記読み取り画像の文書方向を判別する判別手段とを有し、前記歪み補正手段は、読み取りのパラメータが未知の場合には副走査方向の伸張を行わないことを特徴とする画像処理装置を提供する。

上記目的を達成するため、本発明は、第２の態様として、主走査方向に対してページ綴じ部が略平行、または、略垂直となるように、読み取り面の上または下に接触した原稿画像を読み取る読取工程と、前記読取工程で読み取られた読み取り画像の歪み形状を認識するとともに、外接矩形の位置情報を抽出する歪み形状認識工程と、読み取り画像の中の文字の外接矩形の情報を基に前記読み取り画像を主走査方向と、副走査方向とに伸張して前記読み取り画像の歪みを補正する歪み補正工程と、前記歪み形状認識工程により抽出された前記外接矩形の位置情報を基に前記外接矩形が揃っている方が行頭となるよう、前記読み取り画像の文書方向を判別する判別工程とを含み、前記歪み補正工程では、読み取りのパラメータが未知の場合には副走査方向の伸張を行わないことを特徴とする画像処理方法を提供する。

上記目的を達成するため、本発明は、第３の態様として、主走査方向に対してページ綴じ部が略平行、または、略垂直となるように、読み取り面の上または下に接触した原稿画像を読み取る読取処理と、前記読取処理で読み取られた読み取り画像の歪み形状を認識するとともに、外接矩形の位置情報を抽出する歪み形状認識処理と、読み取り画像の中の文字の外接矩形の情報を基に前記読み取り画像を主走査方向と、副走査方向とに伸張して前記読み取り画像の歪みを補正する歪み補正処理と、前記歪み形状認識処理により抽出された前記外接矩形の位置情報を基に前記外接矩形が揃っている方が行頭となるよう、前記読み取り画像の文書方向を判別する判別処理とをコンピュータに実行させ、前記歪み補正処理では、読み取りのパラメータが未知の場合には副走査方向の伸張を行わないことを特徴とするプログラムを提供する。
また、本発明は、第４の態様として、上記プログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体を提供する。

本発明によれば、歪み補正のための歪み形状の認識において、文書方向判別に必要な情報が簡単に求められ、歪んでいる画像の場合でも、高精度、かつ、高速に文書方向を判別する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することが可能となる。

本発明を実施するための好適な実施の形態について説明する。本実施形態は、これに限定されることなく、趣旨を逸脱しない範囲で適用可能とする。

本実施形態の画像処理装置について図１、図２を用いて説明する。図１は、本実施形態の画像処理装置の構成を示すブロック図である。図２は、本実施形態の画像処理装置の画像処理を示すフローチャートである。

図１に示すように、本実施形態の画像処理装置１は、原稿画像を読み取るスキャナ等の画像機器２と、各部を集中的に制御する中央演算処理装置（ＣＰＵ）３と、プログラム格納ＲＯＭまたはＲＡＭ４と、ディスプレイ５と、メモリ６と、作業エリアとして機能するワークエリアＲＡＭ７と、ＣＤ−ＲＯＭ、ＦＤドライバ等８とを有する。上述した画像処理装置１の処理動作を次に示す。

図２に示すように、本実施形態の画像処理装置１の処理動作の一例として、まず初めに
、綴じ部位置検出を行う（ステップＳ１０１）。次に、スキュー補正を行う（ステップＳ１０２）。その後、地肌補正を行う（ステップＳ１０３）。その後、歪み補正の形状認識を行う（ステップＳ１０４）。その後、主走査方向、副操作方向、それぞれ、形状補正を行う（ステップＳ１０５）。最後に、文字ボケ補正を行う（ステップＳ１０６）。

上述した画像処置装置１について図３、図４を用いて詳細に説明する。図３は、本実施形態の画像処理装置における横書き原稿の主走査方向の補正を示す図である。図４は、本実施形態の画像処理装置における縦書き原稿の主走査方向の補正を示す図である。

（実施形態１）
本実施形態で提案する画像処理装置は、スキャナ等で読み取られたスキャン画像の歪み形状を認識し、形状補正、輝度補正、文字ボケ補正を行って出力する。入力画像は二値画像、多値画像のいずれも可とする。さらに、製本原稿の綴じ部がスキャンの主走査方向と（ほぼ）平行な場合と垂直な場合を対象とする。入力画像領域から指定した書籍領域を切り出して、以下の処理を行う。

形状補正には、主走査方向の補正と副走査方向の補正がある。
主走査方向については、画像中のページ外形、罫線、文字行を抽出し、それらの関係が互いに平行になるように画像を伸張する。図３に横書き原稿の場合、図４に縦書き原稿の場合をそれぞれ示す。なお、ページ外形のごく近傍（約２ｍｍ以内）に文字や画像があった場合、ページ外形の認識が不安定になるので、予めページ外形を不使用とし、罫線や文字行のみを用いて補正することもできる。また、元画像が二値画像の場合は常にページ外形は利用しない。

次に、本実施形態の画像処理装置１の画像処理における文書方向判別について図５を用いて説明する。図５は、本実施形態の画像処理装置における文書方向判別を示す図である。（ａ）は、横書き原稿の文書方向判別を示す図である。（ｂ）は、縦書き原稿の文書方向判別を示す図である。

文書方向の判別については、横書きの場合は、図５（ａ）に示すように、スキャン画像の長手方向の両端に存在する外接矩形の位置情報を基に文書方向を判別すれば良い。つまり、外接矩形が揃っている方が左側になるように回転させれば良い。

縦書きの場合は、図５（ｂ）に示すように、スキャン画像の短手方向の両端に存在する外接矩形の位置情報を基に文書方向を判別すれば良い。つまり、外接矩形が揃っている方が上側になるように回転させれば良い。

これは共に、文書は一般的に文頭が揃い、文末が不揃いになる性質を利用している。これらの情報は、歪み形状を認識する際に抽出している情報なので、特別に処理を追加する必要はない。

なお、文書方向判別を図２の処理フローのどこに位置付けるかについては、歪み形状認識にて必要な情報を得ることが出来るので、形状補正を行った後、または、文字ボケ補正後であれば、特に問題ない。

また、横書きか縦書きの判断は、以前出願したようなヒストグラムを求めて判断しても良いし、ユーザにあらかじめ指定させても良い。

副走査方向の補正は、スキャナーパラメータ（スキャナーレンズの光軸の位置、および、レンズ中心とスキャン面間の距離）が既知か未知かにより処理が異なる。

次に、本実施形態の画像処理装置１の画像処理に補正について図６、図７を用いて説明する。図６は、本実施形態における画像処理装置の読み取りパラメータが未知の場合の補正を示す図である。図７は、本実施形態における画像処理装置の読み取りパラメータが既知の場合の補正を示す図である。

スキャナーパラメータが未知の場合は、画像を縦長の短冊領域に分割し、各短冊領域内の文字外接矩形の（幅）／（高さ）の平均、若しくは、縦成分外接矩形の中心座標間の副走査方向の距離の平均、が等しくなるように副走査方向に伸長する（図６）。なお、画像の歪んでいない部分に普通の漢字や仮名があって綴じ部付近に半角数字しか無いような場合、半角数字が全角に引き伸ばされてしまうことを防ぐために、パラメータが未知の場合に限り、副走査方向の補正を行わないようにもできる。

スキャナーパラメータが既知の場合は、ページ外形／罫線／文字行の湾曲の度合いから書籍表面のスキャン面からの浮きの高さｈを求め、図７のように、副走査方向の１画素分をｍ倍に伸張して継ぎ足していく。

（実施形態２）
実施形態１において、横書きの場合は、前記スキャン画像の長手方向の両端に存在する外接矩形の情報を基に文書方向を判別する。各行を構成する外接矩形の両端を調べれば良い。綴じ部を中心として、左側のページは、行を構成する外接矩形の先頭を、右側のページは、行を構成する外接矩形の最後に注目する。

（実施形態３）
実施形態１において、縦書きの場合は、前記スキャン画像の短手方向の両端に存在する外接矩形の情報を基に文書方向を判別する。横書きと同様に、各行を構成する外接矩形の両端を調べれば良い。綴じ部を中心として、左側のページも右側のページも、行を構成する外接矩形の先頭と最後に注目する。

次に、本実施形態の画像処理装置１の座標軸を用いた補正について図８を用いて説明する。図８は、本実施形態における画像処理装置の補正をする際の座標系を示す図である。

（実施形態４）
実施形態２、３において、外接矩形の情報とは、外接矩形の位置を表す４点（左上、右上、左下、右下）の座標値のいずれかを代表とする。外接矩形は、４点のＸ座標、Ｙ座標で一般的に表現される。４点の中でどれか１点をその外接矩形の代表値とする。
例えば、横書きの場合は、左ページは、左上の位置情報を、右ページは、右上の位置情報を代表値とする。

上図のような座標系とした場合、横書きの場合は、左ページの場合は、代表値である左上の位置情報（Ｘ座標）、右ページの場合は、右上の位置情報（Ｘ座標）がどの程度揃っているかを調べれば良い。どの程度揃っているかについては、例えば、左ページと右ページのＸ座標の分散を求めて比較する、座標値の最小、最大値を求めて、その幅を比較するなどの方法を用いれば良い。

縦書きの場合は、上側は、例えば、代表値である左上の位置情報（Ｙ座標）、下側は、左下の位置情報（Ｙ座標）がどの程度揃っているかを調べれば良い。どの程度揃っているかについては、横書きの場合と同様である。

（実施形態５）
実施形態２、３において、外接矩形の情報とは、外接矩形の重心とする。重心は、例えば、外接矩形を求める際に、黒画素のＸ，Ｙ座標値を加算し、外接矩形の黒画素の数で割れば求まる。各外接矩形の重心が求まれば、実施形態４と同様に、重心をその外接矩形の代表値として処理を行えば良い。

本実施形態の画像処理装置の構成を示すブロック図である。 本実施形態の画像処理装置の処理を示すフローチャート図である。 本実施形態の画像処理装置における横書き原稿の主走査方向の補正を示す図である。 本実施形態の画像処理装置における縦書き原稿の主走査方向の補正を示す図である。 本実施形態の画像処理装置における文書方向判別を示す図である。（ａ）は、横書き原稿の文書方向判別を示す図である。（ｂ）は、縦書き原稿の文書方向判別を示す図である。 本実施形態における画像処理装置の読み取りパラメータが未知の場合の補正を示す図である。 本実施形態における画像処理装置の読み取りパラメータが既知の場合の補正を示す図である。 本実施形態における画像処理装置の補正をする際の座標系を示す図である。

符号の説明

１ 読み取り手段
２ ＣＰＵ
３ メモリ
４ 格納ＲＯＭまたはＲＡＭ
５ ディスプレイ
６ ワークエリアＲＡＭ
７ ＣＤ−ＲＯＭ、ＦＤドライバ等

Claims (16)

1. 主走査方向に対してページ綴じ部が略平行、または、略垂直となるように、読み取り面の上または下に接触した原稿画像を読み取る読取手段と、
   前記読取手段で読み取られた読み取り画像の歪み形状を認識するとともに、外接矩形の位置情報を抽出する歪み形状認識手段と、
   読み取り画像の中の文字の外接矩形の情報を基に前記読み取り画像を主走査方向と、副走査方向とに伸張して前記読み取り画像の歪みを補正する歪み補正手段と、
   前記歪み形状認識手段により抽出された前記外接矩形の位置情報を基に前記外接矩形が揃っている方が行頭となるよう、前記読み取り画像の文書方向を判別する判別手段とを有し、
   前記歪み補正手段は、読み取りのパラメータが未知の場合には副走査方向の伸張を行わないことを特徴とする画像処理装置。
2. 前記判別手段は、横書きの場合は、前記読み取り画像の長手方向の両端に存在する外接矩形の情報を基に文書方向を判別することを特徴とする請求項１に記載の画像処理装置。
3. 前記判別手段は、縦書きの場合は、前記読み取り画像の短手方向の両端に存在する外接矩形の情報を基に文書方向を判別することを特徴とする請求項１に記載の画像処理装置。
4. 前記外接矩形の情報とは、外接矩形の位置を表す４点（左上、右上、左下、右下）の座標値のいずれかを代表とすることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記外接矩形の情報とは、外接矩形の重心であることを特徴とする請求項２または３に記載の画像処理装置。
6. 主走査方向に対してページ綴じ部が略平行、または、略垂直となるように、読み取り面の上または下に接触した原稿画像を読み取る読取工程と、
   前記読取工程で読み取られた読み取り画像の歪み形状を認識するとともに、外接矩形の位置情報を抽出する歪み形状認識工程と、
   読み取り画像の中の文字の外接矩形の情報を基に前記読み取り画像を主走査方向と、副走査方向とに伸張して前記読み取り画像の歪みを補正する歪み補正工程と、
   前記歪み形状認識工程により抽出された前記外接矩形の位置情報を基に前記外接矩形が揃っている方が行頭となるよう、前記読み取り画像の文書方向を判別する判別工程とを含み、
   前記歪み補正工程では、読み取りのパラメータが未知の場合には副走査方向の伸張を行わないことを特徴とする画像処理方法。
7. 前記判別工程は、横書きの場合は、前記読み取り画像の長手方向の両端に存在する外接矩形の情報を基に文書方向を判別することを特徴とする請求項６に記載の画像処理方法。
8. 前記判別工程は、縦書きの場合は、前記読み取り画像の短手方向の両端に存在する外接矩形の情報を基に文書方向を判別することを特徴とする請求項６に記載の画像処理方法。
9. 前記外接矩形の情報とは、外接矩形の位置を表す４点（左上、右上、左下、右下）の座標値のいずれかを代表とすることを特徴とする請求項７または８に記載の画像処理方法。
10. 前記外接矩形の情報とは、外接矩形の重心であることを特徴とする請求項７または８に記載の画像処理方法。
11. 主走査方向に対してページ綴じ部が略平行、または、略垂直となるように、読み取り面の上または下に接触した原稿画像を読み取る読取処理と、
    前記読取処理で読み取られた読み取り画像の歪み形状を認識するとともに、外接矩形の位置情報を抽出する歪み形状認識処理と、
    読み取り画像の中の文字の外接矩形の情報を基に前記読み取り画像を主走査方向と、副走査方向とに伸張して前記読み取り画像の歪みを補正する歪み補正処理と、
    前記歪み形状認識処理により抽出された前記外接矩形の位置情報を基に前記外接矩形が揃っている方が行頭となるよう、前記読み取り画像の文書方向を判別する判別処理とをコンピュータに実行させ、
    前記歪み補正処理では、読み取りのパラメータが未知の場合には副走査方向の伸張を行わないことを特徴とするプログラム。
12. 前記判別処理は、横書きの場合は、前記読み取り画像の長手方向の両端に存在する外接矩形の情報を基に文書方向を判別することを特徴とする請求項１１に記載のプログラム。
13. 前記判別処理は、縦書きの場合は、前記読み取り画像の短手方向の両端に存在する外接矩形の情報を基に文書方向を判別することを特徴とする請求項１１に記載のプログラム。
14. 前記外接矩形の情報とは、外接矩形の位置を表す４点（左上、右上、左下、右下）の座標値のいずれかを代表とすることを特徴とする請求項１２または１３に記載のプログラム。
15. 前記外接矩形の情報とは、外接矩形の重心であることを特徴とする請求項１２または１３に記載のプログラム。
16. 請求項１１から１５のいずれか１項に記載のプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。

Images