JP2644724B2

JP2644724B2 - 文書画像傾き補正方法

Info

Publication number: JP2644724B2
Application number: JP60152210A
Authority: JP
Inventors: 康明中野; 浩道藤澤; 純一東野; 歳弘花野井; 清道栗野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1985-07-12
Filing date: 1985-07-12
Publication date: 1997-08-25
Anticipated expiration: 2012-08-25
Also published as: JPS6214277A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は画像処理方式に係り、特に文書画像の傾きの
正規化に好適な画像処理方式に関する。

〔発明の背景〕

従来の文書画像処理特に二値文書画像処理において、
画像を光電変換及びデイジタル化を行つて、入力画像を
デイジタル画像に変換してから処理を行うのが普通であ
る。この際用いる光電変換及びデイジタル化のための装
置をスキヤナと呼ぶ。画像の入力の際、文書とスキヤナ
との相対的な傾きは避けられず、その結果生ずる画像の
傾きは文書画像処理、たとえば文書中の文字列の抽出に
悪影響を及ぼす。また文書とスキヤナとの相対的な傾き
を極めて小さくできたとしても、文書をタイプライタで
作成する場合や文書を複写した場合など、文書中の文字
列が用紙に対し元々傾いていることもある。

従来技術ではこのような問題点に対処するため、文書
画像を複数の方向に対して積分し、その積分値がピーク
となるような方向を求め、その方向が紙面のエツジとな
す角度だけ文書画像を回転する方法が知られており、た
とえば昭和59年度電子通信学会全国大会講演論文集第17
69番「黒色背景を有する帳票上の文字切り出し方式」で
報告されている。しかし、この方法は処理量が尨大とな
るため高速処理が望まれていた。

〔発明の目的〕

本発明の目的は、画像の傾きを高速に補正できる文書
画像処理方式を提供することにある。

〔発明の概要〕

かかる目的を達成するために、本発明は、画像の文字
列、または文字列の構成要素の輪郭に外接する矩形を求
め、この矩形の傾きが水平（あるいは垂直）になるよう
に傾きを補正することにより画像の傾きを高速に補正す
ることを特徴とする。第１図にその原理を示す。第１図
（Ａ）は文書画像の例、（Ｂ）は（Ａ）から輪郭抽出を
行つて得られる画像、（Ｃ）は（Ｂ）の中で外輪郭だけ
を抽出した画像を示す。（Ａ）の罫線11に対応して、
（Ｂ）の輪郭21が得られる。（Ｃ）の21は同じ輪郭を示
す。輪郭は、その上を黒地を左に見て一周するときの座
標系列として表現されており、その場合反時計方向に一
周するならば外輪郭、時計方向に一周するならば内輪郭
として区別できる。輪郭座標系列を（Xi,Yi）,i＝0,1,2,,,（Ｌ−１）とする（Ｌは点列の長さ）。このとき２個の量（Xi−Yi），（Xi＋Yi）の最大値及び最小値を与える点を求めることにより、第
１図（Ｄ）のように輪郭21の４隅を求めることができ
る。ただし、（Ｄ）では輪郭21は拡大して示してある。
全ての輪郭について輪郭の４隅を求め、その間の距離を
求めることにより、細長い輪郭のみを抽出することがで
きる文書上に（水平の）罫線と文字部のみしか存在しな
いことが分つている場合、上記の細長い輪郭は罫線であ
り、その水平線となす角度もまた輪郭４隅の座標を用い
て求めることができる。この角度を用いて、罫線が水平
となるように文書画像全体を回転すればよい。回転は、
原画像を直接回転してもよいが、輪郭座標系列について
座標変換した後、画像に戻してもよい。また、文書上に
罫線以外の細長い模様が存在するときは、輪郭４隅の間
を結ぶ点列の直線性を検定して罫線のみを抽出できる。
また、文書上の直線として斜線や垂直線も存在するとき
は、同様に直線の傾きを求めて水平線と垂直線（ほぼ水
平または垂直に近い線）のみを抽出し、そのどちらかを
用いて傾きを補正すことにより画像の傾きを高速に補正
するればよい。

また、本発明の態様においては、画像から抽出された
輪郭に対して特徴量を求め、この特徴量をいろいろな方
向に積分し、その積分値がピークとなるような方向を求
め、その方向が紙面のエツジとなす角度だけ傾きを補正
することにより画像の傾きを高速に補正するものであ
る。

画像から抽出された輪郭に対する特徴量の例として
は、輪郭（外輪郭）に外接する長方形を作り、その辺の
長さを取ることができる。この方法は、罫線が存在しな
い場合に文字列の傾きを求めるために使用できる。第２
図、第３図にその原理を示す。第２図（Ａ）は文書画像
の例、（Ｂ）は（Ａ）から輪郭抽出を行つて得られてい
る画像、（Ｃ）は（Ｂ）の中で外輪郭だけを抽出した画
像を示す。（Ｃ）の外輪郭から（Ｄ）のような外接長方
形を作る。外接長方形の座標は、輪郭点列座標の最大値
と最小値とから容易に求められるが、これを、（PXj,PYj），（QXj,QYj），（RXj,RYj），（SXj,SYj）とする。ここで、P,Q,R,Sはそれぞれ、外接長方形ｊの
左上、左下、右下、右上を表す。すなわち、（QXj,QYj），（RXj,RYj）はそれぞれ、外接長方形ｊの下辺の両端を表す。このと
き、ある角度αに対し次の量Ｖ（α）を計算する。ま
ず、ヒストグラムを格納する配列Ｈ（ｋ）,k＝0,1,,,（Ｎ−１）を０クリアする。Ｎは文書画像をＭ×Ｎとしたきの縦の
長さである。つぎに、ｊに関するループによりＨ（Kj）←Ｈ（kj）＋|QXj−RXj| ただし、Kj＝Ｇ［QYj−QXj・tan（α）］を計算する。上記において記号←はプログラム記法にお
ける代入を意味し、Ｇ［ｘ］は実数ｘを整数に変換する
関数である。すなわち第３図に示すようにKjは、31の外
接長方形ｊの左下隅の点Qjから角度αの直線を引いたと
き、画像の左辺32と交わる点のＹ座標である。したがつ
て、ヒストグラムＨ（Kj）は角度αだけ画像を傾けて外
接長方形ｊの下辺の長さを積分することに相当する。こ
れを角度α方向の辺長周辺分布と呼ぶ。ｊに関するルー
プが終了するとＶ（α）＝Σ|H（ｋ）−Ｈ（ｋ−１）｜を計算する。Ｖ（α）は角度α方向の辺長周辺分布の鋭
さを表す量である。角度αを例えば−２°から＋２°ま
で0.1°きざみで変化させ、Ｖ（α）の最大となる角度
を求めることにより、外接長方形の下辺が最もよく重な
るような方向が求まる。一般に文字の行はほぼ下辺が揃
つて印刷あるいは書かれるから、これが同じ線上に並ぶ
ような角度は文字列の傾きと考えることができる。

〔発明の実施例〕

以下、本発明の実施例について図面を用いて詳細に説
明する。

第４図は本発明の一実施例による文書処理方式を採用
した装置の構成を示すプロツク図である。装置の各部は
バス１に接続され、全体の動作は制御部２により制御さ
れる。文書３上の情報（文書画像）はスキヤナ４により
光電変換・デイジタル化されてデイジタル画像となり、
バス１を介してメモリ51に各納される。メモリ51は後述
する52,53,54とともにメモリ５の一部をなす。デイジタ
ル画像51をスキヤナ４から得る代わりに、光デイスクな
どのデイジタル画像フアイル装置から読みこんでもよ
い。また、以下の説明では１画素１ビツトに二値化する
ものとするが、１画素を多値で表現したものや、カラー
スキヤナにより光電変換して色情報を付与したもので
も、処理に僅かの変更を加えるのみで適用できることは
明らかである。

制御部２のソフトウエアにより、メモリ51中の画像に
対し輪郭抽出を行い、メモリ52に格納する。輪郭抽出は
公知の手法を使用すればよいので詳細は省略する。輪郭
抽出の代わりにいわゆる連結領域抽出法を使用してもよ
い。次に後述するようにして、メ字リ52の中の輪郭デー
タからその４隅の座標を求め、メモリ53に各納する。次
にメモリ52中の輪郭データに対し傾き補正処理を行い、
補正後の輪郭データをメモリ54に格納する。この補正後
の輪郭データから内部を塗り漬した画像を生成し、メモ
リ51に傾き補正した画像を得る。補正完了後、コンソー
ル６を用いた使用者との対話により、この画像を格納す
べきフアイル７中のアドレスを決定し、フアイル７に格
納する。

次に、本発明の説明のために、４隅の抽出と傾き補正
処理の詳細を、罫線が存在する場合を例にとり説明す
る。

第５図は、これらの処理の流れを説明する図である。
処理の流れは、PAD（Program Analysis Diagram）形式
で書かれている。101で文書画像の輪郭データ（メモリ5
2中にある）を入力する。102は、輪郭ｉに関するループ
制御である。

103で各輪郭の輪郭データからそのＸ座標及びＹ座標の
和及び差（Ｘ（ｉ）−Ｙ（ｉ）），（Ｘ（ｉ）＋Ｙ（ｉ））の最大値及び最小値を抽出する。ｉは輪郭上の番号。こ
の４個の数値を与えるｉから輪郭の４隅の座標（PXi,PYi），（QXi,QYi），（RXi,RYi），（SXi,SYi）が決まる。（前述した外接長方形の４隅とは異なること
に注意）。

104〜109は罫線判定処理を行う部分である。103では
最大値Rmaxの初期化を行う。

104は、輪郭ｉに関するループ制御である。

106で幅Wiと高さHiの比をそれまでの最大値と比較し、
新しい最大値の場合は107でRmaxを更新しそのときのｉ
をimとして登録する。108では輪郭imの幅Wiと高さHiが
ある範囲に入つているかを判定する。範囲に入つている
とき、輪郭imは水平の罫線（複数ある時は最も細長いも
の）であると判定し、109で罫線と判定された輪郭imの
傾きθを求める。ただし、 θ＝arctan（（SYi−RYi）／（SXi−RXi））また、110は、失敗したときの出口である。

111〜116は傾き補正処理した画像を生成する部分であ
る。111は、出力画像エリアＢをクリアする。112は、輪
郭ｉに関するループ制御である。113は、輪郭ｉを構成
する点ｊに関するループ制御である。114は点ｊの座標
（Xj,Yj）を傾き補正した座標（Xj,Yj）を計算式 Yj′＝Yj−Xj・tan（θ）によつて求める処理である。115は画素Ｂ（Xj,Yj）を１
とするもので、出力画像エリア上に輪郭ｉの点列データ
をマツピングする処理である。116は輪郭内部を塗り漬
す処理であり、外輪郭では内部を黒で、内輪郭では内部
白で塗り漬す。外輪郭を塗り漬した後、内輪郭をを塗り
漬すようにすれば、原パターンが完全に復元される。

以上の説明から理解されるように、傾き補正はずれ変
形を用いているが、回転変形を用いることもできる。

また、108の罫線判定の論理を変更することにより罫
線の代りに表の上下辺あるいは左右辺を使用することも
できる。

次に、本発明の実施例について説明する。本実施例に
よる文書処理方式を採用した装置の構成は先に説明した
例と同様であり、制御部２における処理が異なつてい
る。本実施例では、文字列の傾きを検出して傾き補正を
行うものであり、先に説明した例と異なる点は傾き検出
の部分であるので、この部分について説明する。

第６図は、本発明の実施例における傾き検出の処理の
流れ図であり、第５図の103〜107の罫線判定処理を行う
部分に対応する。第６図で201〜211は文字列の傾きを検
出する部分である。201は、Vmaxを初期値にセツトす
る。202は、角度αに関するループ制御である。203はＶ
（α）の初期値を０にセツトする。204はバツフアエリ
アＨ（ｋ）,k＝0.1,,,（Ｎ−１）を０クリアする。205は輪郭ｉに関するループ制御であ
る。206は、輪郭ｉの外接長方形の下辺の両端の座標（QXi,QYi），（RXi,RYi）を求める。207は輪郭ｉの大きさがある範囲に入つてい
るときのみ208以降の処理を行う。208はＨ（Kj）←Ｈ（Kj）＋|QXj−RXj| ただし、Kj＝QYj−QXj・tan（α）を計算する。輪郭ｉに関するループが終了すると209で
α方向の辺長周辺分布の鋭さを、次式Ｖ（α）＝Σ|H（ｋ）−Ｈ（ｋ−１）｜によつて計算する。210,211はＶ（α）の最大値を与え
るαの値αｍ及び最大値Vmaxを更新する。202のループ
を終了したときのαｍが文字列の傾きを与える。

以上の説明から理解されるように、先に説明した例及
び本発明の実施例では罫線あるいは文字列はほぼ水平で
あるとしたが、これらが垂直の場合であつても処理内容
をそのように変更することは容易である。また、これら
の傾きが水平か垂直か不明の場合でも、水平あるいは垂
直に近い方向の直線を選択し、それを用いて傾き補正す
るように処理内容を修正することは容易である。

〔発明の効果〕

以上の説明から理解されるように、本発明では傾き補
正で対象とする演算が全画素ではなく、黒領域の輪郭の
みであるので処理量が著しく減少しているため、文書の
傾き補正を高速に行うことができる。

また、文字列に着目する本発明では、罫線の存在しな
い文書でも補正が可能である。また論郭の大きさを判定
して文字らしい輪郭のみ積分し、文字以外の模様や雑音
を積分から除外しているので、高速性と耐雑音性を兼ね
備えることができる。

【図面の簡単な説明】

第１〜３図は本発明の原理を説明する図、第４図は本発
明の文書処理方式を実施する装置の構成を示すブロツク
図、第５図及び第６図は第４図の制御部２における処理
の流れ図である。１……バス、２……制御部、３……文書、４……スキヤ
ナ、５……メモリ、６……コンソール、７……フアイ
ル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者東野純一国分寺市東恋ヶ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者花野井歳弘小田原市国府津2880番地株式会社日立製作所小田原工場内 (72)発明者栗野清道小田原市国府津2880番地株式会社日立製作所小田原工場内 (56)参考文献特開昭60−27079（ＪＰ，Ａ) 特開昭58−100568（ＪＰ，Ａ) 特開昭58−169293（ＪＰ，Ａ) 特開昭57−52971（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】文書画像を入力し、入力した文書画像の複数の黒画素連結成分からそれぞれ
に対応する輪郭データを抽出し、その輪郭に外接する矩形の頂点座標を上記複数の輪郭デ
ータに対して検出し、上記複数の輪郭データに対してそれらの頂点座標に基づ
いた検出値として上記外接する矩形の辺の長さを算出
し、上記検出値を複数の方向角度に投影して積分し、それら
複数の方向角度のそれぞれに対応した周辺分布を求め、それら複数の周辺分布のなかで周辺分布の鋭さが最大で
ある周辺分布を選択し、その選択した周辺分布に対応す
る方向角度を文書画像の傾き角度であると推定し、その推定した傾き角度に応じて上記文書画像の傾きを補
正することを特徴とする文書画像傾き補正方法。
【請求項２】特許請求の範囲第１項において、各輪郭に
外接する矩形の頂点座標から求める上記検出値は、矩形
の一辺の両端の座標（QXj,QYj），（RXj,RYj）から算出
できる一辺の長さ|QXj−RXj|であり、検出値を方向角度αに投影して積分して得られる周辺分
布はＨ（Kj）←Ｈ（Kj）＋|QXj−RXj| ただし、Kj＝Ｇ［QYj−QXj・tan（α）］に従って算出される周辺分布Ｈ（Ｋ）であり（ここで、
記号←は代入を意味し、Ｇ［ｘ］は実数ｘを整数に変換
する関数である）、その周辺分布の鋭さを表す量Ｖ（α）をＶ（α）＝Σ_Ｋ|H（Ｋ）−Ｈ（Ｋ−１）｜に基づいて算出することにより、周辺分布の鋭さが最大
な周辺分布を求めて、それに対応する方向角度αmaxを
求めることを特徴とする文書画像傾き補正方法。