JP2978496B2

JP2978496B2 - 画像処理装置

Info

Publication number: JP2978496B2
Application number: JP63259461A
Authority: JP
Inventors: 好博嶋; 康明中野; 雅章藤縄; 達也村上; 浩道藤沢
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-10-17
Filing date: 1988-10-17
Publication date: 1999-11-15
Anticipated expiration: 2014-11-15
Also published as: JPH02108177A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は文書画像の傾斜角を検出する方法及び傾斜を
補正する装置に関する。

〔従来の技術〕

従来、文書画像の傾き検出については、中野康明，東
野純一，藤澤浩道：“文書画像の傾き補正のための一方
式”電子通信学会論文誌研究速報'86/11Vol.J69−D,No.
11,pp.1833−1834（1986年11月）において論じられてい
る。この中野らの方法は、文書画像の傾き検出は、文書
中に印刷されている各文字は概ね一直線の上にあるとみ
なされることを利用しており、複数の方向に対してある
特徴量を積分し、その最も尖鋭となる方向を探すもので
ある。しかしながら、積分した特徴量から尖鋭な方向を
求める方法は明示されていない。また、文書画像の種類
によっては、傾き検出に誤りが生じ、文書画像の傾き補
正の信頼性が低い。

〔発明が解決しようとする課題〕上記従来技術は、多数の方向に積分を行つたのち文字
列の傾きを積分値の尖鋭性を基に推定する処理の手法に
ついては明らかでなく、また、文書画像の傾き検出に誤
りが発生した場合について配慮がされておらず、文書画
像の傾き補正の信頼性が低いという問題があつた。

本発明の目的は、傾きを推定する方法を明示すること
を目的としており、さらに信頼性の高い傾き検出方法を
提供することを目的としている。

印刷物など既存文書は、スキヤナでデイジタル画像に
変換され、画像フアイルシステムに格納される。入力す
べき文書画像がスキヤナ上で傾いて設定されると、回転
した画像がそのまま画像フアイルシステムに格納される
ことになる。この傾斜した文書画像は美観上好ましくな
く、またデイスプレイ上では読みづらい。さらに、文書
のデータベース化のため、文字認識を用いて文書中の書
誌事項などを抽出する際、文書画像が傾いていると、文
字認識が困難となる。これらの理由から、文書画像の傾
き補正が必要である。

〔課題を解決するための手段〕

上記目的を達成するために、文書画像全面に対してラ
ベル付けをもとにした連結成分の抽出を行う。次いで、
連結成分ごとに特徴量とその位置座標を求め、多数の方
向に特徴量を積分する。最後に、多数の方向から、積分
した結果が最も尖鋭となる方向を求め、この方向を文書
の傾き方向と推定する。積分した結果から最も尖鋭な方
向を求める判定手段として、積分値の差分の絶対値の和
が最大となる方向、積分値のうち最大となる値をもつ方
向、積分値の山の平均的な傾斜の和が最大となる方向、
積分値の零値の個数が最大となる方向、をそれぞれ尖鋭
な方向と判定するものである。

さらに、文書画像をある所定の角度だけ回転させ、そ
の回転した画像の傾きを、元の画像の傾き角度を比較す
ることにより、信頼性の高い文書画像の傾き角度を検出
するものである。

〔作用〕

文書画像の傾き検出は、文書中に印刷されている各文
字は概ね一直線の上にあるとみなされることを利用す
る。ここでは、文書画像は白黒２値画像とし、文字等は
白い背景にある黒い画素の集まりとして表現されてい
る。傾き検出の原理は、複数の方向に対してある特徴量
を積分し、その際も尖鋭となる方向を探すものである。

〔実施例〕

以下、本発明の一実施例を第１図により説明する。表
示端末100には文書画像が表示される。印刷物など既存
文書は、スキヤナなど光学的入力装置104でデイジタル
画像に変換され、画像フアイルシステム102に格納され
る。入力すべき文書画像がスキヤナ103上で傾いて設定
されると、回転した画像がそのまま画像フアイルシステ
ム102に格納されることになる。この傾斜した文書画像
は美観上好ましくなく、またデイスプレイ100上では読
みづらい。さらに、文書のデータベース化のため、文字
認識を用いて文書中の書誌事項などを抽出する際、文書
画像が傾いていると、文字認識が困難となる。これらの
理由から、文書画像の傾き補正が必要である。画像傾き
検出部105では、文書画像の傾きを検出する。また、画
像傾き補正部106では、文書画像を回転させ傾きを補正
する。さらに、傾きの補正が必要とされる文書画像には
文字だけでなく図や表が混在しており、このように文書
に対しても傾きを検出する。

文書画像の傾き検出は、文書中に印刷されている各文
字は概ね一直線の上にあるとみなされることを利用す
る。ここでは、文書画像は白黒２値画像とし、文字等は
白い背景にある黒い画素の集まりとして表現されてい
る。傾き検出の原理は、複数の方向に対してある特徴量
を積分し、その最も尖鋭となる方向を探すものである。
この傾き検出の手順は、最初に文書画像全面に対してラ
ベル付けをもとにした連結成分の抽出を行う。次いで、
連結成分ごとに特徴量とその位置座標を求め、多数の方
向に特徴量を積分する。最後に、多数の方向の中から、
積分した結果が最も尖鋭となる方向を求め、この方向を
文書の傾き方向と推定する。この方法において、連結成
分の代わりに輪郭線を用いる方法もある。また、積分す
べき特徴量としては、連結成分の外接長方形の底辺の長
さ、外接長方形の面積や個数などがある。さらに、積分
するための位置座標として外接長方形の頂点や重心の位
置、連結成分と下端点の位置がある。

積分した結果から最も尖鋭な方向を求める判定手段と
して、積分値の差分の絶対値の和が最大となる方向、
積分値のうち最大となる値をもつ方向、積分値の山
の平均的な傾斜の和が最大となる方向、積分値の零値
の個数が最大となる方向、のそれぞれについての判定手
段を明示する。

今、第２図は傾き検出の原理を説明する図である。文
書画像の横方向をＸ座標200,縦方向をＹ座標201とする
（１≦ｘ≦x₀,1≦ｙ≦y₀）。そして、連結成分に番号を
付けるものとし、第ｋ番目の連結成分の外接長方形202
の左下および右下の頂点203,204を、（x1k,y1k），（x2
k,y2k）とする。但し、ｋは正の整数であり、全連結成
分の個数を表す。連結成分の抽出時、連結成分のX,Y座
標の最大値および最小値を求めておくことにより、これ
ら連結成分の外接長方形が同時に求まる。積分する方向
の数を−Ｎから＋Ｎまで（2N＋１）方向とする。また、
δを傾き検出の角度分解能とする。従つて、特徴量の積
分は、Ｘ軸を中心とする206で示すｉ・δ（但し、ｉ＝
−N,…,0,…,N）の方向について行うことになる。特徴
量の積分210は次の式で計算される。

for k＝1 to K do; if（連結成分選択条件成立）；ｙ＝y1k−x1k・tan（ｉ・δ）； Si（ｙ）＝（x2k−x1k）＋Si（ｙ）； end if; end do; ここで、Si（ｙ）210は外接長方形の底辺をｉ・δ方
向206に積分したものである。上式で文字のみを積分す
るためには、連結成分選択条件として、連結成分の大き
さが文字サイズの範囲に入るという条件を設定すればよ
い。この条件によつて、文書中の罫線，図形，模様や雑
音の影響を受けにくくできる。

特徴量を積分した結果Si（ｙ）210は（2N＋１）の方
向数（ｉ＝−Ｎ〜Ｎ）について計算されることになり、
その最も尖鋭となる方向を求めれば文書の傾きを推定で
きる。尖鋭な方向を求める判定基準としては、次の２つ
の方法を考案した。第４図は、判定基準の説明図であ
る。差分法は積分値400の差分406の絶対値の和が最大と
なる方向ｉを文書の傾き方向とする方法である。この差
分法は以下の式で表される。

最大法は、積分値410のうち最大となる値412をもつ方
向ｉを文書の傾き方向とする方法であり、この最大法は
以下の式で表される。

第５図は他の二つの方法による判定基準の説明図であ
る。平均法は、山の平均的な傾斜の和が最大となる方向
ｉを文書の傾き方向とする方法であり、この平均法は以
下の式で表される。

但し、502及び503で示すy^d1,y^d2は連続する非零値の
上端Ｙ座標と下端Ｙ座標であり、積分値500の谷の位置
に相当する。また、Ｊは非零値が連続する区間、即ち、
積分値の山の個数である。

零数法は、積分値510の零値の個数が最大となる方向
ｉを文書の傾き方向とする方法である。ここで、Ｙ座標
511の区間512,513,514,515が積分値510の値が零値であ
る区間であり、この区間の長さを算出する方法である。
この零数法は以下の式で表される。

但し、関数ｕ（ｖ）は、ｕ（ｖ）＝０（ｖ≠０）、ｕ
（ｖ）＝１（ｖ＝０）である。この零数法では、積分値
が零値である個数を求めているため、積分する特徴量と
して外接長方形の個数をとつた方法と、検出した傾き方
向は同一となる。

文書画像に対する傾き検出の手順は、第３図に示すよ
うに４つの過程からなる。まず、（１）連結成分の抽出
過程300では、文書画像全面に対しラベル付けを基にし
た連結成分の抽出を行う。連結成分とは、２値画像中で
同じ値を持つ画素が互いに近接していて一つの塊を形成
しているものであり、それぞれに異なつたラベルを割り
当てることになる。ここでは、ラベリングを高速で行う
ため、２値画像をランで表し、ラベルを近接のランに伝
播させながらラベリングを行う。次いで、（２）特徴量
の抽出の過程301では、連結成分ごとに特徴量とその位
置座標を求める。ここでは、特徴量として、連結成分の
外接長方形の底辺の長さ（＝x2k−x1k）をとる。位置座
標としては、連結成分の外接長方形の左下の頂点の座標
（x1k,y1k）をとる。連結成分を抽出する際、X,Y座標の
最大，最小を求めておくことにより連結成分の外接長方
形が、連結成分と同時に求まる。文書中に含まれる文字
部分の選択条件として連結成分の面積が一定範囲内かど
うかを選択条件とする。これにより、罫線，図形，雑音
の影響を受けにくくしている。そして、（３）特徴量の
多方向への積分過程302では、多数の方向に対して、こ
の特徴量を積分する。積分の方向はＸ軸を中心とするｉ
・δの方向とする。積分の方向は、順次、ｉをステツプ
310に示すように−Ｎから＋Ｎまで変え、−Ｎ・δから
＋Ｎ・δまで、δ刻みとする。ここでは、積分のための
方向数を81（Ｎ＝40）とする。また、δは角度分解能で
あり、δは0.05゜及び0.5゜にそれぞれ設定した。ステ
ツプ311では積分テーブルSi（ｙ）を初期化する。そし
て、ステツプ312に示すように外接長方形が尽きるま
で、ステツプ314以下の処理を行う。ステツプ314では外
接長方形の面積が所定範囲かどうかの判定を行い、もし
所定範囲内であれば、ステツプ315に移行する。それぞ
れの積分方向に対して、特徴量を積分し、その値を一次
元のテーブルSi（ｙ）に格納する。一次元テーブルにお
いて特徴量を格納する番地ｙは、ステツプ315に示すよ
うにｙ＝y1k−x1k・tan（ｉ・δ）を計算することによ
り求まる。外接長方形ごとに、乗算と減算をそれぞれ１
回行うことになる。さらに、ステツプ316で示すように
該当ｙ座標に外接長方形の横の長さを累算する。最後に
（４）積分値を基にした傾き方向の推定過程303では、
多数の方向の中から、積分した結果が最も尖鋭となる方
向を求め、この方向を文書の傾き方向と推定する。尖鋭
な方向を求める判定基準として、積分値の差分の絶対値
の和が最大となる方向を文書の傾き方向とする差分法、
積分値のうち最大となる値をもつ方向を文書の傾き方向
とする最大法、山の平均的な傾斜の和が最大となる方向
を文書の傾き方向とする平均法、積分値の零値の個数が
最大となる方向を文書の傾き方向とする零数法を、それ
ぞれ用い、文書の傾きを推定する。

第６図は、画像の傾きを検出する他の実施例の処理過
程である。ステツプ600で画像を入力する。そして、画
像を回転する回数ｒがステツプ601で示すように尽きる
まで、ステツプ602,603,604,605を行う。ここで、ステ
ツプ602では、画像を回転させる時の回転角を設定す
る。次いで、ステツプ603で、画像を設定した回転角Ar
だけ回転させる。この回転した画像に対して、ステツプ
604で傾き角αｒを検出する。そして、ステツプ605で検
出した傾き角度αｒと設定していた回転角度Arとを登録
する。ステツプ601が終了すると、ステツプ606で傾き角
度の精度を判定する。ステップ601でｒ回目の回転角Ar
に対応する傾き角αｒが登録されている。正確に傾き角
度を検出している場合は、ｉ回目、ｊ回目の回転の時の
回転角Ai、Ajと傾き角αｉ、αｊとの間には次の一定の
関係がある。

αｉ−αｊ＝Ai−Aj よって、αｉ＝Ai−Aj＋αｊ（但し１≦i,j≦Ｒ、ｉ
≠ｊ）それに対して、ステップ604で誤って傾き角を検出し
ている場合は、傾き角と回転角の間には一定の関係がな
い。従って、この一定の関係がある時は、任意の回転時
に検出された傾き角から回転角を減じた値が画像の傾き
角となる。

こうして一定の関係の有無により正確に傾き角が検出
されていると判定された場合にのみ、画像の傾き角（α
ｉ−Ai）だけステップ607で、ステップ600で入力された
画像の傾きを補正する。このように、画像を回転させな
がら傾き角を検出することにより、高い精度で傾き角を
求めることができる。

〔発明の効果〕

印刷物など既存の文書のデータベース化を行う場合、
文字部については文字認識を行い、書誌事項やキヤプシ
ヨンといった検索情報を抽出するとともに文字部は符号
化してフアイルに格納する。また、画像部分について
は、この部分を分離抽出し、高圧縮符号化を行う。この
ような既存文書のデータベース化を行う際、文書をスキ
ヤナ等で入力することになるが、入力すべき文書が設定
状況によつては傾き、回転した紙面画像が入力されるこ
とがある。傾いた文書画像に対して文字認識を行うこと
は一般に困難であり、従つて、文字認識および文書認識
の前処理として、文書画像の傾きを補正することができ
る。また、文書編集や検索処理において、原文書に加筆
したメモ等の追記情報を得るため、原文書との画像のパ
ターンマツチングにより原文書に記入された追記情報を
分離抽出することになるが、この場合、追記情報を加筆
した文書画像に対して、その傾きを補正することができ
る。さらに、文書画像の通信や検索において、出力され
た文書の傾きを補正することができる。また、光デイス
クを用いた文書画像の検索において、検索結果である文
書が傾きなく表示されることが望まれており、高速ペー
ジめくりにおける表示紙面の傾き補正が可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成図、第２図は傾き検出
の原理を説明する図、第３図は文書画像に対する傾き検
出の手順を示す図、第４図は判定基準の説明図、第５図
は他の方法による判定基準の説明図、第６図は画像の傾
きを検出する他の実施例の処理過程を説明する図であ
る。 100……表示端末、102……画像フアイル、105……画像
傾き検出部、106……画像傾き補正部、202……外接長手
形、210……特徴量の積分値、302……多方向への特徴量
の積分、606……検出傾き角の精度判定過程、607……画
像傾き補正過程。

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤縄雅章東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者村上達也東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者藤沢浩道東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (56)参考文献特開昭55−33254（ＪＰ，Ａ) 特開昭61−166685（ＪＰ，Ａ) 特開昭57−69372（ＪＰ，Ａ) 特開昭62−14277（ＪＰ，Ａ) 特開昭61−251982（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】画像入力手段と、画像を予め設定した複数
個（Ｒ）の回転角（Arはｒ回目の回転角）だけ回転する
手段と、複数個の回転した画像に対する傾き角（αｒは
ｒ回転した画像の傾き角）を検出する手段と、Ar、αｒ
を記憶する記憶手段とを有する画像処理装置において、上記記憶手段からｉ回目、ｊ回目の回転の時の傾き角α
ｉ、αｊと回転角Ai、Ajがαｉ＝Ai−Aj＋αｊの関係を
満たしているかを判定する手段と、該関係を満たしてい
るときにαｉ−Aiを入力された画像の傾き角として画像
の傾きを補正する手段とを具備することを特徴とする画
像処理装置（但し１≦i,j≦Ｒ、ｉ≠ｊ）。