JPH0271379A - 画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野） 本発明は、原稿のレイアウト構造を認識し、電子文書の
レイアウト構造として再刊用するための画像処理装置に
関する。

（従来の技術） 近年、ワークステーションやワードブロセッザ等を用い
て電子文書を作成Ｊ−る方式としては、文書のレイアウ
トを先に決定してから編集を行うものがある。この方式
では、記憶装置に記憶される文書編集ファイル上に各属
性を持つ枠（例えば横古さ枠、縦書き枠、ビットマツプ
枠等）を割り付け、それらの枠の中に横古き、縦書きの
文字やイメージ情報等を挿入して文書を編集していた。

従来、このレイアウト属性を認識する方式としては、論
文［ＤｏｃｕｌＴｌｅｎｔ　　Ａｎａｌｙｓｉｓ　Ｓｙ
ｓｔｅｍ（に、Ｙ、ＷｏｎｇＩＢＭ　Ｊ、ＲＥＳ、ＤＥ
ＶＥＬＯＰ、・ＶＯＬ、２６・Ｎｏ、　６・Ｎ０ＶＯ４
ＢＥＲ１９８２）」でアルゴリズムが提唱されている。

この論文に閤かれているアルゴリズムは、アルファベッ
ト等の英文の原稿、つまり横書き原稿から同一レイアラ
ｌ−属性をもつピクセルを連結させて、「文字列」、「
グラフィックスとハーフ１ヘーンイメージ」、［水平ｊ
ｊ向の黒ライン］、１−垂直方向の黒ライン」を確認す
ることが可能であった。

〔発明が解決しようとする課題］ ところが、上記論文のアルゴリズムは、上述したことく
横書きの原稿用に開発されたもので、日本語等のＪζう
に横書き、／縦書き混在の原稿に対しては、横書きと縦
書きの文字列をそれぞれ別々に認識することができず、
全く意味をなさないという問題点があった。

本発明は、上記問題点に鑑みなされＩＣもので、横書ぎ
／縦書き混在の原稿から横内き文字列、縦書き文字列、
横書き／縦書き以外の領域を容易に認識することができ
る画像処理装置を提供することを課題とする。

（課題を解決するだめの手段及び作用）本発明では、入
力した原稿の画像からデジタル画像を生成する画像入力
装置（イメージスキャナー）等の画像入力手段と、前記
イメージスキャナーによって読取られ、生成されたデジ
タル画像に対して同じレイアウト属性（例えば横書き、
縦書き、横書ぎ／Ｉｆ１ｉｌき以外のもの）をもつピク
セルを連結させる前処理部等の連結手段と、前記前処理
部で連結された各ピクセル群の領域を求める領域算出手
段及び前記領域算出手段で求めた領域から該領域に対す
る情報を抽１１」する情報抽出手段とからなる特徴抽出
部と、前記特徴抽出部で抽出した各情報に応じてそれぞ
れのレイアクｌ−属性を認識する認識部等のレイアウト
属性認識手段とを具え、前記デジタル画像から抽出した
特徴を分析し、ＭＩｌ害ぎ領域、ＭＩ潟き領域、横書き
／Ｉｆ１占き領域以外の領域等の属性の異なるそれぞれ
のレイアウト属性を認識、識別する。

〔実施例〕

本発明の実施例を第１図乃至第６図の図面に基づき詳細
に説明する。

第１図は、本発明に係る画像処理ｇ＠の概略構成を示リ
ブロック図である。図において、プロセッサー１０は、
前処理部、特徴抽出部、認識部からなり、制御プログラ
ム等により画像入力装置１１、イメージエディター１２
、画像メモリー３、ファイル１４、デイスプレィ装＠１
５、キーボード１６等の各別器の制御及び情報、信号等
の人出り制鶴０を時分υＩ　ｒ：並行して行う。

画像入力装置１１及びイメージエディター１２は、原稿
の画像を入力し、上記画像から２値化したディジタル画
像を生成しでいる。生成されたディジタル画像は、画像
メモリー３に格納され、プロセラ１ノー　１０の前処理
部によって前処理がなされ、上記前処理がなされたディ
ジタル画像に対し、特徴抽出部によって特徴の抽出がな
され、さらに認識部によって抽出した特徴から画像のレ
イアウト構造が認識される。

キーボード１６は、ユーザがレイアウト属性を指定する
ときに、その指示を入力するものであり、上記指示に基
づき、プロセッサー１０は、入力又は出力されたディジ
タル画像及び認識されたレイアウト構造に関するデータ
をＣＲＴ等からなるデイスプレィ装置１５に表示させて
いる。

また、ファイル１４は、プロセッサ−１０から出力され
たディジタル画像を格納するものである。

次に、第２図乃至第６図に基づぎプロセッサー１０の各
処理を実現するためのアルゴリズムを説明する。

第２図において、まず画像人力装置１１の図示しない画
像読取装置（イメージスキャナー等）を用いて第４図（
ａ）に示す原稿等のペーパードキコメントを走査し、上
記画像人力装置１１又はイメージエディター１２によっ
て２値のディジタル画像を１−成し、ぞの生成したディ
ジタル画＠（以下、１両＠ＡＩという。）（第４図（ｂ
）＠照）を画像メモリ１３に格納づ−る（ステップ１０
１）。

次にブロセッυ−１０の一〇処理部は、上記画像メモリ
１３内の画像Δに対して横書さの特徴と縦書きの特徴を
別々に抽出するための前処理を行う。

上記前処理では、まずランレングス・スムージング・ア
ルゴリズム（以下、ｒＲＬｓＡＪという。）を行う必要
がある。このＲＬＳＡｉよ、白ピクセルが’ｏ”、黒ビ
クセルが”　１　”で表されでいるバイナリ−・イメー
ジに対して、レイアラｌ−ｉ性が同じ黒ピクセルを連結
する効果がある。レイアウト属性とは、そのピクセルが
どのようなものを表しているかを示すもので、例えば縦
書き領域にある黒ビクセルはレイアウト属性が「縦書き
」である。そのアルゴリズムはバイナリ−・シーケンス
×を、以下のルールでアウトブッ１〜・シーケンスＹに
変換する。

ルール１　連続する゛′０パの数が予め決められた閾値
Ｃ以下ならば、×の′Ｏ゛′はＹては′１′”に変換さ
れる。

ルール２　Ｘにある”　１　”は、Ｙでは変換されない
。

例えば、Ｃ＝４だと、以下のようにシーケンスＸはシー
ケンスＹに変換される。

ｘ　：　ｏｏｏｌｏｏｏｏｏｌｏｉｏｏｏｏｉｏｏｏｏ
ｏｏｏｉｉｏｏ。

Ｙ　：　１１１１０００００１ｉ１１１１１１００００
０００１１１１１ＲＬＳＡは、Ｃピクセル以下で分離さ
れている黒ピクセルの領域を連結プる効果がある。閾値
Ｃの値がその画像にとって適切ならば、結合された領域
は同じレイアウト属性をもつ領域になるはずである。

ここでは、まず横書きに関する前処理として、前処理部
は画像への水平方向に上記ＲＬ、　Ｓ　Ａを行い（ステ
ップ１０２＞、第４図（Ｃ）に示す画像Ｂｈを得る。な
お、このときの上記閾値Ｃの値は、横書ぎでの文字間を
考慮して［その画像にある文字幅の平均値］×２とする
。次に前処理部は、画像Ａの垂直方向に上記ＲＬＳＡを
行い（ステップ１０３）、第４図（ｄ）に示す画像ｃｈ
を得る。

なあ、このどきの上記閾値Ｃの値は、横古さでの行間を
考慮してその画像にある文字高の平均値とする。そして
、上記得られた画像Ｂｈと画像ｃｈの論理積（ＡＮＤ）
をとり（ステップ１０４）、第４図（ｅ）に示づ画像Ｄ
ｈを得る。さらに、上記得られた画像Ｄｈの水平方向に
再び−Ｆ記ＲＬＳＡを行い（ステップ１０５）、第４図
（ｆ）に示づ画像［ｈを得る。

上記横書きに関する前処理が終了すると、前処理部は、
次に縦書きに関プる前処理を行う。まず、画＆Ａの垂直
方向に上記ＲＬ　Ｓ　Ａを行い（ステップ１０６）、第
４図（ｈ）に示す画＠Ｂを得る。

なあ、このときの上記閾値Ｃの値は、ステップ１０２と
同様［その画像にある文字幅の平均値１×２とする。次
に前処理部は、画像Ａの水平方向に上記ＲＬＳＡを行い
（ステップゴ０７）、第４図（ｉ）に示す画像ＣＶを得
る。なお、このときの上記閾値Ｃの値は、ステップ１０
３と同様その画像にある文字高の平均値とする。そして
、上記得られた画像３ｖと画像ＣＶの論理１（ＡＮＤ）
をとり（ステップ１０８）、第４図（ｊ）に示す画像Ｄ
Ｖを得る。さらに、上記得られた画像１）ｖの水平方向
に再び上記ＲＬ　Ｓ　Ａを行い（ステップ１０９）、第
４図（ｋ）に示す画像ＥＶを得る。

なお、上記前処理では、横書きに関する前処理を先に行
ったが、縦書きに関する前処理を先に行ってもいっこう
に構わない。また、ステップ１０２とステップ１０６、
ステップ１０３とステップ１０７及びステップ１０４と
ステップ１０８は、上記閾値Ｃの値が同じ場合には、同
一の動作なので、ステップ１０６からステップ１０８ま
での処理動作は省略することが可能である。

上記前処理が終了すると、次に特徴抽出部に制御が移り
（第３図参照）、矩形情報の抽出が行われる。この矩形
情報の抽出は、上記前処理で得られた画像［ｈと画像［
Ｖに対して行う。第３図において、上記特徴抽出部は、
特徴抽出処理により画像Ｅｈと画像［Ｖから矩形領域を
取り出す（ステップ１１０）。この特徴抽出処理を実理
するためのアルゴリズムの一実施例を第５図のフローチ
ヤードに基つき説明１−る。

図において、特徴抽出部は、前処理で得られた画像Ｆｈ
と画像ＥＶを画像メモリ１３に格納する（ステップ２０
７）。次に特徴抽出部は、上記画像メモリ１３内の画像
Ｅ　ｈと画像［Ｖに対してラスター走査を開始しくステ
ップ２０２＞、今のピクセルが黒かどうか判断する（ス
テップ２０３）。

ここで、今のピクセルが黒の場合には、−殻内な境界追
跡処理（例えば、文献「画像認識と画像理解１啓学出版
・１９８６・１５７ページー・１５８ベージにある方法
）を上記ピクセルから開始するとともに（ステップ２０
４）、現在境界追跡をしている黒ビクセル群の最小座標
値（Ｘｍｉｎ。

Ｙｍｉｎ）及び最大座標値（Ｘｍａｘ、　Ｙｍａｘ）を
求める（第６図参照）（ステップ２０５）。

そして、追跡処理が終了したならば〈ステップ２０６　
）　、ｌ配水めた最小座標値（Ｘｍｉｎ。

Ｙｍｉｎ）及び最大座標値（Ｘｍａｘ、Ｙｍａｘ）て表
される矩形領域内のピクセルを全て白ピクセルに変換す
るくステップ２０７）。上記処理が終了すると、第４図
（ｇ）、（，１！＞に示づ−ような矩形領域が得られる
。

上記処理では、境界追跡が終了したピクセル群の領域を
全て境界領域対象外のピクセルに変換するため、同じピ
クセル群に対する重複した境界追跡処理がなくなり、処
ｆ！！速度が向上する。

次に特徴抽出部は、第３図に示すように、重なりのある
矩形領域の重なりをなくす処理動作を行う（ステップ１
１１）。つまり、第４図（Ω）、（ｉｔ）に示す矩形領
域は、どこかで重なっている可能性があり、その重なり
をなくづ処理をしなくてはならない。この重なりには、 （１）横書ぎに関する前処理で得られた画像から抽出し
た各矩形領域（以下、ｒ　Ｉ−（Ａ　Ｊという。）内又
は縦書きに関する前処理で得られた画像から抽出した各
矩形領域（以下、「＼／ＡＪという、、）内の矩形領域
が重なっている場合、 （２））−ＩＡとＶＡの矩形領域が互い重なっている場
合、 の２通りが考えられる。そこで、（１）の場合には、重
なる領域があれば、それらの領域を複合して１つの矩形
領域に変換し、それ以外の領域はそのままの状態にして
おく。また、（２）の場合には、重なる領域があれば、
矩形領域の小さい矩形領域を削除し、それ以外の領域は
残しておくことにより、重なりをなく−ｙ九 次に特徴抽出部は、上記処理で求められた矩形領域内の
情報抽出を行う（ステップ１１２）。

ここでは、ＨＡの各矩形領域に対しては、高さＨ＝’１
’ｍａｘ−ｙｍｌ　ｎ＋　１オリジナル画像（スキャナ
ーで入力した画像）にある黒ピクセルの数ＤＣ オリジナル画像の水平方向で自から黒に変わった領域の
数ＴＣ１例えば、 オリジナル画像　　前処理で得られた画像　ＴＣ０００
０１１１０００１＋１１００００　００００１１１１７
１１１１１００００　１となる。

黒ビクセルの平均長Ｒ＝ＤＣ／ＴＣ を求め、ＶＡの各矩形領域に対しては、幅Ｈ＝Ｘｍａｘ
−Ｘｍｉ　ｎ＋１ オリジナル画像（スキャナーで入力した画像）にある黒
ピクセルの数ＤＣ オリジナル画像の垂直方向で自から黒に変わった領域の
数ＴＣ 黒ピクセルの平均長Ｒ＝ＤＣ／ＴＣ を求める。

さらに、ＨＡとＶＡに対して、上記１−１ＡとＶＡの矩
形領域の数をそれぞれＮｈ、Ｎｖと考えて以下の値 １−１ｎ　−Σ　Ｈ／（Ｎｈ＋Ｎｖ） Ｒｍ−ΣＤＣ／ΣＴＯ を求める。

上記矩形領域ＨＡ、ＶＡ内の情報抽出が終了すると、次
に認識部に制御が移り、各領域の認識かが行われる。こ
こでは、まず横書き領域の認識が行われ（ステップ１１
３）、矩形領域ＨＡから確実に横書ぎたと思われる領域
を、以■の条件を使って認識する。

［条件１黒ピクセルの平均長Ｒ＜Ｃ２ｑｘＲｍで、かつ ｔｌ　＜　Ｃ２２Ｘ　ｔ−（ｍ　（Ｃ２１−３、Ｃ２２
＝３＞ならば、横書さ′である。

な＆−３、ＣｐｌとＣ２９はいろいろな実験結果をベー
スに割当てられた値である。

次に、縦書き領［ＶＡの認識が行われ（ステップ１１／
ｌ）、矩形領域Ｖ　Ａから確実にｌ占きたと思われる領
域を、以下の条件を使って認識する。

［条件］黒ピクセルの平均長Ｒ＜ＣＣ２１ＸＲで、かつ １−１〈Ｃ２２×１１ｍ（Ｃ２１−３、Ｃ２２＝３＞な
らば、横書きである。

なＪ５、Ｃ２１とＣ２２はいろいろな実験結果をベース
に割当てられた値である。

さらに、横書き／′縦占き以外の領域の認識を行われ（
スｌツゾ１１５）、ＨＡから検古き領域と認識できなか
った矩形領域及びＶＡから縦書ぎ領域と認識できなかっ
た矩形領域を横書き、／縦書き以外の領域と認識覆る。

次に、プ［］セッサー１０は、］−ザがキーボード１Ｇ
を使用して所望のレイアウト属性を指定したかどうか判
断しくステップ１１６）、所望のレイアラ１−属性が指
定されたならば、その指定に該当するレイアウト属性を
もつ領域、例えばオリジナル画像の横書き領域、同じく
縦書き領域、同じく横書き／縦書さ゛以外の領域、各領
域を所定の線で表した画像を出力して、第４図（ｍ）か
ら（［〕）デイスプレィ装置１５に表示させて（スイッ
プ１１７）、上記処理動作を終了覆る。

これにより、プロセッサー１０は、］−−ザが希望する
レイアウト属性をもつ領域だｔすを取り出ブーことがて
きる。

したがって、本発明では、前処理において、異なるレイ
アウト属性を持つ領域を分離できるため、文字認識等の
前処理として非常に有効なものどなる。また、境界追跡
処理によって得られた各矩形領域を全て白ピクセルに変
換することにより、既に検出されたビクセル群の境界内
のピクセルに対して境界追跡処理を行う必要がなくなり
、１記境界追跡処理の簡略化を図ることもできる。また
、認識処理においては、異なるレイアウト属性を持つ領
域を別々に認識できるので、ユーザの指定したレイアウ
ト属性を持つ領域のみを抽出してデイスプレィ又はファ
イルに出力することができる。

なお、本実施例では、ラスター走査によって焦ピクセル
を検出したが、本発明はこれのみに限らず、白ビクセル
を検出することも可能であり、また検出した白ビクセル
を黒ピクセルに変換することも可能である。

〔発明の効果］ 以上説明したように、本発明で（よ、箕なるレイアウト
属性を持つ領域を分離し、同一のレイアウト属性を持つ
領域を抽出することかてぎるので、横８き／縦書き混在
の原稿から横書き文字列、縦書き文字列、横書き／［＠
き以外の領域を容易に認識することができる。

を示すブロック図、第２図、第３図は第１図に示した画
像処理装置のレイアウト認識の処理動作を説明ブーるた
めの）Ｄ−ヂｐ−１〜を示す図、第４図は上記処理動作
の各行程でのイメージを示す図、第５図は特徴抽出処理
動作の詳細を説明づ゛るためのフローチセートの一実施
例を示ブー図、第６図は第５図の特徴抽出処理動作での
境界追跡の行程を示す図である。

１０・・・プロセッサー　１１・・・画像入力装置、１
２・・・イメージエディター、１３・・・画像メモリ、
１４・・・ファイル、１５・・・デイスプレィ、１Ｇ・
・・キーボード。

【図面の簡単な説明】

Claims (2)

【特許請求の範囲】
1. （１）原稿の画像からデジタル画像を生成し、該デジタ
   ル画像に基づきレイアウト属性を認識する画像処理装置
   において、 前記デジタル画像に対して同じレイアウト属性をもつピ
   クセルを連結させる連結手段と、前記連結手段で連結さ
   れた各ピクセル群の領域を求める領域算出手段と、 前記領域算出手段で求めた領域から該領域に対する情報
   を抽出する情報抽出手段と、 前記情報抽出手段で抽出した各情報に応じてそれぞれの
   レイアウト属性を認識するレイアウト属性認識手段と を具え、属性の異なるそれぞれのレイアウト属性を認識
   することを特徴とする画像処理装置。
2. （２）請求項第（１）項の領域算出手段は、前記連結手
   段で連結された各ピクセル群の領域を求める境界追跡手
   段と、 前記境界追跡手段で求めた領域内のすべてのピクセルを
   白又は黒のピクセルに変換する変換手段と、 前記求められた領域の最大座標値と最小座標値を求める
   座標値算出手段と からなることを特徴とする画像処理装置。