JPH09134404A

JPH09134404A - 棒グラフ認識装置

Info

Publication number: JPH09134404A
Application number: JP8038555A
Authority: JP
Inventors: Shinkou Tai; 震江戴
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1995-09-05
Filing date: 1996-02-26
Publication date: 1997-05-20

Abstract

(57)【要約】【課題】種々の棒グラフの構造を認識し、グラフ情報
を再構成可能な数値的データまたはデータ間の関係に変
換する棒グラフ認識装置を提供する。【解決手段】イメージデータのうち、文字画像データ
は文字分離部３で切り出されて文字認識部４で認識され
る。一方、図形画像データは図形分離部５で分離され、
線分抽出部６により垂直、水平線分が抽出される。線分
交点検出部７は、線分の交点を求め、この交点の分布か
ら、グラフ要素検出部８は棒グラフの基準軸、方向、実
データ軸を検出する。目盛り線抽出部９は実データ軸に
基づき目盛り線を抽出し、棒項目抽出部１０は棒グラフ
の方向に基づいて棒矩形を抽出する。データ変換部１１
は、文字認識部４により得られた文字コードを用いて、
目盛り線抽出部９により抽出された目盛り線に対応する
数値を読み取り、棒項目抽出部１０により抽出された棒
項目を対応する数値データに変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＤＴＰや電子ファ
イリングシステムなどで利用できる文書認識装置に関
し、特に、数値的関係を表現している棒グラフを含む画
像から、棒グラフを再構成可能な数値的データあるいは
データ間の関係に変換する棒グラフ認識装置に関するも
のである。

【０００２】

【従来の技術】近年、ＤＴＰや電子ファイリングシステ
ムなどが普及し、紙などの媒体上に記録されている文字
や図形などが計算機に入力されて利用できるようになっ
てきている。しかし、一般の電子ファイリングシステム
などでは、媒体上の文字や図形は画像として取り込まれ
るのみであり、編集する場合には扱いづらく、また、デ
ータ量が多いという欠点がある。

【０００３】画像として取り込まれた文書中の文字や図
形などを計算機上で取り扱いやすいコードに変換する装
置として、文書認識装置がある。特に、文字を認識して
入力する装置として、従来よりＯＣＲなどが開発されて
いる。さらに、文字だけでなく、棒グラフの画像から、
棒グラフを再構成可能な数値データに変換する棒グラフ
認識装置も考えられている。

【０００４】従来の棒グラフ認識装置としては、例え
ば、特開平４−３０９１８６号公報に記載されているも
のがあった。図９は、棒グラフの一例の説明図である。
図中、７１は基準軸、７２は実データ軸、７３は棒項
目、７４はデータ目盛り線、７５は目盛りデータ、７６
は棒項目名である。図９に示した棒グラフは、１つの棒
項目７３が１つの要素からなり、横軸を実データ軸７
２、縦軸を基準軸７１とし、実データ軸７２にはデータ
目盛り線７４および目盛りデータ７５が設けられ、基準
軸７１には棒項目名７６が設けられている。

【０００５】上述の文献に記載された棒グラフ認識装置
では、任意の矩形を選択し、その底辺の位置の違いや、
幅、並んでいる間隔などを判定して棒グラフの棒項目７
３の候補を認識する。そして、最も左にある棒項目７３
のさらに左側に実データ軸７２を、また、棒項目７３の
底辺上に基準軸７１およびその下の棒項目名７６を探
す。さらに、棒項目７３の内部または周囲の数値を得
て、各棒項目名７６と数値との組を得ることができる。
このようにして、棒グラフを数値化している。

【０００６】しかし、上述の文献に記載されている棒グ
ラフ認識装置は、図９に示すような、１つの棒項目が１
つ要素からなり、基準軸は棒項目の底辺にある棒グラフ
に限定されていた。ビジネス文書や技術文書で用いられ
ている棒グラフは図９に示すようなものだけではない。
図１０は、棒グラフの別の例の説明図である。図１０
（Ａ）には、横向きの棒グラフを示している。また、図
１０（Ｂ）には、上下に伸びる棒グラフを示している。
さらに、図１０（Ｃ）には、複数の棒項目で１つの要素
を示す棒グラフを示している。これらの棒グラフは、い
ずれもよく使われるものであるが、上述の文献ではこれ
らの形式の棒グラフを認識することは想定されておら
ず、また、同様にして認識することは困難である。

【０００７】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、種々の棒グラフの構造を認
識し、グラフ情報を再構成可能な数値的データあるいは
データ間の関係に変換することのできる棒グラフ認識装
置を提供することを目的とするものである。

【０００８】

【課題を解決するための手段】請求項１に記載の発明
は、棒グラフ認識装置において、棒グラフを含む文書を
イメージデータとして入力する入力手段と、前記入力手
段により得られたイメージデータの中から文字記号領域
と図形領域を分離する文字図形分離手段と、前記イメー
ジデータから分離された文字記号領域内の文字記号を認
識して文字コードを得る文字認識手段と、前記イメージ
データから分離された図形領域から水平線分または垂直
線分を抽出する線分抽出手段と、該線分抽出手段で抽出
された前記水平線分と前記垂直線分の交点を求める線分
交点検出手段と、該線分交点検出手段で検出された前記
交点の分布により棒の方向を判定し基準軸と実データ軸
を検出する棒グラフ要素検出手段と、該棒グラフ要素検
出手段により判定された前記棒の方向に基づき前記線分
抽出手段で抽出された前記水平線分および前記垂直線分
と前記線分交点検出手段で検出された前記交点を用いて
棒グラフを構成する棒情報を抽出する棒項目抽出手段
と、該棒項目抽出手段で抽出された棒情報を再構成可能
な数値データあるいはデータ間の関係に変換するデータ
変換手段を備えたことを特徴とするものである。

【０００９】請求項２に記載の発明は、請求項１に記載
の棒グラフ認識装置において、さらに、前記棒グラフ要
素検出手段で検出した実データ軸に基づき目盛り線を抽
出する目盛り線抽出手段を設け、前記データ変換手段
は、前記文字認識手段により得られた文字コードを用い
て前記目盛り線抽出手段により抽出された目盛り線と数
値を対応づけ前記棒項目抽出手段により抽出された棒項
目を対応する数値データに変換することを特徴とするも
のである。

【００１０】請求項３に記載の発明は、請求項１または
２に記載の棒グラフ認識装置において、前記文字図形分
離手段は、前記入力手段により得られたイメージデータ
中の破線を接続する破線接続手段と、前記入力手段によ
り得られたイメージデータ中の連結する黒画素塊の外接
矩形および前記破線接続手段により得られた画像中の連
結する黒画素塊の外接矩形を作成する外接矩形作成手段
と、該外接矩形作成手段で得られた前記イメージデータ
中の連結する黒画素塊の外接矩形と前記破線接続手段に
より得られた画像中の連結する黒画素塊の外接矩形から
文字領域を推定し前記イメージデータから文字外接矩形
に対応する部分画像を前記文字記号領域とする文字分離
手段と、前記イメージデータから該文字分離手段で得ら
れた文字記号領域の画像データを消去して図形領域とす
る図形分離手段を有することを特徴とするものである。

【００１１】請求項４に記載の発明は、請求項３に記載
の棒グラフ認識装置において、破線接続手段は、前記イ
メージデータを縮小することによって破線が接続された
縮小画像を作成し、前記文字分離手段は、前記イメージ
データ中の文字領域と推定される外接矩形と、前記縮小
画像中の文字領域と推定される外接矩形をもとの大きさ
に拡大して、論理積演算により文字外接矩形を特定する
ことを特徴とするものである。

【００１２】

【発明の実施の形態】図１は、本発明の棒グラフ認識装
置の第１の実施の形態を示す構成図である。図中、１は
画像入力部、２は外接矩形作成部、３は文字領域抽出
部、４は文字認識部、５はグラフ領域抽出部、６は線分
抽出部、７は線分交点検出部、８はグラフ要素検出部、
９は目盛り線抽出部、１０は棒項目抽出部、１１はデー
タ変換部である。

【００１３】画像入力部１は、棒グラフを含む文書を画
像読み取り装置等によって読み取り、得られたイメージ
データを入力する。外接矩形作成部２は、画像入力部１
で入力されたイメージデータに対して、連結する黒画素
塊の外接矩形を作成する。文字分離部３は、外接矩形作
成部２で得られた各外接矩形の縦及び横方向の長さがし
きい値より小さいものを選別し、その外接矩形に対応す
る部分画像を切り出し、文字画像データを作成する。文
字認識部４は、文字分離部３で分離された文字画像デー
タを認識し、文字コードに変換する。

【００１４】図形分離部５は、イメージデータと文字画
像データの排他的論理和演算を行なうことにより、図形
画像データを作成する。線分抽出部６は、図形画像デー
タから、垂直または水平方向に並ぶ黒画素列のうち、そ
の長さがしきい値より大きいものを抽出して垂直線分ま
たは水平線分とする。線分交点検出部７は、線分抽出部
６で抽出された垂直線分と水平線分の交点（交差点）を
求める。グラフ要素検出部８は、線分交点検出部７で得
られた線上の交点分布から棒グラフの基準軸を抽出した
後、棒グラフの方向を判定し、実データ軸を検出する。
目盛り線抽出部９は、グラフ要素検出部８で検出された
実データ軸に基づき目盛り線を抽出する。棒項目抽出部
１０は、グラフ要素検出部８により判定された棒の方向
に基づいて、線分抽出部６で抽出された線分データから
棒グラフを構成する棒矩形を抽出する。

【００１５】データ変換部１１は、文字認識部４により
得られた文字コードを用いて、目盛り線抽出部９により
抽出された目盛り線に対応する数値を読み取り、棒項目
抽出部１０により抽出された棒項目を対応する数値デー
タに変換する。

【００１６】以下、各部の処理をより詳細に説明する。
画像読み取り装置等により得られたイメージデータを画
像入力部１が受け取ると、まず、イメージデータ中の各
黒画素の塊に対してラベル付けを行ない、各黒画素の塊
に一意の番号を与えてラベル画像を作成し、このラベル
画像を用いて外接矩形作成部２より各黒画素塊の外接矩
形を作成する。このラベル付け処理に先立って、例え
ば、ノイズ除去や傾き補正、スムージング等といった前
処理を行なっておくことも可能である。

【００１７】画像のラベル付けに関して、例えば、長尾
真監訳，「ディジタル画像処理」,Ｐ．３６０−３６１
に記載されている技術などを利用することができる。こ
の文献に記載されている手法は、画像の第１行目におい
て、各ランに異なったラベルを与える。第２行以下の行
では、１つのランを調べて前行のランと位置を比べる。
ランｐが前行のどのランとも隣接していなければランｐ
に新しいラベルを付ける。ランｐが前行の１つのランの
みに隣接しているなら、その隣接するランのラベルを付
ける。ランｐが前行の２つ以上のランに隣接しているな
ら、ランｐにはこれらのラベルの最小値をつけるが、こ
れらのラベルはすべて同一成分に属することも記録して
おく。図形がこのようにしてすべて走査されたとき、記
録内容をチェックして、同一と判定されたラベルには等
しいラベルが付くようにラベル番号を付け直す。このよ
うにして、各黒画素の塊に一意のラベル番号を付与する
ことができる。

【００１８】文字分離部３は、外接矩形作成部２により
得られた各外接矩形の縦及び横方向の長さがしきい値よ
り小さいものを選別し、その外接矩形に対応する部分画
像を切り出し、文字画像データを作成する。このとき用
いるしきい値は、文字の大きさよりも多少大きめに設定
すればよい。

【００１９】前記文字分離部３によって分離された文字
画像データに対して、文字認識部４は文字認識を行な
う。文字認識に関しては、例えば、森健一，「パターン
認識」，Ｐ．３２−１０９に記載されている技術等を利
用することができる。この文献に記載されている手法
は、まず分離された各文字画像パターンに対して、各種
の正規化処理を施し、正規化されたパターンから特徴抽
出を行ない、辞書と照合して最も良く一致する文字のコ
ードを出力するものである。

【００２０】一方、図形分離部５は、画像入力部１によ
り得られたイメージデータと文字画像データの排他的論
理和演算を行なって、文字画像データを消去した図形画
像データを作成する。

【００２１】線分抽出部６は、図形分離部５によって作
成された図形画像データを水平方向または垂直方向に走
査し、連続して並ぶ黒画素列のうち、その長さがしきい
値より大きいものを水平線分または垂直線分として抽出
し、水平線分または垂直線分の座標を求める。図２は、
線分の座標の説明図である。図２（Ａ）には、横に連続
して並ぶ黒画素列を、また、図２（Ｂ）には、縦に連続
して並ぶ黒画素列をそれぞれ示している。どちらも長さ
はしきい値よりも大きいものとする。水平線分の座標
は、図２（Ａ）に示すように、左端を始点座標、右端を
終点座標とする。この水平線分がｊ番目のものとすれ
ば、始点座標は（ＬＸ_sj，ＬＹ_sj）、終点座標は（ＬＸ
_ej，ＬＹ_sj）である。このとき、水平線分の幅が数ドッ
ト存在する場合があり、このような場合には水平線分の
中心線における左端および右端の座標とする。垂直線分
の座標は、図２（Ｂ）に示すように、上端を始点座標、
下端を終点座標とする。この垂直線分がｉ番目のものと
すれば、始点座標は（ＨＸ_si，ＨＹ_si）、終点座標は
（ＨＸ_si，ＨＹ_ei）である。水平線分の場合と同様に、
垂直線分の幅が数ドット存在する場合には、垂直線分の
中心線における上端および下端の座標とする。

【００２２】線分交点検出部７は、線分抽出部６より得
られた水平線分または垂直線分の始点座標、終点座標を
用いて、線分の交点を検出する。図３は、線分交点検出
部における交点の検出処理の一例を示すフローチャート
である。まず、Ｓ２１において、垂直線分の中心線の始
点座標、終点座標を用いて、各垂直線分の始点ｘ座標値
の小さい順にソートする。始点ｘ座標値が等しい垂直線
分に対しては、さらに始点ｙ座標値の小さい順にソート
する。また、Ｓ２２において、水平線分の始点座標デー
タを用いて、垂直線分と同様に、各水平線分の始点ｙ座
標値の小さい順にソートし、さらに、始点ｙ座標値が等
しい水平線分に対して、始点ｘ座標値の小さい順にソー
トする。

【００２３】Ｓ２３において、各垂直線分に対し、その
垂直線分に交わっている水平線分を求め、各垂直線分上
の交点を検出する。検出の方法は、垂直線分の中心線座
標と水平線分の中心線座標を用いて、以下の条件を満た
すか否かを調べ、中心線の交点を求める。図２に示した
ｉ番目の垂直線分の始点座標、終点座標と、ｊ番目の水
平線分の始点座標、終点座標を用いると、条件はＬＸ_sj≦ＨＸ_si≦ＬＸ_ej ＨＹ_si≦ＬＹ_sj≦ＨＹ_ei のように表わすことができる。この条件を満たすとき、
ｉ番目の垂直線分とｊ番目の水平線分が接しているある
いは交わっているとを判断できる。このとき、座標（Ｈ
Ｘ_si，ＬＹ_sj）をｉ番目の垂直線分とｊ番目の水平線分
の交点座標とする。また、Ｓ２４において、垂直線分と
同様に、各水平線分に対し、その水平線分と接している
あるいは交わっている垂直線分を求め、各水平線分上の
交点を検出する。

【００２４】上述のＳ２１とＳ２２の処理、および、Ｓ
２３とＳ２４の処理は、どちらを先に行なってもかまわ
ない。また、Ｓ２１，Ｓ２２のソートの処理を行なわず
に交点検出を行なうことも可能である。しかし、Ｓ２
１，Ｓ２２でソートの処理を行なっておくことにより、
上述の条件判定を高速に行なうことができる。

【００２５】図４は、グラフ要素検出部における処理の
一例を示すフローチャートである。ここで、基準軸、実
データ軸とは、上述の図９における基準軸７１、実デー
タ軸７２である。一般に、棒グラフの基準軸となってい
る線分は、棒矩形の辺上にあり、棒グラフ画像中におい
て、連結している棒矩形の数が最も多い。グラフ要素検
出部８は、この条件を利用して棒グラフの基準軸を検出
する。

【００２６】また、例えば、上述の図１０（Ａ）に示し
た横向きの棒グラフでは、基準軸は垂直線分であり、グ
ラフの最上部に実データ軸が設けられている。また、上
述の図９に示した縦方向の棒グラフでは、基準軸は水平
線分であり、グラフの最左端に実データ軸が設けられて
いる。このように、検出した基準軸が水平線分か垂直線
分かによって棒グラフの方向を判別でき、さらにグラフ
の方向によって実データ軸の位置を特定して検出するこ
とができる。

【００２７】Ｓ３１において、線分交点検出部７で検出
した線分の交点を用いて、任意の２つの垂直線分と接す
る水平線分の有無をチェックし、水平線分が２つだけ存
在する場合、その水平線分を水平線分配列に格納する。
水平線分配列に格納された水平線分は、棒矩形を構成す
る水平線分の可能性がある。また、Ｓ３２において、線
分交点検出部７で検出した線分の交点を用いて、任意の
２つの水平線分と接する垂直線分の有無をチェックし、
垂直線分が２つだけ存在する場合、これらの垂直線分は
目盛り線以外の線分であることを判断でき、垂直線分を
垂直線分配列に格納する。垂直線分配列に格納された垂
直線分は、棒矩形を構成する垂直線分の可能性がある。
なお、Ｓ３１とＳ３２の処理は、どちらを先に行なって
もよい。

【００２８】Ｓ３３において、Ｓ３１とＳ３２で水平線
分配列および垂直線分配列に格納された水平線分と垂直
線分について、各線分上の交点数を求め、その最大値を
持つ線分を基準軸とする。

【００２９】Ｓ３４において、基準軸を持つ線分配列が
垂直線分配列の場合、棒グラフの方向は横とし、基準軸
に交わっている線の中に始点ｙ座標値が最も小さい線分
を実データ軸とする。また、基準軸を持つ線分配列が水
平線分配列の場合、棒グラフの方向は縦とし、基準軸に
交わっている線の中に始点ｘ座標値が最も小さい線分を
実データ軸とする。

【００３０】このようにして、グラフ要素検出部８で
は、基準軸を検出するとともに、検出した基準軸からグ
ラフの方向を判別し、実データ軸を検出することができ
る。

【００３１】図５は、棒項目抽出部における処理の一例
を示すフローチャート、図６は、棒項目を抽出する具体
例の説明図である。棒項目抽出部１０において、グラフ
要素検出部８で得られた水平線分配列内の水平線分と垂
直線分配列内の垂直線分を用いて、棒を構成する線分を
抽出し、棒項目を構成する矩形を抽出する。ここでは、
図６（Ａ）に示すような縦方向の棒グラフを対象として
説明するが、同様にして横方向の棒グラフに対しても棒
項目を抽出することができる。

【００３２】Ｓ４１において、線分抽出部６で得られた
垂直線分の中から、基準軸に直交している垂直線分を検
出する。抽出される垂直線分は、図６（Ｂ）に示すＨ０
〜Ｈ８の９本である。また、線分抽出部６で得られた垂
直線分の一部であるグラフ要素検出部８で得られた垂直
線分配列内の垂直線分を用いることもでき、この場合に
はＨ１〜Ｈ８の８本が抽出される。抽出された垂直線分
は、垂直線分配列に格納する。

【００３３】Ｓ４２において、まず、線分抽出部６で得
られた水平線分から、Ｓ４１で抽出された垂直線分と交
わている水平線分のうち、基準軸を除く水平線分を抽出
する。抽出される水平線分は、図６（Ｃ）に示すＬ１，
Ｌ２である。この場合にも、線分抽出部６で得られた水
平線分の一部であるグラフ要素検出部８で得られた水平
線分配列内の水平線分を用いることもでき、抽出される
水平成分は同じである。

【００３４】次に、抽出された水平線分と垂直線分の交
点により、水平線分をいくつかの短い線に分割する。図
６（Ａ）に示す線分交点検出部７により得られた水平線
分Ｌ１と垂直線分Ｈ１，Ｈ２，Ｈ３，Ｈ４との交点Ｏ
１，Ｏ２，Ｏ３，Ｏ４を用いて、図６（Ｄ）に示すよう
に、水平線分Ｌ１を線分Ｌ１１，Ｌ１２，Ｌ１３に分割
する。同様に、水平線分Ｌ２と垂直線分Ｈ５，Ｈ６，Ｈ
７，Ｈ８との交点Ｏ５，Ｏ６，Ｏ７，Ｏ８を用いて、図
６（Ｄ）に示すように、水平線分Ｌ２を線分Ｌ２１，Ｌ
２２，Ｌ２３に分割する。分割した水平線分は、水平線
分配列に格納する。さらに、Ｓ４３において、Ｓ４２で
得られた水平線分配列に格納されている水平線分から、
２つ以上の垂直線分と接している水平線分を抽出する。
このようにして、例えば、図６（Ｄ）に示すように、水
平線分Ｌ１１、Ｌ１２、Ｌ１３、Ｌ２１、Ｌ２２、Ｌ２
３が抽出される。

【００３５】Ｓ４４において、Ｓ４１で得られた垂直線
分配列に格納されている垂直線分に対して、始点ｘ座標
値の小さい順にソートする。また、Ｓ４５において、Ｓ
４３で抽出した水平線分に対して、始点ｙ座標値の小さ
い順にソートする。始点ｙ座標値が等しい線分に対して
は、始点ｘ座標値の小さい順にソートする。Ｓ４４，Ｓ
４５は、どちらを先に行なってもよい。

【００３６】Ｓ４６において、Ｓ４４でソートされた垂
直線分配列内の各垂直線分とＳ４５でソートされた水平
線分を用いて、任意の２つの垂直線分の間に水平線分が
存在するか否かをチェックし、水平線分が２つ以上存在
する場合、それらの横方向線分を水平線分配列から削除
する。削除された水平線分の座標データと、他の水平線
分の座標データを比べ、削除された水平線分の延長線上
にある水平線分を水平線分配列から削除する。

【００３７】Ｓ４７において、Ｓ４４でソートされた垂
直線分配列内の各垂直線分とＳ４６で得られた水平線分
を用いて、任意の２つの垂直線分の間に水平線分が存在
するか否かをチェックし、基準軸を除く水平線分が存在
する場合、その水平線分の始点ｘ座標値と終点ｘ座標値
の差の絶対値を棒項目を構成する矩形の幅とし、水平線
分の中心線から基準軸までの距離を棒項目を構成する矩
形の高さとする。例えば、図６（Ａ）に示す棒グラフに
対して、水平線分Ｌ１１と垂直線分Ｈ５、Ｈ６により棒
項目Ｄを抽出することができる。同様に、棒項目Ａ、
Ｂ、Ｃ、Ｅ、Ｆを抽出することができる。

【００３８】目盛り線抽出部９では、線分交点検出部７
によって得られた線分の交点を用いて、実データ軸に直
交しているすべての水平線分を抽出し、抽出された水平
線分を目盛り線候補として目盛り線配列に格納する。

【００３９】棒グラフでは、原則として基準軸は数値０
から始まり、すべての目盛り線に数字が入っているが、
実際にはその原則が無視されることがある。例えば、上
述の図９に示す棒グラフでは、すべての目盛り線に数字
は入っていない。一般に、数字が入っている目盛り線の
長さが周辺の数字が入ってない目盛り線の長さより長
い。データ変換部１１は、棒グラフをデータ化するた
め、目盛り線抽出部９より得られた目盛り線候補から数
字が入っている目盛り線を抽出し、目盛り線の座標と目
盛り線に対応して記入されている数値を用いてグラフの
データ化処理を行なう。

【００４０】図７は、データ変換部における処理の一例
を示すフローチャート、図８はデータ化処理の具体例の
説明図である。図８中、６１は基準軸、６２は実データ
軸、６３は棒矩形の線、６４，６５は目盛り線、６６，
６７は目盛りデータである。ここでは具体例として、図
８（Ａ）に示すような棒グラフを考える。

【００４１】Ｓ５１において、文字分離部３で得られた
文字画像データから目盛りデータに対応する数字を抽出
する。一般に、目盛りデータは、縦方向の棒グラフの場
合には実データ軸の左に、横方向の棒グラフの場合には
実データ軸の上に存在する。グラフ要素検出部８で検出
された実データ軸を用いて、文字分離部３で得られた文
字外接矩形から、実データ軸の近傍にある外接矩形が抽
出される。図８（Ａ）に示す棒グラフの場合には、実デ
ータ軸の左に存在する「０」、「１」「０」、「２」
「０」、「３」「０」、「４」「０」の各文字の外接矩
形が抽出される。

【００４２】Ｓ５２において、Ｓ５１で得られた数値デ
ータの外接矩形を用いて、各目盛りデータに対応するデ
ータ目盛り線を抽出する。図８（Ｂ）には、目盛りデー
タを表わすｉ番目の数字の外接矩形を示している。この
外接矩形の左上を矩形始点座標（ＢＸ_si，ＢＹ_si）と
し、右下を矩形終点座標（ＢＸ_ei，ＢＹ_ei）とする。ま
た、図８（Ｃ）には、ｊ番目の目盛り線を示している。
この目盛り線は１本の水平線分であるので、図２（Ａ）
と同様に中心線の始点座標および終点座標を設定する。
図８（Ｂ）に示した矩形の座標と図８（Ｃ）に示した目
盛り線候補の座標とを比較し、条件ＢＹ_si≦ＬＹ_sj≦Ｂ
Ｙ_eiに満たす場合、ｊ番目の目盛り線がｉ番目の外接矩
形に対応していると判断し、ｊ番目の目盛り線を目盛り
データに対応した目盛り線として抽出する。抽出された
目盛り線が２つ以上ある場合、その中で長さの最も長い
線を目盛りデータに対応した目盛り線とする。各目盛り
データに対応して抽出された目盛り線により、実データ
軸がいくつかのデータ区間に分割される。

【００４３】図８（Ａ）に示す棒グラフの例では、例え
ば、目盛りデータ６６に対応して目盛り線６４が、ま
た、目盛りデータ６７に対応して目盛り線６５がそれぞ
れ抽出される。そして、これらの目盛り線によって、実
データ軸６２は、データ区間ａ、ｂ、ｃ、ｄに分割され
ている。

【００４４】次に、Ｓ５３において、棒項目抽出部１０
より得られた棒項目を数値的なデータに変換する。例え
ば、図８（Ａ）に示すように、棒グラフの実データ軸６
２が４つの区間（ａ、ｂ、ｃ、ｄ）に分割され、抽出さ
れたｋ番目の棒矩形のデータを求めようとすると、図８
（Ｄ）に示すよう、棒矩形の水平線分Ｌｋの中心線から
基準軸６１までの距離Ｌｋ．ｄｉｓｔを求め、水平線分
Ｌｋの座標データを用いて、水平線分Ｌｋが入っている
データ区間により、座標上の水平線分Ｌｋの前の目盛り
線Ｍｉと後の目盛り線Ｍｊを求める。ここで求める目盛
り線は、Ｓ５２において目盛りデータと対応づけて得ら
れた目盛り線である。目盛り線Ｍｉ，Ｍｊの中心線から
基準軸６１間での距離をＭｉ．ｄｉｓｔ，Ｍｊ．ｄｉｓ
ｔとし、対応する目盛りデータをＭｉ．ｄａｔａ，Ｍ
ｊ．ｄａｔａとする。これらにより、棒矩形のデータ
（Ｌｋ．ｄａｔａ）は次の式で求められる。Ｌｋ．ｄａｔａ＝Ｍｉ．ｄａｔａ＋（Ｌｋ．ｄｉｓｔ−
Ｍｉ．ｄｉｓｔ）×（Ｍｊ．ｄａｔａ−Ｍｉ．ｄａｔ
ａ）／（Ｍｊ．ｄｉｓｔ−Ｍｉ．ｄｉｓｔ）上式を抽出されたすべての棒矩形に適用し、棒項目を数
値的なデータに変換する。

【００４５】以上の処理により、棒グラフを表わすイメ
ージデータを数値的なデータに変換することが可能とな
る。上述の説明では、図８（Ａ）に示すような縦方向に
棒が伸びている棒グラフについて説明したが、図１０
（Ａ）に示したような横方向の棒グラフでも同様にして
数値データへの変換が可能である。さらに、上述の第１
の実施の形態では、水平線分および垂直線分の交点数に
よって基準軸を求めているので、例えば、図１０（Ｂ）
に示すような上下に棒が伸びる棒グラフであっても、ま
た、図１０（Ｃ）に示すように複数の棒矩形によって１
つの棒要素が構成される場合であっても、基準軸を求め
て各棒矩形の数値化を行なうことができる。

【００４６】図１１は、棒グラフのさらに別の例の説明
図である。ビジネス文書や技術文書で用いられている棒
グラフは、図９や図１０に示すような実線のみによって
構成されているものだけではなく、実線以外に点線や破
線などが含まれている場合がある。図１１では図１０に
対応させて、図１１（Ａ）には横向きの棒グラフを、図
１０（Ｂ）には上下に伸びる棒グラフを、図１０（Ｃ）
には複数の棒項目で１つの要素を示す棒グラフを示して
いる。これらの棒グラフは、いずれもよく使われるもの
であり、実線以外に点線、破線なども含まれている。上
述の文献に記載されているような従来の棒グラフ認識装
置では、これらの形式の棒グラフを認識することは想定
されておらず、棒グラフには点線や破線あるいは線の途
切れがある場合、文字部分と、点線や破線部分の区別が
明確にできない。また、同様にして棒グラフを認識する
ことは困難である。次の第２の実施の形態では、このよ
うな点線や破線を含む棒グラフにも対応する構成を示
す。

【００４７】図１２は、本発明の棒グラフ認識装置の第
２の実施の形態を示す構成図である。図中、図１と同様
の部分には同じ符号を付して説明を省略する。１２は縮
小画像作成部である。縮小画像作成部２は、画像入力部
１で入力されたイメージデータに対して、イメージデー
タに含まれている点線／破線などの線の途切れが無視で
きるほどの縮小画像を作成し、破線を接続する。例え
ば、４００ｓｐｉの２値画像に対して、６４：１の縮小
率で画像の縮小処理を行なう。すなわち、８×８ドット
の矩形領域において黒画素が存在する場合には１ドット
の黒画素とし、全て白画素の場合には１ドットの白画素
とすることにより縮小画像を作成する。

【００４８】外接矩形作成部２は、画像入力部１で得ら
れたイメージデータ中の各黒画素の塊に対してラベル付
けを行ない、各黒画素の塊に一意の番号を与えてラベル
画像を作成し、このラベル画像を用いて各黒画素塊の外
接矩形を作成する。同様にして、縮小画像作成部１２で
得られた縮小画像中の連結する黒画素塊の外接矩形を作
成する。このラベル付け処理に先立って、例えば、ノイ
ズ除去や傾き補正、スムージング等といった前処理を行
なっておくことも可能である。

【００４９】文字分離部３は、画像入力部１で得られた
イメージデータから文字記号領域を分離する。まず、外
接矩形作成部２で得られたイメージデータの連結する黒
画素塊の各外接矩形の縦及び横方向の長さがしきい値よ
り小さいものを文字らしいものと推定する。同様に、縮
小画像中の連結する黒画素塊の各外接矩形から文字らし
いものを推定し、その矩形の大きさをもとの大きさまで
拡大し、前記イメージデータ中の連結する黒画素塊の外
接矩形から得られた文字矩形と論理和演算より文字外接
矩形を抽出し、その文字外接矩形に対応する部分画像を
切り出し、文字画像データを作成する。このとき用いる
しきい値は、文字の大きさよりも多少大きめに設定する
とよい。

【００５０】線分抽出部６は、図形分離部５によって作
成された図形画像データを、点線／破線などの線の途切
れが無視できるほどの縮小画像を作成することによって
破線を接続し、得られた縮小画像を水平方向または垂直
方向に走査し、連続して並ぶ黒画素列のうちその長さが
しきい値より大きいものを水平線分または垂直線分とし
て抽出し、水平線分または垂直線分の座標を求め、その
座標を元の大きさまで拡大する。なお、図形分離部５に
おいて、縮小画像作成部１２で作成した縮小画像に対し
ても図形データの分離処理を行なえば、線分抽出部６で
改めて縮小画像を作成する必要はない。

【００５１】縮小画像によって点線や破線を実線化し、
認識する手法は、従来から用いられており、例えば、特
開平５−１２４８９号公報に記載されている表認識装置
でも採用されている。しかし、棒グラフの認識では、グ
ラフ中の棒の大きさなどが問題となるため、縮小画像は
点線や破線を含む線分の抽出に適用し、実際の文字の認
識や数値化にはもとイメージデータあるいはもとの大き
さに復元した座標値を用いている。なお、縮小画像を用
いる以外にも、処理時間に余裕があれば、一直線上に並
んだ短い線列を破線や点線を構成する線セグメントの隣
接関係により破線や点線を抽出する手法を採用すること
も可能である。あるいは、太線化処理によって黒画素塊
を外側へ膨らませて、破線などを連続化させる方法を用
いることもできる。さらには、例えばｎ×ｎ画素ごと
に、その中に１つでも黒画素があればｎ×ｎ画素すべて
を黒画素として、解像度を低下させることによって破線
などの連続化を図ることもできる。

【００５２】他の構成については、上述の第１の実施の
形態と同様である。このように、縮小画像を用いて点線
や破線を実線化して処理することによって、点線や破線
によって表現された棒グラフであっても認識することが
できる。

【００５３】次に、具体例を用いて本発明の第２の実施
の形態における動作の一例について説明する。図１３
は、本発明の第２の実施の形態における画像入力部１で
入力されたイメージデータの一例の説明図、図１４は、
図１３に示すイメージデータの縮小画像の一例の説明
図、図１５は、図１３に示すイメージデータから分離し
た文字画像データの一例の説明図、図１６は、同じく図
形画像データの一例の説明図である。

【００５４】図１３に示すように、この棒グラフは破線
のみによって作成されている。画像入力部１からこのよ
うな画像が入力されると、縮小画像作成部１２は、図１
３に示す画像を例えば６４：１に縮小し、縮小画像を生
成する。この縮小画像を図１４に示す。図１４では、縮
小後の各画素がわかるように、等倍となるように拡大し
て示している。図１４を参照してわかるように、縮小画
像では例えば破線や点線の隙間のように微細な間隙はつ
ぶれてしまう。そのため、この縮小画像では、破線や点
線、あるいは実線であってもかすれなどでと切れている
線分などが連続する。このように、縮小画像を作成する
ことによって、破線や点線を効率よく迅速に接続して実
線化することができる。これにより、破線や点線は実線
と同様に取り扱うことが可能となる。

【００５５】外接矩形作成部２では、図１３に示すイメ
ージデータおよび図１４に示す縮小画像に対してラベル
付けを行なって外接矩形を作成する。図１３に示すイメ
ージデータについてラベル付けを行なって外接矩形を作
成すると、グラフを構成する破線の線素１つずつに対し
てラベルが付与され、外接矩形が作成される。一方、図
１４に示す縮小画像では、グラフは１つの黒画素の連続
した塊として外接矩形が作成される。また、グラフの周
囲の文字、数字については、図１３に示すイメージデー
タではそれぞれの文字、数字について外接矩形が作成さ
れるが、図１４に示す縮小画像では、ある場合には複数
文字で１つの外接矩形が作成される場合もある。

【００５６】文字分離部３は、図１３に示すイメージデ
ータから外接矩形作成部２で得られた各外接矩形の縦及
び横方向の長さがしきい値より小さいものを文字らしい
ものと推定する。同様に、縮小画像中の連結する黒画素
塊の各外接矩形から文字らしいものを推定し、その矩形
の大きさをもとの大きさまで拡大し、前記イメージデー
タ中の連結する黒画素塊の外接矩形から得られた文字矩
形と論理積演算より文字外接矩形を抽出し、その文字外
接矩形に対応する部分画像を図１３に示すイメージデー
タから切り出し、文字画像データを作成する。これによ
り、図１３に示すイメージデータから、破線の各線素を
文字外接矩形と推定しても、図１４に示す縮小画像では
文字であるとは推定されないので、これらは文字画像デ
ータとはならない。また、図１４に示す縮小画像で複数
文字を１つの文字外接矩形として作成されている場合で
も、図１４に示すイメージデータから作成された文字外
接矩形によってそれぞれの文字画像データが作成され
る。

【００５７】このようにして作成された文字画像データ
を図１５に示している。文字画像データは文字認識部４
に渡されて認識されるので、図１３に示すイメージデー
タから文字外接矩形領域が抽出されて作成される。

【００５８】図形分離部５は、図１３に示すイメージデ
ータと図１５に示す文字画像データの排他的論理和演算
を行なって、文字画像データを消去した図形画像データ
を作成する。作成された図形画像データを図１６に示し
ている。

【００５９】次に、別の具体例を用いて本発明の第２の
実施の形態における動作の一例について説明する。図１
７は、本発明の第２の実施の形態における画像入力部１
で入力されたイメージデータの一例の説明図、図１８
は、図１７に示すイメージデータの縮小画像の一例の説
明図、図１９は、図１７に示すイメージデータから分離
した文字画像データの一例の説明図、図２０は、同じく
図形画像データの一例の説明図である。上述の図１３〜
図１６では、縦方向に棒が伸びている棒グラフについて
説明したが、図１７に示すような横方向の棒グラフでも
同様にして文字図形分離が可能である。

【００６０】図１７に示すように、この棒グラフは実線
で構成されているが、グラフ内の目盛線には点線が用い
られている。画像入力部１から図１７に示す画像が入力
されると、縮小画像作成部１２は、図１７に示す画像を
縮小し、図１８に示す縮小画像を生成する。図１８で
は、縮小後の各画素がわかるように、等倍となるように
拡大して示している。図１８に示すように、縮小画像で
は点線が連続し、実線のようになっている。外接矩形作
成部２では、図１７に示すイメージデータおよび図１８
に示す縮小画像に対してラベル付けを行なって外接矩形
を作成する。そして文字分離部３は、図１７に示すイメ
ージデータから得られた各外接矩形から文字らしいもの
と推定し、また、図１８に示す縮小画像から得られた各
外接矩形から文字らしいものを推定してその矩形の大き
さをもとの大きさまで拡大し、対応するイメージデータ
の文字外接矩形との論理積を演算する。これにより、文
字外接矩形を抽出し、その文字外接矩形に対応する部分
画像を図１７に示すイメージデータから切り出し、図１
９に示す文字画像データを作成する。文字認識部４はこ
の図１９に示す文字画像データをもとに文字、数字など
の認識処理を行なう。また、図形分離部５において、図
１７に示すイメージデータから図１９に示す文字画像デ
ータが除去され、図２０に示す図形画像データが作成さ
れる。

【００６１】図１３または図１７に示すイメージデータ
から作成された図１６または図２０に示す図形画像デー
タは、線分抽出部６に渡される。線分抽出部６は、図１
６あるいは図２０に示す文字画像データの除去された図
形画像データをもとに線分を抽出する。このときにも、
例えば縮小画像を作成し、破線や点線を連続化した上で
実線の抽出と同様にして線分を抽出すればよい。ただ
し、縮小画像上で抽出した線分はもとの大きさに拡大さ
れる。以後、上述の第一の実施の形態と同様に、抽出し
た線分をもとに、線分交点検出部７による交点検出、グ
ラフ要素検出部８によるグラフ要素の抽出、目盛線抽出
部９および棒項目抽出部１０による目盛線および棒項目
の抽出を行ない、データ変換部１２でグラフの数値デー
タを得る。

【００６２】この第２の実施の形態によれば、このよう
にして図１３や図１７に示すような破線や点線の含まれ
るグラフであっても、グラフを認識することができる。
もちろん、ここに取り上げた図１３および図１７に示し
た具体例のほか、技術文書およびビジネス文書に使われ
ている種々の棒グラフにも対応することができる。

【００６３】なお、上述の例では、実データ軸の近傍に
記入された目盛りデータを用いて数値的な値を得た。し
かし、本発明ではこれに限らず、例えば、棒グラフの再
現のみのためにコード化する場合や、目盛りデータが記
入されていない棒グラフを入力する場合などでは、数値
的なデータへの変換を行なわず、各棒要素間の関係を出
力するように構成することができる。この場合には、目
盛り線の抽出処理は不要であり、各棒矩形の水平線分か
ら基準軸までの距離を求めることによって実現可能であ
る。

【００６４】

【発明の効果】以上の説明から明らかなように、本発明
によれば、棒グラフを含む文書画像から文字と図形領域
を分離抽出した後、文字領域は文字認識し、図形領域は
線分を抽出して交点を検出し、交点の分布から棒グラフ
の構造を決定し、各棒要素から数値データあるいはデー
タ間の関係に変換するように構成したので、多様な棒グ
ラフに対応した棒グラフ認識装置を得ることができる。
特に、請求項２に記載の発明のように、実データ軸に記
入されている目盛り線を抽出し、目盛りデータと目盛り
線を対応づけることにより、各棒要素の示す実際の値を
得ることが可能となるという効果がある。

【００６５】また、請求項３，４に記載の発明のよう
に、破線接続手段を設けることにより、点線や破線など
の線種にかかわらず、種々の棒グラフの構造を認識で
き、グラフ情報を再構成可能な数値的データあるいはデ
ータ間の関係に変換することができるという効果があ
る。

【図面の簡単な説明】

【図１】本発明の棒グラフ認識装置の第１の実施の形
態を示す構成図である。

【図２】線分の座標の説明図である。

【図３】線分交点検出部における交点の検出処理の一
例を示すフローチャートである。

【図４】グラフ要素検出部における処理の一例を示す
フローチャートである。

【図５】棒項目抽出部における処理の一例を示すフロ
ーチャートである。

【図６】棒項目を抽出する具体例の説明図である。

【図７】データ変換部における処理の一例を示すフロ
ーチャートである。

【図８】データ化処理の具体例の説明図である。

【図９】棒グラフの一例の説明図である。

【図１０】棒グラフの別の例の説明図である。

【図１１】棒グラフのさらに別の例の説明図である。

【図１２】本発明の棒グラフ認識装置の第２の実施の
形態を示す構成図である。

【図１３】本発明の第２の実施の形態における画像入
力部で入力されたイメージデータの一例の説明図であ
る。

【図１４】図１３に示すイメージデータの縮小画像の
一例の説明図である。

【図１５】図１３に示すイメージデータから分離した
文字画像データの一例の説明図である。

【図１６】図１３に示すイメージデータから文字画像
データを分離した後の図形画像データの一例の説明図で
ある。

【図１７】本発明の第２の実施の形態における画像入
力部で入力されたイメージデータの一例の説明図であ
る。

【図１８】図１７に示すイメージデータの縮小画像の
一例の説明図である。

【図１９】図１７に示すイメージデータから分離した
文字画像データの一例の説明図である。

【図２０】図１７に示すイメージデータから文字画像
データを分離した後の図形画像データの一例の説明図で
ある。

【符号の説明】

１…画像入力部、２…外接矩形作成部、３…文字領域抽
出部、４…文字認識部、５…グラフ領域抽出部、６…線
分抽出部、７…線分交点検出部、８…グラフ要素検出
部、９…目盛り線抽出部、１０…棒項目抽出部、１１…
データ変換部、１２…縮小画像作成部、６１…基準軸、
６２…実データ軸、６３…棒矩形の線、６４，６５…目
盛り線、６６，６７…目盛りデータ。

Claims

【特許請求の範囲】

【請求項１】棒グラフを含む文書をイメージデータと
して入力する入力手段と、前記入力手段により得られた
イメージデータの中から文字記号領域と図形領域を分離
する文字図形分離手段と、前記イメージデータから分離
された文字記号領域内の文字記号を認識して文字コード
を得る文字認識手段と、前記イメージデータから分離さ
れた図形領域から水平線分または垂直線分を抽出する線
分抽出手段と、該線分抽出手段で抽出された前記水平線
分と前記垂直線分の交点を求める線分交点検出手段と、
該線分交点検出手段で検出された前記交点の分布により
棒の方向を判定し基準軸と実データ軸を検出する棒グラ
フ要素検出手段と、該棒グラフ要素検出手段により判定
された前記棒の方向に基づき前記線分抽出手段で抽出さ
れた前記水平線分および前記垂直線分と前記線分交点検
出手段で検出された前記交点を用いて棒グラフを構成す
る棒情報を抽出する棒項目抽出手段と、該棒項目抽出手
段で抽出された棒情報を再構成可能な数値データあるい
はデータ間の関係に変換するデータ変換手段を備えたこ
とを特徴とする棒グラフ認識装置。
【請求項２】さらに、前記棒グラフ要素検出手段で検
出した実データ軸に基づき目盛り線を抽出する目盛り線
抽出手段を設け、前記データ変換手段は、前記文字認識
手段により得られた文字コードを用いて前記目盛り線抽
出手段により抽出された目盛り線と数値を対応づけ前記
棒項目抽出手段により抽出された棒項目を対応する数値
データに変換することを特徴とする請求項１に記載の棒
グラフ認識装置。
【請求項３】前記文字図形分離手段は、前記入力手段
により得られたイメージデータ中の破線を接続する破線
接続手段と、前記入力手段により得られたイメージデー
タ中の連結する黒画素塊の外接矩形および前記破線接続
手段により得られた画像中の連結する黒画素塊の外接矩
形を作成する外接矩形作成手段と、該外接矩形作成手段
で得られた前記イメージデータ中の連結する黒画素塊の
外接矩形と前記破線接続手段により得られた画像中の連
結する黒画素塊の外接矩形から文字領域を推定し前記イ
メージデータから文字外接矩形に対応する部分画像を前
記文字記号領域とする文字分離手段と、前記イメージデ
ータから該文字分離手段で得られた文字記号領域の画像
データを消去して図形領域とする図形分離手段を有する
ことを特徴とする請求項１または２に記載の棒グラフ認
識装置。
【請求項４】破線接続手段は、前記イメージデータを
縮小することによって破線が接続された縮小画像を作成
し、前記文字分離手段は、前記イメージデータ中の文字
領域と推定される外接矩形と、前記縮小画像中の文字領
域と推定される外接矩形をもとの大きさに拡大して、論
理積演算により文字外接矩形を特定することを特徴とす
る請求項３に記載の棒グラフ認識装置。