JP2581353B2 - グラフ画像登録システム - Google Patents
グラフ画像登録システムInfo
- Publication number
- JP2581353B2 JP2581353B2 JP3211873A JP21187391A JP2581353B2 JP 2581353 B2 JP2581353 B2 JP 2581353B2 JP 3211873 A JP3211873 A JP 3211873A JP 21187391 A JP21187391 A JP 21187391A JP 2581353 B2 JP2581353 B2 JP 2581353B2
- Authority
- JP
- Japan
- Prior art keywords
- axis
- graph
- extracting
- character string
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、文書画像の解析システ
ム、それを用いて文書画像の自動登録を行なう文書画像
の画像データベースシステムに係り、特にグラフ画像の
登録、検索を行なうグラフ画像登録シスステムに関す
る。
ム、それを用いて文書画像の自動登録を行なう文書画像
の画像データベースシステムに係り、特にグラフ画像の
登録、検索を行なうグラフ画像登録シスステムに関す
る。
【０００２】
【従来の技術】文書画像を画像データとして大量に蓄積
できる文書ファイリングシステムが実用化され、普及し
てきている。現在実用化されているファイリングシステ
ムにおいては、主として文書の登録年月日、文書番号、
頁番号、文書中のキーワード等がインデックスとして登
録されている。現状では、インデックスは文書画像を入
力する際にオペレータがキーボードによって登録してい
る。こうしたファイリングシステムの登録作業の省力化
のため、文書画像の内容を理解して検索属性を抽出し、
適切なインデックスを登録する方式の開発が必要になっ
てきている。
できる文書ファイリングシステムが実用化され、普及し
てきている。現在実用化されているファイリングシステ
ムにおいては、主として文書の登録年月日、文書番号、
頁番号、文書中のキーワード等がインデックスとして登
録されている。現状では、インデックスは文書画像を入
力する際にオペレータがキーボードによって登録してい
る。こうしたファイリングシステムの登録作業の省力化
のため、文書画像の内容を理解して検索属性を抽出し、
適切なインデックスを登録する方式の開発が必要になっ
てきている。
【０００３】文書には文字だけでなく、図や写真、表が
混在しているものが多い。特に学術文献等においては図
が文書の中で重要な意味を持つことが多い。従ってこう
した文書中の図表の検索属性を自動的に抽出し、登録す
ることが重要となっている。従来の図形・画像データベ
ースにおける自動登録の公知例としては、たとえば、商
標・意匠パターンを対象として、類似画像検索を行うた
めに特徴パラメータを抽出するものがある（加藤、下
垣、藤村「画像対話型商標・意匠データベースＴＲＡＤＥ
ＭＡＲＫ」電子情報通信学会論文誌 '89/4 Vol.J72-D-II
No.4）。また、図形、特に植物の葉の形状を対象に、
複素自己回帰モデルを用いて図形検索を行うものがある
（関田、栗田、大津「複素自己回帰モデルによる類似形
状の検索」電子情報通信学会研究会資料IPA89-23）。さ
らに、文書の文字領域の位置関係を手がかりに文書を頁
単位に検索する試みがある（高橋、島、岸野「位置関係
を利用した画像データベース検索システム」電子情報通
信学会研究会資料PRU89-80）。これらの方式において
は、検索条件の入力が、例示画像等を用いる感覚的で曖
昧なものとなり、学術文献などの検索には適していな
い。また、部品イラスト図面を対象として、図面画像か
ら部品コードを抽出しているものがある（武田、小野
「部品イラスト図面からの文字列パターンの抽出」コン
ピュータビジョン62-51989年9月21日）。この方式で
は、多数抽出された文字列から検索属性として重要なも
のを選択し抽出することは行っておらず、このため、図
表の検索属性を登録することには適さない。
混在しているものが多い。特に学術文献等においては図
が文書の中で重要な意味を持つことが多い。従ってこう
した文書中の図表の検索属性を自動的に抽出し、登録す
ることが重要となっている。従来の図形・画像データベ
ースにおける自動登録の公知例としては、たとえば、商
標・意匠パターンを対象として、類似画像検索を行うた
めに特徴パラメータを抽出するものがある（加藤、下
垣、藤村「画像対話型商標・意匠データベースＴＲＡＤＥ
ＭＡＲＫ」電子情報通信学会論文誌 '89/4 Vol.J72-D-II
No.4）。また、図形、特に植物の葉の形状を対象に、
複素自己回帰モデルを用いて図形検索を行うものがある
（関田、栗田、大津「複素自己回帰モデルによる類似形
状の検索」電子情報通信学会研究会資料IPA89-23）。さ
らに、文書の文字領域の位置関係を手がかりに文書を頁
単位に検索する試みがある（高橋、島、岸野「位置関係
を利用した画像データベース検索システム」電子情報通
信学会研究会資料PRU89-80）。これらの方式において
は、検索条件の入力が、例示画像等を用いる感覚的で曖
昧なものとなり、学術文献などの検索には適していな
い。また、部品イラスト図面を対象として、図面画像か
ら部品コードを抽出しているものがある（武田、小野
「部品イラスト図面からの文字列パターンの抽出」コン
ピュータビジョン62-51989年9月21日）。この方式で
は、多数抽出された文字列から検索属性として重要なも
のを選択し抽出することは行っておらず、このため、図
表の検索属性を登録することには適さない。
【０００４】
【発明が解決しようとする課題】本発明は、文書画像に
掲載されている図表のうちの特にグラフに注目し、効率
良くグラフの画像を登録し内容検索可能な画像データベ
ースを構築する手段を提供するものである。
掲載されている図表のうちの特にグラフに注目し、効率
良くグラフの画像を登録し内容検索可能な画像データベ
ースを構築する手段を提供するものである。
【０００５】グラフ画像では、現在の光学的文字認識装
置に用いられる帳票と異なり、文字の記入されている場
所が指定されていない。このため、グラフ画像中の文字
列を検索属性として抽出するためには、まず文字列の記
入されている場所を検出しなければならない。
置に用いられる帳票と異なり、文字の記入されている場
所が指定されていない。このため、グラフ画像中の文字
列を検索属性として抽出するためには、まず文字列の記
入されている場所を検出しなければならない。
【０００６】さらに、グラフ中には様々な文字列が存在
し、必ずしも図表中の文字列のすべてが検索属性として
重要とは限らない。折線グラフを例として挙げると、グ
ラフの軸目盛や単位名称などは重要でなく、グラフのタ
イトルや軸名称等は検索属性として重要である。グラフ
画像の自動登録を行う為にはこれらの文字列の中から検
索属性として重要な文字列を選択し、抽出する必要があ
る。
し、必ずしも図表中の文字列のすべてが検索属性として
重要とは限らない。折線グラフを例として挙げると、グ
ラフの軸目盛や単位名称などは重要でなく、グラフのタ
イトルや軸名称等は検索属性として重要である。グラフ
画像の自動登録を行う為にはこれらの文字列の中から検
索属性として重要な文字列を選択し、抽出する必要があ
る。
【０００７】
【課題を解決するための手段】本発明は、少なくともグ
ラフ領域を含む文書を文書画像データとして入力する手
段と、文書画像データからグラフ領域を識別する手段
と、文書画像データ中のグラフ領域から検索の手がかり
となる検索属性を抽出する手段と、抽出された検索属性
をインデックスとして上記グラフ領域の文書画像データ
とともに記載する手段と、記録されたインデックスによ
りグラフ画像を検索する手段を有することを特徴とす
る。
ラフ領域を含む文書を文書画像データとして入力する手
段と、文書画像データからグラフ領域を識別する手段
と、文書画像データ中のグラフ領域から検索の手がかり
となる検索属性を抽出する手段と、抽出された検索属性
をインデックスとして上記グラフ領域の文書画像データ
とともに記載する手段と、記録されたインデックスによ
りグラフ画像を検索する手段を有することを特徴とす
る。
【０００８】更に検索属性抽出手段は、グラフの構造を
検索属性として抽出する手段を有し、抽出されたグラフ
の構造をグラフの画像と同時に視覚的に表示する手段
と、操作者が上記の表示手段によりグラフの構造の抽出
結果を確認し必要ならば訂正を行なうための入力手段を
グラフ画像登録システムに備えたことを等を特徴とする
ものである。
検索属性として抽出する手段を有し、抽出されたグラフ
の構造をグラフの画像と同時に視覚的に表示する手段
と、操作者が上記の表示手段によりグラフの構造の抽出
結果を確認し必要ならば訂正を行なうための入力手段を
グラフ画像登録システムに備えたことを等を特徴とする
ものである。
【０００９】
【作用】本発明のグラフ画像の検索属性抽出処理におい
ては、まず文書の画像から画像処理によりグラフの特徴
的な構成要素の候補を求める。これらをあらかじめ登録
しているグラフの構造に関する知識と照合してグラフの
構造を認識する。さらに抽出されたグラフの構造とグラ
フ中の文字列の配置に関する知識をもとに検索属性とし
て有効な文字列を抽出する。実施例においては、グラフ
画像の周辺分布を算出し、軸及び文字列の候補を求め
る。さらにこれらをあらかじめ登録しているグラフの軸
構造及び軸名称の配置の規則と照合してこれらの候補か
ら軸構造及び軸名称を抽出する。
ては、まず文書の画像から画像処理によりグラフの特徴
的な構成要素の候補を求める。これらをあらかじめ登録
しているグラフの構造に関する知識と照合してグラフの
構造を認識する。さらに抽出されたグラフの構造とグラ
フ中の文字列の配置に関する知識をもとに検索属性とし
て有効な文字列を抽出する。実施例においては、グラフ
画像の周辺分布を算出し、軸及び文字列の候補を求め
る。さらにこれらをあらかじめ登録しているグラフの軸
構造及び軸名称の配置の規則と照合してこれらの候補か
ら軸構造及び軸名称を抽出する。
【００１０】上記のような処理では、誤認識が避けられ
ないため、検索属性抽出結果の修正手段が必要となる。
抽出された検索属性は、もとのグラフの画像と対比する
ことができる形式で視覚的に表示される。操作者がこの
表示結果を確認し、必要に応じ訂正を施す手段を用意す
ることにより、効率的に検索属性の自動的な抽出の誤り
を訂正しグラフの画像の登録作業を行なうことが可能と
なる。
ないため、検索属性抽出結果の修正手段が必要となる。
抽出された検索属性は、もとのグラフの画像と対比する
ことができる形式で視覚的に表示される。操作者がこの
表示結果を確認し、必要に応じ訂正を施す手段を用意す
ることにより、効率的に検索属性の自動的な抽出の誤り
を訂正しグラフの画像の登録作業を行なうことが可能と
なる。
【００１１】これにより、従来では困難であった文書画
像データのデータベースへの登録における省力化が可能
になる。
像データのデータベースへの登録における省力化が可能
になる。
【００１２】
【実施例】グラフ画像登録システムの原理について説明
する。図１は本発明によるグラフ画像を自動登録し、内
容検索を行なうグラフ画像登録システムの一実施例の構
成図である。文書画像の２値データが画像入力手段101
によって入力され、グラフ画像領域抽出手段102に転送
される。グラフ画像領域抽出手段において、操作者の入
力によって対話的に、あるいは画像認識技術によって自
動的に、文書画像からグラフ領域が抽出される。抽出さ
れたグラフ領域は、画像データベース104に登録され
る。一方、文書画像のグラフ領域は、検索属性抽出手段
103にも転送される。検索属性抽出手段103ではグラフ画
像から図２に示すようなグラフ名称（キャプション）10
9、グラフ種類110、グラフの軸名称111及び112などを抽
出する。
する。図１は本発明によるグラフ画像を自動登録し、内
容検索を行なうグラフ画像登録システムの一実施例の構
成図である。文書画像の２値データが画像入力手段101
によって入力され、グラフ画像領域抽出手段102に転送
される。グラフ画像領域抽出手段において、操作者の入
力によって対話的に、あるいは画像認識技術によって自
動的に、文書画像からグラフ領域が抽出される。抽出さ
れたグラフ領域は、画像データベース104に登録され
る。一方、文書画像のグラフ領域は、検索属性抽出手段
103にも転送される。検索属性抽出手段103ではグラフ画
像から図２に示すようなグラフ名称（キャプション）10
9、グラフ種類110、グラフの軸名称111及び112などを抽
出する。
【００１３】検索属性抽出手段103で抽出された検索属
性は、インデックスとして画像データベース104にグラ
フ画像、本文文字情報などとともに自動的に登録され、
グラフ画像の内容検索手段105に用いられる。
性は、インデックスとして画像データベース104にグラ
フ画像、本文文字情報などとともに自動的に登録され、
グラフ画像の内容検索手段105に用いられる。
【００１４】尚、106は画像入力手段101からの文書画像
から文書領域を抽出する文字領域抽出手段、107は文書
領域において文字認識を行なう文書内文字認識手段であ
り、本文の文字情報として画像データベース104に登録
する。
から文書領域を抽出する文字領域抽出手段、107は文書
領域において文字認識を行なう文書内文字認識手段であ
り、本文の文字情報として画像データベース104に登録
する。
【００１５】検索属性登録の対象とするグラフについて
説明する。まず、グラフの種類を述べる。グラフには折
線、円グラフ、帯グラフの他に、散布図、ポートフォリ
オチャート、パレートグラフ、面グラフ等様々な種類が
ある。これらのグラフは、以下のように３種類に分類で
きる。
説明する。まず、グラフの種類を述べる。グラフには折
線、円グラフ、帯グラフの他に、散布図、ポートフォリ
オチャート、パレートグラフ、面グラフ等様々な種類が
ある。これらのグラフは、以下のように３種類に分類で
きる。
【００１６】タイプＡ：折線グラフまたはそれに準ずる
もの ２つの量の関係を平面上の座標の値（ｘ，ｙ）で表現し
たもの 例：折線グラフ、散布図、ポートフォリオチャート、パ
レートグラフ、面グラフ タイプＢ：棒グラフまたはそれに準ずるもの ある量を長方形の幅で表現して表示するグラフ 例：棒グラフ、帯グラフ タイプＣ：その他のグラフ タイプＡ、タイプＢのどちらにも分類されないもの 例：円グラフ、地図グラフなど、 実際の学術文献の中ではどのようなグラフが用いられて
いるか調査した結果では、グラフの大半は、折れ線グラ
フまたはそれに準ずるものであった。そこで、出現頻度
の高い折れ線グラフを特に対象として検索属性を抽出す
るシステムを開発することを目的とするものである。
もの ２つの量の関係を平面上の座標の値（ｘ，ｙ）で表現し
たもの 例：折線グラフ、散布図、ポートフォリオチャート、パ
レートグラフ、面グラフ タイプＢ：棒グラフまたはそれに準ずるもの ある量を長方形の幅で表現して表示するグラフ 例：棒グラフ、帯グラフ タイプＣ：その他のグラフ タイプＡ、タイプＢのどちらにも分類されないもの 例：円グラフ、地図グラフなど、 実際の学術文献の中ではどのようなグラフが用いられて
いるか調査した結果では、グラフの大半は、折れ線グラ
フまたはそれに準ずるものであった。そこで、出現頻度
の高い折れ線グラフを特に対象として検索属性を抽出す
るシステムを開発することを目的とするものである。
【００１７】ここで、折線グラフの構成について説明す
る。図２にＪＩＳの規格Ｘ４００２に事務用グラフ表現
規則として規定されている折れ線グラフの構造を示す。
このように折れ線グラフは通常、縦軸と横軸、軸目盛、
軸名などから成っている。
る。図２にＪＩＳの規格Ｘ４００２に事務用グラフ表現
規則として規定されている折れ線グラフの構造を示す。
このように折れ線グラフは通常、縦軸と横軸、軸目盛、
軸名などから成っている。
【００１８】グラフから抽出される検索属性には、図３
に示すようにレイアウト構造から抽出されるもの、論理
構造から抽出されるもの、関連属性から抽出されるも
の、グラフ中の文字から抽出されるもの、グラフの構成
から抽出されるものがある。本発明ではこれらの検索属
性のうちの、図表中の文字とグラフの構成から得られる
検索属性を抽出する。図表中の文字から得られる検索属
性として軸名を自動的に抽出する。グラフの構成から得
られる検索属性に関しては、グラフの軸の構造を自動的
に抽出する。
に示すようにレイアウト構造から抽出されるもの、論理
構造から抽出されるもの、関連属性から抽出されるも
の、グラフ中の文字から抽出されるもの、グラフの構成
から抽出されるものがある。本発明ではこれらの検索属
性のうちの、図表中の文字とグラフの構成から得られる
検索属性を抽出する。図表中の文字から得られる検索属
性として軸名を自動的に抽出する。グラフの構成から得
られる検索属性に関しては、グラフの軸の構造を自動的
に抽出する。
【００１９】実際の文書中で用いられているグラフは必
ずしも図２のような構造になっているとは限らない。必
要に応じ様々な構造のグラフが用いらているのが現状で
ある。例えば、軸が省略される場合、軸の位置が変化す
る場合、他のグラフや図と組み合わされて用いられる場
合等がある。図４は折れ線グラフの軸の構造（軸の座標
及び軸の交差の仕方）に注目して分類した場合の代表的
な種類の例を示す。Ｌ型の様なタイプが横軸がグラフの
下側、縦軸がグラフの左側にある最も一般的な形式であ
る。逆Ｔ型は、縦軸がグラフの中央を貫き、横軸が下端
にある形式である。横Ｔ型は、横軸がグラフの中央を貫
き、縦軸が左端にある形式である。長方形型は、グラフ
が長方形の枠で囲まれていて、長方形の辺がグラフの軸
となっている形式である。このように軸の構造が変化す
るとそれに伴い、軸名称、軸目盛などの配置される場所
も変化する。
ずしも図２のような構造になっているとは限らない。必
要に応じ様々な構造のグラフが用いらているのが現状で
ある。例えば、軸が省略される場合、軸の位置が変化す
る場合、他のグラフや図と組み合わされて用いられる場
合等がある。図４は折れ線グラフの軸の構造（軸の座標
及び軸の交差の仕方）に注目して分類した場合の代表的
な種類の例を示す。Ｌ型の様なタイプが横軸がグラフの
下側、縦軸がグラフの左側にある最も一般的な形式であ
る。逆Ｔ型は、縦軸がグラフの中央を貫き、横軸が下端
にある形式である。横Ｔ型は、横軸がグラフの中央を貫
き、縦軸が左端にある形式である。長方形型は、グラフ
が長方形の枠で囲まれていて、長方形の辺がグラフの軸
となっている形式である。このように軸の構造が変化す
るとそれに伴い、軸名称、軸目盛などの配置される場所
も変化する。
【００２０】次に、折線グラフの検索属性とグラフの内
容検索について説明する。本発明にかかるグラフの検索
属性抽出では、グラフより軸の構造及び軸名称を示す文
字列を取り出す。図５に図１に示した検索属性抽出手段
103におけるグラフ画像からの検索属性抽出を行なうた
めのプログラムの構成を示し、詳細に説明する。
容検索について説明する。本発明にかかるグラフの検索
属性抽出では、グラフより軸の構造及び軸名称を示す文
字列を取り出す。図５に図１に示した検索属性抽出手段
103におけるグラフ画像からの検索属性抽出を行なうた
めのプログラムの構成を示し、詳細に説明する。
【００２１】グラフ画像検索属性自動抽出処理部501に
於いては、まずグラフの2値画像502が入力されると黒画
素密集点集合抽出部505内の、周辺分布算出部508がグラ
フ画像の縦、横の周辺分布の算出を行なう。次に極大点
検出部509が軸及び軸名の座標の候補の検出を行う。こ
の結果の黒画素密集点集合515が軸構造抽出部506、軸名
抽出部507に渡される。
於いては、まずグラフの2値画像502が入力されると黒画
素密集点集合抽出部505内の、周辺分布算出部508がグラ
フ画像の縦、横の周辺分布の算出を行なう。次に極大点
検出部509が軸及び軸名の座標の候補の検出を行う。こ
の結果の黒画素密集点集合515が軸構造抽出部506、軸名
抽出部507に渡される。
【００２２】軸構造抽出部506には、軸抽出部510と軸構
造判別部511が含まれている。軸抽出部510はグラフの画
像の周辺分布より求められた軸及び文字列の候補から黒
ラン長によって文字列を分離し、画像中から軸と思われ
る線分（軸の候補）の位置、長さを検出する。軸構造判
別部511は、軸の候補の集合をあらかじめ登録されたグ
ラフの軸の構造と照合することにより、正しい軸を選び
出し、グラフの軸の構造を判別する。
造判別部511が含まれている。軸抽出部510はグラフの画
像の周辺分布より求められた軸及び文字列の候補から黒
ラン長によって文字列を分離し、画像中から軸と思われ
る線分（軸の候補）の位置、長さを検出する。軸構造判
別部511は、軸の候補の集合をあらかじめ登録されたグ
ラフの軸の構造と照合することにより、正しい軸を選び
出し、グラフの軸の構造を判別する。
【００２３】軸名抽出部507は、文字列領域抽出部512と
文字列種判別部513より成る。文字列領域抽出部512で
は、軸構造抽出部506で得られた軸構造及び軸座標503を
もとに、軸名の存在する可能性のある範囲で文字列領域
を抽出する。文字列種判別部513では、得られた文字列
領域から、軸名称の領域の外形及び場所に関する知識に
より軸名称を識別する。この領域をＯＣＲの技術を用い
て文字認識することにより、軸名504をインデックスと
して登録する。
文字列種判別部513より成る。文字列領域抽出部512で
は、軸構造抽出部506で得られた軸構造及び軸座標503を
もとに、軸名の存在する可能性のある範囲で文字列領域
を抽出する。文字列種判別部513では、得られた文字列
領域から、軸名称の領域の外形及び場所に関する知識に
より軸名称を識別する。この領域をＯＣＲの技術を用い
て文字認識することにより、軸名504をインデックスと
して登録する。
【００２４】グラフ画像からの検索属性抽出の処理の手
順を図６に示す。まず、軸及び文字行の座標の候補の集
合である候補集合の抽出601が行われる。この候補集合
の近傍を詳細に調べることにより軸の座標を求め軸構造
の抽出602を実行する。さらに抽出された軸構造を参照
して候補集合を調べることにより軸名称の抽出603を実
行する。以下に各部の処理の詳細について述べる。
順を図６に示す。まず、軸及び文字行の座標の候補の集
合である候補集合の抽出601が行われる。この候補集合
の近傍を詳細に調べることにより軸の座標を求め軸構造
の抽出602を実行する。さらに抽出された軸構造を参照
して候補集合を調べることにより軸名称の抽出603を実
行する。以下に各部の処理の詳細について述べる。
【００２５】図７は、候補集合の抽出方式の原理を表
す。画像701上に703、704に示すような座標系を設定す
る。ここでは、画像の左上の角を原点とし、左から右に
ｘ軸を、上から下にｙ軸をとる。また、処理の対象とな
る領域の縦、横の長さをＨ，Ｗとする。
す。画像701上に703、704に示すような座標系を設定す
る。ここでは、画像の左上の角を原点とし、左から右に
ｘ軸を、上から下にｙ軸をとる。また、処理の対象とな
る領域の縦、横の長さをＨ，Ｗとする。
【００２６】本発明においては、周辺分布を算出し、こ
れより軸及び文字列の座標の候補の集合を抽出する。こ
の処理に於いては図７に示すようにまず、グラフの画像
（グラフとその周辺の文字列、若干の余白を含む）から
Ｙ方向の周辺分布を算出する。ここでＦyは、あるＹ座
標の値を取る黒点の数の和の垂直方向の分布で、Ｙの関
数となる。同様にＸ方向の周辺分布Ｆxを定義する。図
７(ａ)の右のグラフ702は、グラフ画像701の周辺分布を
横軸705に、Y座標を縦軸706にとり、曲線707はFyとYの
関係を表す。次に、算出されたＦyの値が周囲より大き
くなるＹ座標の値を求める。このＹ座標の値の集合を横
軸軸及び横書き文字列のＹ座標の候補の集合とし、図５
に示した軸構造抽出部506と軸名抽出部507に渡す。以
後、図７(ｂ)に示す709、710、711、712の様な Ｙ ＝ （軸及び文字列のＹ座標の候補） となる直線をＹ候補線と呼ぶ。Ｘ方向の周辺分布Ｆxに
関しても、同様の処理を行い、結果を軸構造抽出部506
と軸名抽出部507に渡す。（同様にＸ候補線を定義す
る。）候補線の集合を候補集合と呼ぶ。軸構造抽出部50
6と軸名抽出部507は、候補線の周辺でさらに詳細な処理
を行い、軸及び文字列領域の検出を行う。これにより、
後の詳細な処理を行う領域を大幅に減少することができ
る。
れより軸及び文字列の座標の候補の集合を抽出する。こ
の処理に於いては図７に示すようにまず、グラフの画像
（グラフとその周辺の文字列、若干の余白を含む）から
Ｙ方向の周辺分布を算出する。ここでＦyは、あるＹ座
標の値を取る黒点の数の和の垂直方向の分布で、Ｙの関
数となる。同様にＸ方向の周辺分布Ｆxを定義する。図
７(ａ)の右のグラフ702は、グラフ画像701の周辺分布を
横軸705に、Y座標を縦軸706にとり、曲線707はFyとYの
関係を表す。次に、算出されたＦyの値が周囲より大き
くなるＹ座標の値を求める。このＹ座標の値の集合を横
軸軸及び横書き文字列のＹ座標の候補の集合とし、図５
に示した軸構造抽出部506と軸名抽出部507に渡す。以
後、図７(ｂ)に示す709、710、711、712の様な Ｙ ＝ （軸及び文字列のＹ座標の候補） となる直線をＹ候補線と呼ぶ。Ｘ方向の周辺分布Ｆxに
関しても、同様の処理を行い、結果を軸構造抽出部506
と軸名抽出部507に渡す。（同様にＸ候補線を定義す
る。）候補線の集合を候補集合と呼ぶ。軸構造抽出部50
6と軸名抽出部507は、候補線の周辺でさらに詳細な処理
を行い、軸及び文字列領域の検出を行う。これにより、
後の詳細な処理を行う領域を大幅に減少することができ
る。
【００２７】グラフの画像の周辺分布はは、細かい増減
の多い関数となる。たとえば、ｙの関数であるｙ方向の
周辺分布からＸ軸や横書きの文字列のｙ座標を求める事
を考える。次式に表されるような極大値を求めると非常
に多くの極大点が求まる。
の多い関数となる。たとえば、ｙの関数であるｙ方向の
周辺分布からＸ軸や横書きの文字列のｙ座標を求める事
を考える。次式に表されるような極大値を求めると非常
に多くの極大点が求まる。
【００２８】 ＡY＝ ｛y|Ｆy(y)＞Ｆy(y-1)∧Ｆy(y)＞Ｆy(y+1)｝ ＡY：軸の候補のＹ座標の集合 Ｆy：Ｙ方向の周辺分布 文字列のある場所では周辺分布の値には特に細かい増減
があり、一つの横書きの文字列がいくつもの候補で表さ
れることになる。そこで、次式に表されるように、ある
ｙの値でＦyがその前後ａの範囲での最大値である場合
に、そのｙの値の集合を軸の候補とする方式を採用す
る。
があり、一つの横書きの文字列がいくつもの候補で表さ
れることになる。そこで、次式に表されるように、ある
ｙの値でＦyがその前後ａの範囲での最大値である場合
に、そのｙの値の集合を軸の候補とする方式を採用す
る。
【００２９】 ＡY＝ {y｜∀ｓ，y-a＜s＜y+a，s≠y，Ｆy(y)＞Ｆ
y(s)} ＡY：軸の候補のＹ座標の集合 Ｆy：Ｙ方向の周辺分布 ａが十分に大きい値になっていればの文字列や軸が２つ
以上の候補線で表されることは無くなる。一方ａの値が
大きくなると、近接した軸と文字列を分離できなくなる
恐れがある。ここではａの値を２５ドット（約１．５６
mmmm）に設定した。
y(s)} ＡY：軸の候補のＹ座標の集合 Ｆy：Ｙ方向の周辺分布 ａが十分に大きい値になっていればの文字列や軸が２つ
以上の候補線で表されることは無くなる。一方ａの値が
大きくなると、近接した軸と文字列を分離できなくなる
恐れがある。ここではａの値を２５ドット（約１．５６
mmmm）に設定した。
【００３０】図８は、候補集合抽出処理の手順を示す図
である。まず、ステップ801においてＹ方向の周辺分布
を求める。次にステップ802においてｙの値を０からＨ
−１まで変化させて、ステップ803で周辺分布の値がそ
のｙの近傍で最大値になっているか調べる。もし周辺分
布の値がそのｙの近傍で最大値になっていれば、ステッ
プ804でその時のＹの値を横方向の候補集合のＹ座標の
値として登録する。同様に、ステップ805からステップ8
08で縦方向の候補集合を求める。
である。まず、ステップ801においてＹ方向の周辺分布
を求める。次にステップ802においてｙの値を０からＨ
−１まで変化させて、ステップ803で周辺分布の値がそ
のｙの近傍で最大値になっているか調べる。もし周辺分
布の値がそのｙの近傍で最大値になっていれば、ステッ
プ804でその時のＹの値を横方向の候補集合のＹ座標の
値として登録する。同様に、ステップ805からステップ8
08で縦方向の候補集合を求める。
【００３１】図９は軸構造抽出の処理手順を示す図であ
る。まず、ステップ901において候補集合の中から横軸
の候補を抽出する。ステップ902で横軸の候補の横方向
の範囲が決定される。同様にステップ903からステップ9
04で縦軸の候補の横方向の範囲が決定される。これらの
軸の候補の座標の値により、ステップ905で軸構造の照
合が行なわれる。
る。まず、ステップ901において候補集合の中から横軸
の候補を抽出する。ステップ902で横軸の候補の横方向
の範囲が決定される。同様にステップ903からステップ9
04で縦軸の候補の横方向の範囲が決定される。これらの
軸の候補の座標の値により、ステップ905で軸構造の照
合が行なわれる。
【００３２】図10に候補線上での黒ラン長を用いて文字
列と軸を判別する原理を示す。黒ラン長とは、画像中で
連続している黒点の個数である。例えば図10(a)に示し
た横軸などの画像中に横向きに引かれた線分の画素のパ
ターン1001は、長い横向きの黒ラン1003を含む（約３０
mm以上）。一方図10(b)に示した文字列の画素パターン1
004における黒ラン長1006,1007,1008,1009,1010は、傾
きによらずほぼ１０ドットから２０ドット（約0.6mmか
ら1.3mm、英数字、文字サイズ2.5ミリメートルのとき）
である。軸における黒ラン長は、軸においては傾きが増
すにつれて減少するが、その値は文字列付近の黒ラン長
よりかなり大きい。従ってこの方法は、画像に傾きがあ
る場合でも文字列と線分を判別することができる。
列と軸を判別する原理を示す。黒ラン長とは、画像中で
連続している黒点の個数である。例えば図10(a)に示し
た横軸などの画像中に横向きに引かれた線分の画素のパ
ターン1001は、長い横向きの黒ラン1003を含む（約３０
mm以上）。一方図10(b)に示した文字列の画素パターン1
004における黒ラン長1006,1007,1008,1009,1010は、傾
きによらずほぼ１０ドットから２０ドット（約0.6mmか
ら1.3mm、英数字、文字サイズ2.5ミリメートルのとき）
である。軸における黒ラン長は、軸においては傾きが増
すにつれて減少するが、その値は文字列付近の黒ラン長
よりかなり大きい。従ってこの方法は、画像に傾きがあ
る場合でも文字列と線分を判別することができる。
【００３３】グラフの画像が傾かずに入力された場合に
は、軸のある場所での周辺分布の値は文字列のある場所
での周辺分布の値より大きくなる。従って、周辺分布の
値によって軸の候補と文字行の候補を分離することがで
きる。しかし画像に傾きがある場合は、軸や文字列のあ
る場所での周辺分布の値は傾きに応じて小さくなる。小
さくなる度合いは、軸の方が大きい。例として、横書き
の文字列と横軸を判別する場合について説明する。軸の
ある場所での周辺分布は大きな値を取るが、画像に傾き
のある場合にはその値は傾きに応じて小さくなる。仮に
軸の長さをｌa、太さをｄa、傾きをθとすると、軸のあ
る場所でのＹ方向の周辺分布Ｆyの値は以下の式で表さ
れる。
は、軸のある場所での周辺分布の値は文字列のある場所
での周辺分布の値より大きくなる。従って、周辺分布の
値によって軸の候補と文字行の候補を分離することがで
きる。しかし画像に傾きがある場合は、軸や文字列のあ
る場所での周辺分布の値は傾きに応じて小さくなる。小
さくなる度合いは、軸の方が大きい。例として、横書き
の文字列と横軸を判別する場合について説明する。軸の
ある場所での周辺分布は大きな値を取るが、画像に傾き
のある場合にはその値は傾きに応じて小さくなる。仮に
軸の長さをｌa、太さをｄa、傾きをθとすると、軸のあ
る場所でのＹ方向の周辺分布Ｆyの値は以下の式で表さ
れる。
【００３４】 Ｆy(y) ＝ la/cos(θ) (θ ≦ tan-1(da/la)） Ｆy(y) ＝ da/sin(θ) (tan‐1(d/l） ＜ θ ≦ π)） この式からもわかるように、傾きに応じて周辺分布の値
が小さくなる度合いは、軸の細い場合にはその傾向はさ
らに顕著になる。
が小さくなる度合いは、軸の細い場合にはその傾向はさ
らに顕著になる。
【００３５】一方文字列の領域内での黒点の密度が一定
と仮定すると、単位面積あたりの黒点の密度をａ、文字
列領域の幅をｄc，長さをｌcとすると、文字列付近にお
ける周辺分布の値は以下の式で表される。
と仮定すると、単位面積あたりの黒点の密度をａ、文字
列領域の幅をｄc，長さをｌcとすると、文字列付近にお
ける周辺分布の値は以下の式で表される。
【００３６】 Ｆy（ｙ） ＝ ａ×ｌc/cos(θ) （θ ≦ tan-1(dc/lc)） Ｆy（ｙ） ＝ ａ×ｄc/sin(θ) （tan‐1(dc/lc) ＜ θ ≦ π)） Ｆy（ｙ） ＝ ｌa/cos(θ) （θ ≦ tan-1(da/la)） Ｆy（ｙ） ＝ ｄa/sin(θ) （tan‐1(d/l） ＜ θ ≦ π)） この式からもわかるように、傾きに応じて周辺分布の値
が小さくなる度合いは、軸の細い場合にはその傾向はさ
らに顕著になる。
が小さくなる度合いは、軸の細い場合にはその傾向はさ
らに顕著になる。
【００３７】一方文字列の領域内での黒点の密度が一定
と仮定すると、単位面積あたりの黒点の密度をａ、文字
列領域の幅をｄc，長さをｌcとすると、文字列付近にお
ける周辺分布の値は以下の式で表される。
と仮定すると、単位面積あたりの黒点の密度をａ、文字
列領域の幅をｄc，長さをｌcとすると、文字列付近にお
ける周辺分布の値は以下の式で表される。
【００３８】 Ｆy（ｙ） ＝ ａ×ｌc/cos(θ) （θ ≦ tan-1(dc/lc)） Ｆy（ｙ） ＝ ａ×ｄc/sin(θ) （tan‐1(dc/lc） ＜ θ ≦ π／２)） ここで、 ｌc ≪ ｌa ｄc ≫ ｄa であるので、θがある程度小さいときには軸における周
辺分布の値は文字列における周辺分布の値より大きい
が、θがある程度より大きくなると逆に文字列における
周辺分布の方が大きくなる。このため、傾きがある程度
以上に大きい場合には、周辺分布の値だけでは軸と文字
列を区別ができない。
辺分布の値は文字列における周辺分布の値より大きい
が、θがある程度より大きくなると逆に文字列における
周辺分布の方が大きくなる。このため、傾きがある程度
以上に大きい場合には、周辺分布の値だけでは軸と文字
列を区別ができない。
【００３９】実際には、長方形型のグラフなどでは、グ
ラフ中の軸は２本以上の軸が存在する。また、グラフ軸
以外に長い黒ランを含む図形が画像中に存在する場合も
ある。そのため、最も大きい黒ランを含む候補線が唯一
の軸であるとは限らない。そこで、以下のような手順で
軸の候補を検出する。各Ｙ候補線に沿って黒ラン長を検
査し、各項補線上でもっとも長い黒ランの長さをその候
補線の最大黒ラン長Ｌとする。各候補線で、最大黒ラン
長の値を比較し、もっとも大きい最大黒ラン長の値をＬ
maxとする。そこで最大黒ラン長Ｌが Ｌ ≧ Ｃ×Ｌmax Ｃ：定数（Ｃ ＜ １） となるＹ候補線を軸の候補として登録する。Ｃの値が小
さすぎると軸以外の物を軸の候補としてしまう恐れが多
い。また、Ｃの値が大きすぎるとかすれなどのある画像
においては軸を候補から洩らす恐れがある。ここでは予
備実験によりＣの値は0.8に設定した。
ラフ中の軸は２本以上の軸が存在する。また、グラフ軸
以外に長い黒ランを含む図形が画像中に存在する場合も
ある。そのため、最も大きい黒ランを含む候補線が唯一
の軸であるとは限らない。そこで、以下のような手順で
軸の候補を検出する。各Ｙ候補線に沿って黒ラン長を検
査し、各項補線上でもっとも長い黒ランの長さをその候
補線の最大黒ラン長Ｌとする。各候補線で、最大黒ラン
長の値を比較し、もっとも大きい最大黒ラン長の値をＬ
maxとする。そこで最大黒ラン長Ｌが Ｌ ≧ Ｃ×Ｌmax Ｃ：定数（Ｃ ＜ １） となるＹ候補線を軸の候補として登録する。Ｃの値が小
さすぎると軸以外の物を軸の候補としてしまう恐れが多
い。また、Ｃの値が大きすぎるとかすれなどのある画像
においては軸を候補から洩らす恐れがある。ここでは予
備実験によりＣの値は0.8に設定した。
【００４０】次に、軸の座標値の算出について説明す
る。図11に軸の長さ方向の範囲を求める原理を示す。図
11(a)はＩ型のマスクの概念を示す。I型マスク1101は中
心線1102からWi/2の幅をもち、長さが1のマスクであ
る。図11(b)はI型マスクの走査の仕方を示す。軸の候補
線1112にI型マスクの中心線を一致させ、長さ方向1111
にI型マスクを走査する。このマスク内に含まれる黒点
の数を数えることにより、 Ｙn−ｗi／２ ＜ ｙ ＜ Ｙn＋ｗi／２ となる黒点の数がＸの関数Ｇy(ｘ)で表現できる。曲線1
113はＧy(ｘ)の値1109とX座標1108の値の関係を示す。
Ｇy(ｘ)の値が閾値1114以上になる範囲1105を軸の範囲
の候補とする。ただし、軸にかすれがある場合、この条
件のみで軸の範囲を決定すると、一つの軸がいくつもの
線分に分割されてしまう。あるいは軸の延長上に文字が
有った場合には軸とその文字が連結されてしまう恐れが
ある。そこで以下の条件で軸の範囲を修正する。
る。図11に軸の長さ方向の範囲を求める原理を示す。図
11(a)はＩ型のマスクの概念を示す。I型マスク1101は中
心線1102からWi/2の幅をもち、長さが1のマスクであ
る。図11(b)はI型マスクの走査の仕方を示す。軸の候補
線1112にI型マスクの中心線を一致させ、長さ方向1111
にI型マスクを走査する。このマスク内に含まれる黒点
の数を数えることにより、 Ｙn−ｗi／２ ＜ ｙ ＜ Ｙn＋ｗi／２ となる黒点の数がＸの関数Ｇy(ｘ)で表現できる。曲線1
113はＧy(ｘ)の値1109とX座標1108の値の関係を示す。
Ｇy(ｘ)の値が閾値1114以上になる範囲1105を軸の範囲
の候補とする。ただし、軸にかすれがある場合、この条
件のみで軸の範囲を決定すると、一つの軸がいくつもの
線分に分割されてしまう。あるいは軸の延長上に文字が
有った場合には軸とその文字が連結されてしまう恐れが
ある。そこで以下の条件で軸の範囲を修正する。
【００４１】条件（ｉ）検出された軸が2.5mm以下の場
合には、それを軸の候補から除外する。 条件（ii）二つの線分が1.25mmある距離以下に接近して
いる場合には、それらを一つの線分とみなす。 条件（ｉ）は、2.5mm以下の線分は文字の一部であると
考えられるためである。また、条件（ii）は、２つの線
分が非常に接近している場合には、これらはもともと一
つの線分であったものがかすれによって分離したと考え
られるためである。 次に軸の構造の照合の方法につい
て述べる。上で述べた方法では、文字列領域と長い黒ラ
ンを含む領域を区別できる。しかし、軸以外にも、グラ
フ中には、折線グラフの折線などのように長い黒ランを
含む領域もある。したがって軸の候補の中には軸以外の
ものも含まれることになる。軸構造判別部511では、求
められたグラフの軸の候補をあらかじめ登録されたグラ
フの軸の型と照合することにより、正しいグラフの軸を
選択し、グラフの軸構造を抽出する。
合には、それを軸の候補から除外する。 条件（ii）二つの線分が1.25mmある距離以下に接近して
いる場合には、それらを一つの線分とみなす。 条件（ｉ）は、2.5mm以下の線分は文字の一部であると
考えられるためである。また、条件（ii）は、２つの線
分が非常に接近している場合には、これらはもともと一
つの線分であったものがかすれによって分離したと考え
られるためである。 次に軸の構造の照合の方法につい
て述べる。上で述べた方法では、文字列領域と長い黒ラ
ンを含む領域を区別できる。しかし、軸以外にも、グラ
フ中には、折線グラフの折線などのように長い黒ランを
含む領域もある。したがって軸の候補の中には軸以外の
ものも含まれることになる。軸構造判別部511では、求
められたグラフの軸の候補をあらかじめ登録されたグラ
フの軸の型と照合することにより、正しいグラフの軸を
選択し、グラフの軸構造を抽出する。
【００４２】軸構造判別部511は図13に示すような遷移
図に従って動作する。この図において、四角1301〜1310
の内部に記された「Ｓ１１」等は状態を示し、矢印1311
〜1321に記された「縦軸１」等は、遷移の条件を示す。
遷移の条件は、図12に示す通りである。この方式では、
軸の構造をあらかじめ登録すれば、多くの種類のグラフ
に対応できるようになる。
図に従って動作する。この図において、四角1301〜1310
の内部に記された「Ｓ１１」等は状態を示し、矢印1311
〜1321に記された「縦軸１」等は、遷移の条件を示す。
遷移の条件は、図12に示す通りである。この方式では、
軸の構造をあらかじめ登録すれば、多くの種類のグラフ
に対応できるようになる。
【００４３】図14は軸名称の抽出処理の処理手順を示す
図である。ステップ1401においては軸構造より予想され
る軸名称の配置される範囲で、軸名の領域の抽出処理を
実行する。図15に、グラフの軸の構造による軸名存在範
囲のグラフの軸の構造による変化を示す。軸の構造が照
合できなかった場合には、軸候補の中で最も長さの長い
ものを軸とし、グラフの軸の構造はその他の型であると
して、以後の処理を続ける。求められた文字列領域をス
テップ1402で検査し軸名称を求める。
図である。ステップ1401においては軸構造より予想され
る軸名称の配置される範囲で、軸名の領域の抽出処理を
実行する。図15に、グラフの軸の構造による軸名存在範
囲のグラフの軸の構造による変化を示す。軸の構造が照
合できなかった場合には、軸候補の中で最も長さの長い
ものを軸とし、グラフの軸の構造はその他の型であると
して、以後の処理を続ける。求められた文字列領域をス
テップ1402で検査し軸名称を求める。
【００４４】図16は文字行領域の抽出処理の原理を示す
図である。文字列領域の検出処理に於いては、軸名存在
範囲にある候補線は、文字列を表していると仮定する。
そして、これらの候補線上の文字列領域の長さ方向の範
囲を正方形型マスクを用いて求める。正方形型マスク16
01は図16(a)に示すような、縦1602、横1603がともにｗs
のマスクである。ここではｗsの値を１０ドット（0.625
mm）に設定している。求められた候補線1609（ｙ ＝
Ｙn）上で、正方形型マスク1610を横方向1611に走査
し、マスク内に含まれる黒点の数を数えることにより、 Ｙn − ｗs／２ ＜ ｙ ＜ Ｙn ＋ ｗs／２ Ｘn − ｗs／２ ＜ ｘ ＜ Ｘn ＋ ｗs／２ となる黒点の数を求めこれをｘの関数Ｈy（ｘ）として
表す。図16(b)の1605はは、Ｈy1607とｘ1612の関係を示
す。このＨyが閾値1612以上になる範囲1613、1614を求
め、これを文字列の範囲とする。マスクのサイズが文字
サイズよりかなり小さいのは、候補線が必ずしも文字列
の中心を貫いているとは限らないからである。また、閾
値は正方形マスクの８％と設定する。
図である。文字列領域の検出処理に於いては、軸名存在
範囲にある候補線は、文字列を表していると仮定する。
そして、これらの候補線上の文字列領域の長さ方向の範
囲を正方形型マスクを用いて求める。正方形型マスク16
01は図16(a)に示すような、縦1602、横1603がともにｗs
のマスクである。ここではｗsの値を１０ドット（0.625
mm）に設定している。求められた候補線1609（ｙ ＝
Ｙn）上で、正方形型マスク1610を横方向1611に走査
し、マスク内に含まれる黒点の数を数えることにより、 Ｙn − ｗs／２ ＜ ｙ ＜ Ｙn ＋ ｗs／２ Ｘn − ｗs／２ ＜ ｘ ＜ Ｘn ＋ ｗs／２ となる黒点の数を求めこれをｘの関数Ｈy（ｘ）として
表す。図16(b)の1605はは、Ｈy1607とｘ1612の関係を示
す。このＨyが閾値1612以上になる範囲1613、1614を求
め、これを文字列の範囲とする。マスクのサイズが文字
サイズよりかなり小さいのは、候補線が必ずしも文字列
の中心を貫いているとは限らないからである。また、閾
値は正方形マスクの８％と設定する。
【００４５】上に述べた方法で文字列の幅を求めると、
一つの文字列が短い文字列の集まりになってしまう。そ
こで同一線上に複数の文字列があり、その間隔が狭い場
合（1.25mm未満、空白文字１つ分程度）は、その前後の
文字列領域を連結し、一つの文字列1615として扱う。
一つの文字列が短い文字列の集まりになってしまう。そ
こで同一線上に複数の文字列があり、その間隔が狭い場
合（1.25mm未満、空白文字１つ分程度）は、その前後の
文字列領域を連結し、一つの文字列1615として扱う。
【００４６】図17は文字列領域の幅方向の範囲を求める
方法を示す。ここでは座標を1702、1703の候補線1708を
出発点に、長さが文字列領域の幅1706〜1707に等しい線
分1704、1705を上1710および下1709に動かしていき、黒
点が含まれない線分1711、１７１２が見つかった時点
で、それをその文字列１７０１の外接矩形領域1713の上
辺及び下辺とする。
方法を示す。ここでは座標を1702、1703の候補線1708を
出発点に、長さが文字列領域の幅1706〜1707に等しい線
分1704、1705を上1710および下1709に動かしていき、黒
点が含まれない線分1711、１７１２が見つかった時点
で、それをその文字列１７０１の外接矩形領域1713の上
辺及び下辺とする。
【００４７】図18は文字列の種類の判別に用いられる規
則を記している。抽出された文字列領域には軸名以外の
文字列やノイズも含まれている。文字列種判別部513で
は、軸名は図18に記されている条件を満たしてグラフ中
に配置されていると仮定し、抽出された文字列領域を一
つ一つこれらの条件と照合することにより、軸名称であ
る文字列を選びだしている。
則を記している。抽出された文字列領域には軸名以外の
文字列やノイズも含まれている。文字列種判別部513で
は、軸名は図18に記されている条件を満たしてグラフ中
に配置されていると仮定し、抽出された文字列領域を一
つ一つこれらの条件と照合することにより、軸名称であ
る文字列を選びだしている。
【００４８】図19及び図20は、グラフ画像の検索属性を
自動的に抽出し、画像データベースに登録する過程をオ
ペレーターが確認、修正するための表示画面を示す。19
01は、文書の全体の画像を表示するウインドウ、1902は
切り出されたグラフ画像の領域を表示するウインドウで
ある。自動登録処理が開始されるとグラフ画像領域の切
出し、検索属性の抽出及び登録が連続して行われるが、
もしグラフ画像領域が誤って切り出されている場合に
は、オペレーターは1903のグラフ領域修正ボタンをマウ
スでクリックすることにより、マウスによってグラフ領
域を修正するモードに入ることが可能である。
自動的に抽出し、画像データベースに登録する過程をオ
ペレーターが確認、修正するための表示画面を示す。19
01は、文書の全体の画像を表示するウインドウ、1902は
切り出されたグラフ画像の領域を表示するウインドウで
ある。自動登録処理が開始されるとグラフ画像領域の切
出し、検索属性の抽出及び登録が連続して行われるが、
もしグラフ画像領域が誤って切り出されている場合に
は、オペレーターは1903のグラフ領域修正ボタンをマウ
スでクリックすることにより、マウスによってグラフ領
域を修正するモードに入ることが可能である。
【００４９】2001は抽出された検索属性を表示するウイ
ンドウである。また画像1902中の2002は抽出されたグラ
フの軸の位置を、2003および2004は抽出された軸名称の
位置を示す。ここで1904の軸位置修正ボタンをクリック
すると軸の位置を、1905の軸名領域修正ボタンをクリッ
クすると軸名領域を、それぞれ修正するモードに入る。
軸名領域を修正した後に、1906の認識ボタンをクリック
すると、新たに指定された軸名称領域内の文字列が文字
認識され、2001内に表示される。これらの操作を行って
も軸名称の認識結果や軸構造の判別結果に誤りがある場
合には、マウスで2001内の修正個所を指定して、キーボ
ードより修正内容を入力することが可能である。
ンドウである。また画像1902中の2002は抽出されたグラ
フの軸の位置を、2003および2004は抽出された軸名称の
位置を示す。ここで1904の軸位置修正ボタンをクリック
すると軸の位置を、1905の軸名領域修正ボタンをクリッ
クすると軸名領域を、それぞれ修正するモードに入る。
軸名領域を修正した後に、1906の認識ボタンをクリック
すると、新たに指定された軸名称領域内の文字列が文字
認識され、2001内に表示される。これらの操作を行って
も軸名称の認識結果や軸構造の判別結果に誤りがある場
合には、マウスで2001内の修正個所を指定して、キーボ
ードより修正内容を入力することが可能である。
【００５０】オペレーターによる認識作業が終了した
後、1908の登録ボタンをクリックすることにより、グラ
フ画像及び検索属性の登録が実行される。また、1907の
中断ボタンをクリックすることにより、登録を中断する
ことも可能である。
後、1908の登録ボタンをクリックすることにより、グラ
フ画像及び検索属性の登録が実行される。また、1907の
中断ボタンをクリックすることにより、登録を中断する
ことも可能である。
【００５１】
【発明の効果】以上で述べたとおり、本発明によれば、
グラフ画像のインデックスの登録を自動的に行え、文書
画像をデータベースに登録する際の作業における大幅な
省力化が可能となる。また、グラフ画像の検索属性を参
照関係のリンクとして登録することにより、ハイパーメ
ディアの自動的な構築が可能となる。
グラフ画像のインデックスの登録を自動的に行え、文書
画像をデータベースに登録する際の作業における大幅な
省力化が可能となる。また、グラフ画像の検索属性を参
照関係のリンクとして登録することにより、ハイパーメ
ディアの自動的な構築が可能となる。
【００５２】本発明により、グラフ画像から軸構造を検
索属性として抽出し、グラフ画像を図形的な特徴から検
索することが可能となる。
索属性として抽出し、グラフ画像を図形的な特徴から検
索することが可能となる。
【００５３】本発明により、グラフ画像中に多数ある文
字行から検索属性として適切な、軸名称を抽出すること
が可能になる。
字行から検索属性として適切な、軸名称を抽出すること
が可能になる。
【図１】本発明の一実施例におけるグラフ画像登録シス
テムの構成図である。
テムの構成図である。
【図２】標準的なグラフ画像の構造を示す図である。
【図３】グラフ画像から抽出される検索属性を示す図で
ある。
ある。
【図４】グラフの軸構造の型を示す図である。
【図５】本発明の一実施例における検索属性抽出処理の
処理の流れ図である。
処理の流れ図である。
【図６】本発明一の実施例における検索属性抽出処理の
処理の流れ図である。
処理の流れ図である。
【図７】候補集合抽出処理の原理図である。
【図８】候補集合抽出処理の原理図である。
【図９】軸構造抽出処理の原理図である。
【図１０】軸構造抽出処理の原理図である。
【図１１】軸構造抽出処理の原理図である。
【図１２】軸構造抽出処理の原理図である。
【図１３】軸構造抽出処理の原理図である。
【図１４】軸名称抽出処理の原理図である。
【図１５】軸名称抽出処理の原理図である。
【図１６】軸名称抽出処理の原理図である。
【図１７】軸名称抽出処理の原理図である。
【図１８】軸名称抽出処理の原理図である。
【図１９】グラフ画像の検索属性抽出結果修正用ユーザ
インタフェースの概念図である。
インタフェースの概念図である。
【図２０】グラフ画像の検索属性抽出結果修正用ユーザ
インタフェースの概念図である。
インタフェースの概念図である。
１０１…画像入力手段、１０２…グラフ画像領域抽出手
段、１０３…検索属性抽出手段、１０４…画像データベ
ース、１０５…グラフ画像の内容検索手段、５０５…黒
画素密集点集合抽出部、５０６…軸構造抽出部、５０７
…軸名抽出部。
段、１０３…検索属性抽出手段、１０４…画像データベ
ース、１０５…グラフ画像の内容検索手段、５０５…黒
画素密集点集合抽出部、５０６…軸構造抽出部、５０７
…軸名抽出部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤澤 浩道 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 平３−27471（ＪＰ，Ａ)
Claims (2)
- 【請求項１】（１）グラフ領域を含む文書を文書画像デ
ータとして入力する画像入力手段と、 （２）入力された文書画像データからグラフ領域を抽出
するグラフ画像領域抽出手段と、 （３）抽出された文書画像データ中のグラフ領域から検
索の手がかりとなる検索属性を抽出するものであって、 （３−１）上記グラフ画像領域抽出手段にて抽出された
グラフ領域の文書画像データを入力し、グラフ領域の文
書画像データから縦及び横の周辺分布の算出を行い、算
出された縦及び横の周辺分布よりグラフの軸及び軸名の
候補の検出を行って、この検出結果である黒画素密集点
集合を抽出する黒画素密集点集合抽出手段と、 （３−２）上記黒画素密集点集合抽出手段から抽出され
たグラフの軸及び軸名の候補の黒画素密集点集合から黒
ラン長によって軸名の候補を分離して、軸の候補の位置
及び長さを検出し、検出された軸の候補の位置及び長さ
をもとに、予め登録されたＬ字型、逆Ｔ型、横Ｔ型及び
長方形型を含む各種折線グラフの型に関するグラフの軸
の構造に関する知識と照合してグラフの軸の構造を判別
して抽出する軸構造抽出手段と、 （３−３）上記軸構造抽出手段で抽出されたグラフの軸
の構造をもとに、Ｌ字型、逆Ｔ型、横Ｔ型及び長方形型
を含む各種折線グラフの型に応じた軸名の存在範囲から
軸名の文字列領域を抽出し、抽出された軸名の文字列領
域をもとに、予め登録されたＬ字型、逆Ｔ型、横Ｔ型及
び長方形型を含む各種折線グラフの型を踏まえた軸名の
文字列領域の位置及び外形に関する知識と照合して軸名
の文字列を判別して抽出する軸名抽出手段とを有し、 検索属性であるグラフの軸の構造及び軸名を抽出する検
索属性抽出手段と、 （４）抽出された検索属性をインデックスとしてグラフ
領域の文書画像データとともに記録する手段と、 （５）記録されたインデックスよりグラフ領域の文書画
像データを検索する手段と、 を有することを特徴とするグラフ画像登録システム。 - 【請求項２】上記検索属性手段にて抽出された検索属性
であるグラフの軸の構造及び軸名をグラフ領域の文書画
像データとともに視覚的に表示する表示手段と、 上記表示手段に表示された検索属性であるグラフの軸の
構造及び軸名に対し、修正箇所を指定して、修正内容を
入力する入力手段と、 を有することを特徴とする請求項１記載のグラフ画像登
録システム 。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3211873A JP2581353B2 (ja) | 1991-08-23 | 1991-08-23 | グラフ画像登録システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3211873A JP2581353B2 (ja) | 1991-08-23 | 1991-08-23 | グラフ画像登録システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06223231A JPH06223231A (ja) | 1994-08-12 |
| JP2581353B2 true JP2581353B2 (ja) | 1997-02-12 |
Family
ID=16613035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3211873A Expired - Fee Related JP2581353B2 (ja) | 1991-08-23 | 1991-08-23 | グラフ画像登録システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2581353B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013232076A (ja) * | 2012-04-27 | 2013-11-14 | Azbil Corp | グラフ表示装置および方法 |
| KR101712391B1 (ko) * | 2015-06-22 | 2017-03-07 | 한국표준과학연구원 | 스마트폰을 기반으로 하는 현장용 그래프 수치 분석 어플리케이션 및 그를 이용한 수치 분석방법 |
| JP6968241B1 (ja) * | 2020-07-30 | 2021-11-17 | 楽天グループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0327471A (ja) * | 1989-06-26 | 1991-02-05 | Hitachi Ltd | 画像登録方式 |
-
1991
- 1991-08-23 JP JP3211873A patent/JP2581353B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06223231A (ja) | 1994-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0854434B1 (en) | Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof | |
| JP3294995B2 (ja) | 帳票読取装置 | |
| KR100248917B1 (ko) | 패턴인식장치및방법 | |
| US5717794A (en) | Document recognition method and system | |
| JP3113827B2 (ja) | 矩形オブジェクトの認識方法及び認識装置 | |
| JP4078009B2 (ja) | 帳票における文字記録領域の検出装置、帳票における文字記録領域の検出方法、記憶媒体及び帳票フォーマット作成装置 | |
| US6947596B2 (en) | Character recognition method, program and recording medium | |
| EP3776332A2 (en) | An image processing system and an image processing method | |
| JP2581353B2 (ja) | グラフ画像登録システム | |
| JP3186246B2 (ja) | 文書読取装置 | |
| JP2008084105A (ja) | 文字切出方法及び文字認識装置 | |
| JP4810853B2 (ja) | 文字画像切出装置、文字画像切出方法およびプログラム | |
| JPH06180771A (ja) | 英文字認識装置 | |
| JPH07114619A (ja) | 文書認識装置 | |
| JP3345246B2 (ja) | 文字認識装置及び文字認識方法 | |
| JP3186712B2 (ja) | 文書読取装置 | |
| JP2002170077A (ja) | 文字認識装置及び文字認識方法 | |
| JPH0991385A (ja) | 文字認識辞書追加方法及びこれを用いた端末ｏｃｒ装置 | |
| WO2023062799A1 (ja) | 情報処理システム、原稿種識別方法、モデル生成方法及びプログラム | |
| JPH0528301A (ja) | 文書認識装置 | |
| JP3064508B2 (ja) | 文書認識装置 | |
| JP2988412B2 (ja) | 光学式文字読取装置 | |
| JPH05314309A (ja) | 文字列方向判別方法 | |
| JPH05165817A (ja) | 文書処理装置 | |
| JPH0434652A (ja) | 図面入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |