JP5012551B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明は、情報処理装置およびプログラムに関する。

近年、ＤＴＰや電子ファイリングシステムなどが普及し、紙などの媒体上に記録されている文字や図形などがパーソナルコンピュータなどの計算機に入力されて利用できるようになってきている。しかし、一般の電子ファイリングなどでは、媒体上の文字や図形は画像として取り込まれるため、データ量が多く、編集しづらい場合がある。

特許文献１には、棒グラフを含む文書をスキャンすることでイメージデータを生成し、そのイメージデータから数値的関係を表現している棒グラフの構造を認識し、グラフ情報を再構成可能な数値的データあるいはデータ間の関係に変換する技術が開示されている。

特許文献２には、ユーザが電子的に作図する際に、あるいは、白黒の図からカラーの図を電子的に作成する際に、適切な配色が施された図を簡易に生成する技術が開示されている。

特許文献３には、白黒の表やグラフをカラーにする、あるいはすでに色がついた表やグラフの配色を変更する際に、表やグラフが示す意味に応じた修飾を、表やグラフの要素に対して自動的に行う技術が開示されている。

特開平９−１３４４０４号公報 特開平９−１１４９５８号公報 特開平８−２８７１７２号公報

ところで、文書に含まれるグラフには棒グラフ以外の例えば円グラフなども含まれる場合がある。このように棒グラフに限らず種々のグラフを含む文書をスキャンすることで得られる画像データを利用して、元々の文書に含まれるグラフの編集を行いたいという要望がある。

本発明は、文書を光学的に読み取ることで得られる画像データを利用して、元々の文書に含まれるグラフの編集の手間を低減することを目的とする。

本願請求項１に係る発明は、文書を光学的に読み取ることで得られる画像データであって、背景領域と少なくとも１つの絵柄領域とから構成される画像データの入力を受け付ける入力手段と、前記画像データの絵柄領域ごとに明度の頻度分布を求め、頻度分布中に存在する明度頻度のピークの数が所定数以上存在する絵柄領域をグラフ領域として検索するグラフ領域検索手段と、グラフ領域の色成分の頻度分布を求め、当該色成分の頻度分布中に存在する色成分の各ピークに対応する各色成分を、グラフを構成する要素の代表色成分として検索する代表色成分検索手段と、各代表色成分の各頻度を前記グラフの各要素の割合として示し、前記グラフの各要素の割合と代表色成分とが関連づけられたグラフ情報を生成するグラフ情報生成手段と、を備える情報処理装置である。

本願請求項２に係る発明は、請求項１に記載の情報処理装置において、前記画像データのグラフ領域から所定の範囲に存在する絵柄領域のうち、前記代表色成分を最も多く含む絵柄領域を、要素の凡例領域として、代表色成分ごとに検索する凡例領域検索手段と、凡例領域から所定の範囲に存在する文字列を凡例領域ごとに抽出し、各文字列を各凡例領域に関連づける文字列関連づけ手段と、を備え、前記グラフ情報生成手段は、各凡例領域に関連づけられた各文字列を、各凡例領域に対応する各要素の属性情報として含めて、グラフ情報を生成する、ことを特徴とする情報処理装置である。

本願請求項３に係る発明は、文書を光学的に読み取ることで得られる画像データであって、背景領域と少なくとも１つの絵柄領域とから構成される画像データの入力を受け付ける入力手段と、前記画像データの絵柄領域ごとに明度の頻度分布を求め、頻度分布中に存在する明度頻度のピークの数が所定数以上存在する絵柄領域をグラフ領域として検索するグラフ領域検索手段と、グラフ領域の色成分の頻度分布を求め、当該色成分の頻度分布中に存在する色成分の各ピークに対応する各色成分を、グラフを構成する要素の代表色成分として検索する代表色成分検索手段と、各代表色成分の各頻度を前記グラフの各要素の割合として示し、前記グラフの各要素の割合と代表色成分とが関連づけられたグラフ情報を生成するグラフ情報生成手段と、してコンピュータを機能させるためのプログラムである。

本願請求項１または３に係る発明によれば、文書を光学的に読み取ることで得られる画像データを構成する絵柄領域の中から明度頻度分布に基づいてグラフ領域を特定し、特定されたグラフ領域の色成分頻度分布に基づいて、グラフを構成する各要素の割合がグラフ情報として生成される。よって、そのグラフ情報を利用することで元々の文書に含まれるグラフの編集の手間を低減することができる。

本願請求項２に係る発明によれば、各要素の属性情報を含めてグラフ情報が生成されるため、属性情報を含まないグラフ情報よりもさらにグラフの編集の手間を低減することができる。

本発明を実施するための最良の形態（以下、実施形態と称す）について、以下図面を用いて説明する。

図１は、本実施形態に係る情報処理装置の機能ブロックを示す図である。

図１において、情報処理装置１００は、画像が印字された用紙などの記録材料を画像読取部６０で光学的に読み取り、印字された画像を画像データとして取り込む。本実施形態において、記録材料に印字される画像は、グラフなどの図形や、文字列などを含む画像であり、例えば図２Ａに示すような画像である。情報処理装置１００は、そのような画像を示す画像データからグラフを抽出して、グラフ解析を行い、グラフの数値化を行う。

ＣＰＵ１０は、不揮発性メモリ３０に記憶されたプログラム４０を揮発性メモリ２０に展開して、展開されたプログラム４０に従いバスライン９０を介して、各部を制御する。不揮発性メモリ３０は、プログラム４０およびデータベース（ＤＢ）５０を記憶する。プログラム４０およびＤＢ５０の詳細については後述する。

画像読取部６０は、記録材料に印字された画像を光学的に読み取り、画像データを生成する、いわゆるスキャナである。操作部７０は、マウスやキーボードなどを介して操作者からの指示の入力を受け付ける。

続いて、不揮発性メモリ３０に記憶されたプログラム４０とＤＢ５０とについてさらに詳しく説明する。

画像データ蓄積部５２は、画像読取部６０が生成した画像データを記憶する。画像解析部４２は、画像データ蓄積部５２に蓄積された画像データ群の中から処理対象の画像データの選択をユーザから操作部７０を介して受け付ける。さらに、画像解析部４２は、選択された画像データを後述の手順に従って解析して、画像データが示す画像からグラフ領域を特定し、グラフ領域に示されたグラフを数値化して表データを生成し、その表データを画像データと関連づけて画像データ蓄積部５２に登録する。なお、画像解析部４２は、ユーザから処理対象の画像データの選択を受け付けるのではなく、画像読取部６０が画像データを生成したことに対応して、生成された画像データの表データを生成してもよい。

本実施形態では、記録媒体上に印字された画像を光学的に読み取ることで得られた画像データに基づいて、その画像に示されるグラフを数値化する。このようにグラフを数値化することで、グラフの編集が容易になる。

図３は、画像解析部４２が処理対象の画像データが示す画像からグラフを特定し、特定したグラフを数値化する手順を示すフローチャートである。

図３において、画像解析部４２は、処理対象の画像データの入力を受けると、その画像データに示される画像の背景色を検知する（Ｓ１００）。例えば、画像解析部４２は、画像データがＲＧＢ画像であれば、各画素値（ＲＧＢ値）のうち、最も出現頻度が多い画素値を背景色として検知する。次いで、画像解析部４２は、背景色に対応する画素値をもつ画素を「０」、それ以外の画素値をもつ画素を「１」とした画像データを生成することで、処理対象の画像データを２値化画像データに変換する（Ｓ１０２）。例えば、図２Ａに示すような画像であれば、２値化画像データは、図２Ｂのような画像で表される。

画像解析部４２は、処理対象の画像データと２値化画像データとを比較して、処理対象の画像データを構成する各画素のうち、２値化画像データにおいて「１」の画素に対応する画素で構成される領域をそれぞれ絵柄領域として特定する（Ｓ１０４）。

続いて、画像解析部４２は、画像の絵柄領域ごとに各領域に含まれる画素の明度（Ｖａｌｕｅ（Ｂｒｉｇｈｔｎｅｓｓ））別の頻度分布を示す明度ヒストグラムを生成する。さらに、画像解析部４２は、隣同士の画素の明度差を求めるために、各明度を一次微分した一次微分の明度ヒストグラムも生成する（Ｓ１０６）。なお、各画素の明度は、例えば画素がＲＧＢ値で与えられる場合には、Ｒ、Ｇ、Ｂの各要素のうち最も大きい値をもつ要素の値をその画素の明度とすればよい。

図４Ａは、図３Ａに示す画像中のグラフ２００に対応する絵柄領域の明度ヒストグラムを示す。また、図４Ｂは、図４Ａの明度ヒストグラムの各明度を一次微分した場合の一次微分明度ヒストグラムを示す。

さらに、画像解析部４２は、明度ヒストグラムおよび一次微分明度ヒストグラムに基づいて、絵柄領域の中から、グラフ領域を検索する（Ｓ１０８）。

ここで、グラフを構成する各要素（要素とは、グラフ全体に対する各部分の割合（内訳）を示す部分のことをいう）は、要素ごとに異なる配色が施されるのが一般的である。また、その配色は単一色が利用されることが多い。そこで、本実施形態では、グラフの特徴を各要素の配色に着目して特定する。単一色の画素が多い画像の場合、明度ヒストグラムは、図４Ａに示すように、明度のピークが局所的に現れたものとなる。また、グラフを示す画像の場合、グラフのそれぞれの要素は異なる配色が成されることが多いため、要素ごとにその明度のピークが現れることが多い。また、グラフの各要素の配色は隣同士の要素を視覚的に区別しやすいように配色されることが多い。そのため、各要素のエッジ部分の明度の差は、比較的に大きい値となる。つまり、グラフに対応する絵柄領域の一次微分明度ヒストグラムを求めた場合、図４Ｂに示すように、各要素のエッジ部分の明度の差が大きいため、要素ごとに局所的にピークが現れることが多い。

以上より、本実施形態では、画像解析部４２は、明度ヒストグラムおよび一次明度ヒストグラムにおいて、所定の閾値以上の頻度をもつ明度あるいは一次微分明度のピークが所定の数（例えば２）以上存在する絵柄領域を、グラフ領域として検索する。

次いで、画像解析部４２は、グラフ領域に含まれる画素の色相（Ｈｕｅ）別の頻度分布を示す色相ヒストグラムを生成し、その色相頻度ヒストグラムを参照して、所定の閾値以上の頻度を有するピークを示す色相を特定し、各ピークの色相をそれぞれ代表色相とする（Ｓ１１０）。ここで代表色相は、グラフの各要素の各配色に対応する。なお、色相Ｈは、例えば、画像データがＲＧＢ画像であれば、次の条件式により求めればよい。

続いて、画像解析部４２は、グラフ領域から所定の範囲（例えば、グラフ領域を１．２倍に拡張した領域）に存在する絵柄領域を特定し、その絵柄領域のうち、ステップＳ１１０で求めたいずれかの代表色相と類似する色相（代表色相を基準として所定範囲に存在する色相）を有する絵柄領域を検索し、その検索された絵柄領域を凡例領域とする（Ｓ１１２）。ここで、凡例領域とは、グラフの各要素（各割合）の名称（内容）を定義する領域のことをいう。

さらに、画像解析部４２は、各凡例領域から所定の範囲に存在する文字列を公知の文字認識技術を利用して抽出し、抽出した文字列を各要素の名称を示すものとして、各凡例領域の代表色相と関連づける（Ｓ１１４）。なお、凡例領域から所定の範囲に存在する文字列が複数存在する場合には、凡例領域からの距離が最も近い文字列をその凡例領域に対する文字列（名称）として、その文字列を凡例領域に関連づける。

最後に、画像解析部４２は、各代表色相の頻度と、各代表色相に対応する凡例領域に関連づけられた文字列とに基づいて、グラフに対する表データを生成する（Ｓ１１６）。例えば、画像解析部４２は、各代表色相の頻度を各要素の割合、各凡例領域に関連づけられた文字列を各要素の名称、各代表色相のＲＧＢ値を各要素の配色として、図５に示すような表データを作成する（Ｓ１１８）。画像解析部４２は、生成された表データを処理対象の画像データを関連づけて画像データ蓄積部５２に登録する。なお、画像解析部４２は、表データを例えばＸＭＬ形式で図６に示すように記述して、画像データに埋め込むことで、画像データと表データとを関連づければよい。図６において、符号３００がグラフを構成する要素の名称、符号３０２が要素の割合、符号３０４が要素の配色を示す。

以上、本実施形態によれば、文書を光学的に読み取ることで得られる画像データからグラフを抽出して、グラフ解析を行い、グラフの数値化（表データ化）を行い、画像データに関連づける。よって、画像データに関連づけられたグラフの数値データを利用することで、元々の文書に含まれるグラフの編集する場合の手間が低減される。

本実施形態に係る情報処理装置の機能ブロックを示す図である。 光学的に読み取る画像の一例を示す図である。 光学的に読み取る画像を２値化処理して得られる画像の一例を示す図である。 画像解析部が処理対象の画像データが示す画像からグラフを特定し、特定したグラフを数値化する手順を示すフローチャートである。 絵柄領域の明度頻度ヒストグラムの一例を示す図である。 絵柄領域の一次微分明度頻度ヒストグラムの一例を示す図である。 画像解析部が生成する表データの一例を示す図である。 表データをＸＭＬ形式で画像データに関連づける場合について説明するための図である。

符号の説明

１０ ＣＰＵ、２０ 揮発性メモリ、３０ 不揮発性メモリ、４０ プログラム、４２ 画像解析部、５２ 画像データ蓄積部、６０ 画像読取部、７０ 操作部、９０ バスライン、１００ 情報処理装置。

Claims (3)

1. 文書を光学的に読み取ることで得られる画像データであって、背景領域と少なくとも１つの絵柄領域とから構成される画像データの入力を受け付ける入力手段と、
   前記画像データの絵柄領域ごとに明度の頻度分布を求め、頻度分布中に存在する明度頻度のピークの数が所定数以上存在する絵柄領域をグラフ領域として検索するグラフ領域検索手段と、
   グラフ領域の色成分の頻度分布を求め、当該色成分の頻度分布中に存在する色成分の各ピークに対応する各色成分を、グラフを構成する要素の代表色成分として検索する代表色成分検索手段と、
   各代表色成分の各頻度を前記グラフの各要素の割合として示し、前記グラフの各要素の割合と代表色成分とが関連づけられたグラフ情報を生成するグラフ情報生成手段と、
   を備える情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記画像データのグラフ領域から所定の範囲に存在する絵柄領域のうち、前記代表色成分を最も多く含む絵柄領域を、要素の凡例領域として、代表色成分ごとに検索する凡例領域検索手段と、
   凡例領域から所定の範囲に存在する文字列を凡例領域ごとに抽出し、各文字列を各凡例領域に関連づける文字列関連づけ手段と、
   を備え、
   前記グラフ情報生成手段は、各凡例領域に関連づけられた各文字列を、各凡例領域に対応する各要素の属性情報として含めて、グラフ情報を生成する、
   ことを特徴とする情報処理装置。
3. 文書を光学的に読み取ることで得られる画像データであって、背景領域と少なくとも１つの絵柄領域とから構成される画像データの入力を受け付ける入力手段と、
   前記画像データの絵柄領域ごとに明度の頻度分布を求め、頻度分布中に存在する明度頻度のピークの数が所定数以上存在する絵柄領域をグラフ領域として検索するグラフ領域検索手段と、
   グラフ領域の色成分の頻度分布を求め、当該色成分の頻度分布中に存在する色成分の各ピークに対応する各色成分を、グラフを構成する要素の代表色成分として検索する代表色成分検索手段と、
   各代表色成分の各頻度を前記グラフの各要素の割合として示し、前記グラフの各要素の割合と代表色成分とが関連づけられたグラフ情報を生成するグラフ情報生成手段と、
   してコンピュータを機能させるためのプログラム。