JP6651675B1 - 画像情報処理装置、画像情報処理方法、及び画像情報処理プログラム - Google Patents

Abstract

画像情報処理装置（１）は、入力された画像データの中から複数の領域である複数の画像要素を認識する認識処理部（１０）と、複数の画像要素から処理対象の画像要素を抽出し、抽出された画像要素を互いに関連付ける処理である統合処理を行う統合処理部（２０）とを備える。統合処理部（２０）は、抽出された画像要素の間に配置された又は抽出された画像要素に重なる部分を有するように配置された、抽出された画像要素の関係を示す第１の情報が存在する場合には、抽出された画像要素に対し第１の情報に基づく種類の統合処理を行う。

Description

本発明は、画像データの中から複数の領域である複数の画像要素を認識し、認識された画像要素を互いに関連付ける処理である統合処理を行うための画像情報処理装置、画像情報処理方法、及び画像情報処理プログラムに関する。

従来、画像データの中から図形領域、線分領域、文字領域などのような画像要素を認識し、認識された画像要素を互いにリンクさせる処理を行う種々の方法が提案されている。画像要素は、図形データの中の認識可能な領域である。画像要素は、画像領域ともいう。図形領域は、図形を含む画像領域である。線分領域は、線分を含む画像領域である。文字領域は、文字を含む画像領域である。画像要素を互いにリンクさせる処理は、画像要素を統合する処理、画像要素を互いに関連付ける処理、又は統合処理ともいう。

例えば、特許文献１は、画像データの中から、オブジェクトを含む領域とオブジェクトに関する文字列を含む領域とを抽出し、オブジェクトを含む領域と文字列を含む領域との対応を示すリンク情報を生成し、リンク情報と入力された画像データとを表示するためのデータを生成する方法を提案している。

また、特許文献２は、文書データから図表領域とその図表領域の構成要素である個々の図表との関係をレイアウト解析により推定し、図表領域のキャプションと個々の図表のサブキャプションとの関係を解析し、この関係を示す検索用メタデータを図表領域又は個々の図表と関連付けたデータを生成する方法を提案している。

特開２０１２−０１８４８９号公報（例えば、段落００２０） 特開２００７−３１０５０３号公報（例えば、要約）

しかしながら、特許文献１の方法は、近傍にある領域同士の対応を示すリンク情報を生成しているので、領域同士の関連付けが適切に行われない場合があるという問題がある。特許文献２の方法は、図表領域のキャプション及び図表のサブキャプションに記述されている情報に基づいて関連付けを行っているので、関連付けが適切に行われない場合があるという問題がある。

本発明は、上記従来技術の課題を解決するためになされたものであり、画像データの中の領域である画像要素を互いに関連付ける処理である統合処理を適切に行うことができる画像情報処理装置、画像情報処理方法、及び画像情報処理プログラムを提供することを目的とする。

本発明の一態様に係る画像情報処理装置は、入力された画像データの中から複数の領域である複数の画像要素の位置、大きさ及び形状を認識する認識処理部と、前記複数の画像要素から第１、第２、及び第３の画像要素を抽出し、前記第１及び第２の画像要素を前記第３の画像要素に基づいて互いに関連付ける処理である統合処理を行う統合処理部と、を備え、前記統合処理部は、前記第３の画像要素が、前記第１及び第２の画像要素の間に配置され、前記第１の画像要素から前記第２の画像要素を指し示す図形の領域若しくは前記第２の画像要素から前記第１の画像要素を指し示す図形の領域である場合には、前記図形の領域によって指し示し及び指し示される前記第１及び第２の画像要素を統合する統合処理を行い、前記第３の画像要素が、前記第１及び第２の画像要素の両方に重なる部分を有するように配置された図形若しくは線分の領域である場合には、前記図形若しくは線分の領域と重なる部分を有する前記第１及び第２の画像要素を統合する統合処理を行い、前記第３の画像要素が前記第１及び第２の画像要素を互いに関連付ける文字の領域である場合には、前記文字によって関連付けられた前記第１及び第２の画像要素を統合する統合処理を行うことを特徴とする。

本発明の他の態様に係る画像情報処理方法は、入力された画像データの中から複数の領域である複数の画像要素の位置、大きさ及び形状を認識するステップと、前記複数の画像要素から第１、第２、及び第３の画像要素を抽出し、前記第１及び第２の画像要素を前記第３の画像要素に基づいて互いに関連付ける処理である統合処理を行うステップと、を有し、前記統合処理を行うステップでは、前記第３の画像要素が、前記第１及び第２の画像要素の間に配置され、前記第１の画像要素から前記第２の画像要素を指し示す図形の領域若しくは前記第２の画像要素から前記第１の画像要素を指し示す図形の領域である場合には、前記図形の領域によって指し示し及び指し示される前記第１及び第２の画像要素を統合する統合処理を行い、前記第３の画像要素が、前記第１及び第２の画像要素の両方に重なる部分を有するように配置された図形若しくは線分の領域である場合には、前記図形若しくは線分の領域と重なる部分を有する前記第１及び第２の画像要素を統合する統合処理を行い、前記第３の画像要素が前記第１及び第２の画像要素を互いに関連付ける文字の領域である場合には、前記文字によって関連付けられた前記第１及び第２の画像要素を統合する統合処理を行うことを特徴とする。

本発明によれば、画像データの中の領域である画像要素を互いに関連付ける処理である統合処理を適切に行うことができる。

本発明の実施の形態１に係る画像情報処理装置の構成を概略的に示すブロック図である。 実施の形態１に係る画像情報処理装置のハードウェア構成の例を示す図である。 実施の形態１に係る画像情報処理装置のハードウェア構成の他の例を示す図である。 実施の形態１に係る画像情報処理装置に入力される画像データの例を表示画像として示す図である。 実施の形態１に係る画像情報処理装置の認識処理部によって認識された画像要素を示す情報の例、すなわち、認識結果の例を表形式で示す図である。 実施の形態１に係る画像情報処理装置の統合処理部が行う統合処理の例（すなわち、図形同士を結合する例）を示す図である。 実施の形態１に係る画像情報処理装置の統合処理部が行う統合処理の他の例（すなわち、図形が文字列を包含する例）を示す図である。 実施の形態１に係る画像情報処理装置の統合処理部が行う統合処理の他の例（すなわち、図形が他の図形を包含する例）を示す図である。 実施の形態１に係る画像情報処理装置の統合処理部が行う統合処理の他の例（すなわち、図形と文字領域とを結合する例）を示す図である。 （ａ）及び（ｂ）は、画像情報処理装置の認識処理部によって認識された認識結果の例と、実施の形態１に係る画像情報処理装置の統合処理部が行う統合処理によって生成される統合データの例、すなわち、統合結果の例とを表形式で示す図である。 実施の形態１に係る画像情報処理装置の統合処理部の動作を示すフローチャートである。 本発明の実施の形態２に係る画像情報処理装置の構成を概略的に示すブロック図である。 実施の形態２に係る画像情報処理装置の統合処理部が行う統合処理の例を示す図である。 実施の形態２に係る画像情報処理装置の統合処理部が行う統合処理の他の例を示す図である。 （ａ）及び（ｂ）は、画像情報処理装置の認識処理部によって認識された認識結果の例と、実施の形態２に係る画像情報処理装置の統合処理部が行う統合処理によって生成される統合データの例、すなわち、統合結果の例とを表形式で示す図である。 実施の形態２に係る画像情報処理装置の統合処理部の動作を示すフローチャートである。 本発明の実施の形態３に係る画像情報処理装置の構成を概略的に示すブロック図である。 実施の形態３に係る画像情報処理装置の統合処理部が行う統合処理の例を示す図である。 実施の形態３に係る画像情報処理装置の統合処理部が行う統合処理の他の例を示す図である。

実施の形態１．
以下に、本発明の実施の形態に係る画像情報処理装置、画像情報処理方法、及び画像情報処理プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像情報処理装置１の構成を概略的に示すブロック図である。画像情報処理装置１は、実施の形態１に係る画像処理方法を実施することができる装置である。図１に示されるように、実施の形態１に係る画像情報処理装置１は、認識処理部１０と、統合処理部２０とを備えている。画像情報処理装置１は、統合データを記憶する記憶部３０を備えてもよい。

認識処理部１０は、入力された画像データの中から複数の領域である複数の画像要素を認識する。画像要素は、例えば、図形を含む図形領域、線分を含む線分領域、及び文字を含む文字領域である。認識処理部１０は、図形又は図形領域を認識する図形認識部１１と、線分又は線分領域を認識する線分認識部１２と、文字又は文字領域を認識する文字認識部１３とを有することができる。文字は、複数の文字を含む文字列を含む。

統合処理部２０は、認識処理部１０によって認識された複数の画像要素から処理対象の画像要素を抽出し、抽出された画像要素を互いに関連付ける処理である統合処理を行う。統合処理は、画像要素を互いにリンクさせる処理、又は画像要素を互いに紐付ける処理ともいう。統合処理部２０は、例えば、領域統合部２１と、文字図形統合部２２とを有する。

統合処理部２０は、抽出された画像要素の間に配置された又は抽出された画像要素に重なる部分を有するように配置された、抽出された画像要素の関係を示す情報が存在する場合には、抽出された画像要素に対し画像要素の関係を示す情報に基づく種類の統合処理を行う。画像要素の関係を示す情報は、第１の情報ともいう。この統合処理は、領域統合部２１によって行われる。

画像要素の関係を示す情報の例は、抽出された画像要素に重なる部分を有するように配置された線分である。この例は、図６を用いて後述される。

画像要素の関係を示す情報の他の例は、抽出された画像要素の間に配置された記号である。この例は、図９を用いて後述される。

また、統合処理部２０は、抽出された画像要素の内の一方の画像要素が他方の画像要素を包含する場合には、抽出された画像要素に対し統合処理を行ってもよい。この例は、図７及び図８を用いて後述される。

図２は、実施の形態１に係る画像情報処理装置１のハードウェア構成の例を示す図である。図２は、画像情報処理装置１が、処理回路９１、記憶装置９２、画像取り込み装置９３、及びディスプレイ９４を備える例を示している。処理回路９１は、例えば、電子回路である。処理回路９１は、図１に示される認識処理部１０及び統合処理部２０を構成することができる。記憶装置９２は、例えば、ハードディスクドライブ、半導体記憶装置、又は他の情報記憶装置である。記憶装置９２は、図１に示される記憶部３０を構成することができる。画像取り込み装置９３は、例えば、画像を読み取る画像読取装置であるスキャナ、画像を撮影する撮像装置であるカメラ、などである。画像取り込み装置９３は、図１に示される認識処理部１０に画像データを提供することができる。ディスプレイ９４は、画像を表示する装置である。ディスプレイ９４は、認識処理部１０で認識された認識結果、統合処理部２０で生成された統合結果、などを表示することができる。

図３は、実施の形態１に係る画像情報処理装置１のハードウェア構成の他の例を示す図である。図３において、図２に示される構成要素と同一又は対応する構成要素には、図２に示される符号と同じ符号が付される。図３は、画像情報処理装置１が、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）からなるプロセッサ９５、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのメモリ９６、大容量の記憶装置９２、画像取り込み装置９３、及びディスプレイ９４を備える例を示している。図３に示される画像情報処理装置１のプロセッサ９５及びメモリ９６は、例えば、コンピュータの一部である。プロセッサ９５は、メモリ９６に記憶されている画像情報処理プログラムを実行することにより、図１に示される認識処理部１０及び統合処理部２０の機能の全部又は一部を実現することができる。

図４は、実施の形態１に係る画像情報処理装置１に入力される画像データ７０の例を表示画像として示す図である。図４は、例えば、画像取り込み装置９３によって取り込まれた画像データ７０の例を示す。図４には、図形Ｐ１、図形Ｐ２、図形Ｐ３、文字領域Ｒ２、及び線分Ｑ１が示されている。

画像データ７０の中の図形を認識する処理、すなわち、図形領域を認識する処理は、例えば、特許文献３に記載されている方法又は非特許文献１に記載されている方法により行うことができる。

特許第６０７６１２８号公報

米山昇吾、外２名、「図面画像内シンボル抽出方式の検討」、電子情報通信学会総合大会、２００６年３月

画像データ７０の中の線分を認識する処理、すなわち、線分領域を認識する処理は、例えば、非特許文献２に記載されている方法により行うことができる。

平野敬、外２名、「文書画像からの罫線抽出方式」、電子情報通信学会総合大会、１９９８年３月

画像データ７０の中の文字（文字列を含む）を認識する処理、すなわち、文字領域（文字列領域を含む）を認識する処理は、例えば、非特許文献３に記載されている方法により行うことができる。

Ｔ．Ｈｉｒａｎｏ、外２名、"Ｓｔｒｕｃｔｕｒａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ"、ＩＣＤＡＲ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ）１９９７、１９９７年８月．

図５は、実施の形態１に係る画像情報処理装置１の認識処理部１０によって認識された画像要素の例、すなわち、認識結果の例を表形式で示す図である。図５に示されるように、認識処理部１０によって認識された認識結果は、例えば、「図形」、「線分」及び「文字領域」、すなわち、画像要素が占有する領域の種類を示す情報であるラベルと、画像データにおける画像要素の位置、サイズ、及び形状を示す情報とを含むデータである。

図６から図９は、実施の形態１における統合処理部２０が行う統合処理の例を示す図である。

図６は、画像データが、「図形Ａ」、「図形Ｂ」、及び「線分Ｃ」を含む例を示す。「図形Ａ」、「図形Ｂ」、及び「線分Ｃ」は、画像要素である。図６の例では、「図形Ａ」と「図形Ｂ」とは、「線分Ｃ」により互いに結ばれている。図６の例では、「図形Ａ」、「図形Ｂ」、及び「線分Ｃ」は、以下の条件（１）及び（２）を満たしている。

条件（１）は、『「図形Ａ」は「線分Ｃ」の始点を包含する。』である。すなわち、条件（１）は、『「線分Ｃ」の始点は「図形Ａ」の要素である。』である。条件（１）は、以下のように表現できる。
（線分Ｃの始点）∈（図形Ａ） （１）

条件（２）は、『「図形Ｂ」は「線分Ｃ」の終点を包含する。』である。すなわち、条件（２）は、『「線分Ｃ」の終点は「図形Ｂ」の要素である。』である。条件（２）は、以下のように表現できる。
（線分Ｃの終点）∈（図形Ｂ） （２）

統合処理部２０は、「図形Ａ」、「図形Ｂ」、及び「線分Ｃ」が、条件（１）及び（２）の両方を満たすときに、画像要素である「図形Ａ」と「図形Ｂ」とを統合する処理を行う。「図形Ａ」と「図形Ｂ」とを統合する処理は、例えば、「図形Ａ」と「図形Ｂ」とを関連付けて、「図形Ａ」と「図形Ｂ」と関連付け情報とを、統合データとして記憶部３０に記憶させる処理である。この場合、関連付け情報は、例えば、「結合」である。「結合」は、例えば、「図形Ａ」と「図形Ｂ」とが「線分Ｃ」によって結合されていることを示す情報である。

図７は、画像データが、「図形Ｄ」と「文字列Ｅ」とを含む例を示す。「図形Ｄ」及び「文字列Ｅ」は、画像要素である。図７の例では、「図形Ｄ」及び「文字列Ｅ」は、以下の条件（３）を満たしている。

条件（３）は、『「図形Ｄ」は「文字列Ｅ」を包含する。』である。すなわち、条件（３）は、『「文字列Ｅ」は「図形Ｄ」の要素である。』である。条件（３）は、以下のように表現できる。
（文字列Ｅ）∈（図形Ｄ） （３）

統合処理部２０は、「図形Ｄ」と「文字列Ｅ」が、条件（３）を満たすときに、画像要素である「図形Ｄ」と「文字列Ｅ」とを統合する処理を行う。「図形Ｄ」と「文字列Ｅ」とを統合する処理は、例えば、「図形Ｄ」と「文字列Ｅ」とを関連付けて、「図形Ｄ」と「文字列Ｅ」と関連付け情報とを、統合データとして記憶部３０に記憶させる処理である。この場合、関連付け情報は、例えば、「包含」である。「包含」は、例えば、「図形Ｄ」が「文字列Ｅ」を包含することを示す情報である。

図８は、画像データが、「図形Ｆ」と「図形Ｇ」とを含む例を示す。「図形Ｆ」及び「図形Ｇ」は、画像要素である。図８の例では、「図形Ｆ」及び「図形Ｇ」は、以下の条件（４）を満たしている。

条件（４）は、『「図形Ｆ」は「図形Ｇ」を包含する。』である。すなわち、条件（４）は、『「図形Ｇ」は「図形Ｆ」の要素である。』である。条件（４）は、以下のように表現できる。
（図形Ｇ）∈（図形Ｆ） （４）

統合処理部２０は、「図形Ｆ」と「図形Ｇ」が、条件（４）を満たすときに、画像要素である「図形Ｆ」と「図形Ｇ」とを統合する処理を行う。「図形Ｆ」と「図形Ｇ」とを統合する処理は、例えば、「図形Ｆ」と「図形Ｇ」とを関連付けて、「図形Ｆ」と「図形Ｇ」と関連付け情報とを、統合データとして記憶部３０に記憶させる処理である。この場合、関連付け情報は、例えば、「包含」である。「包含」は、例えば、「図形Ｆ」が「図形Ｇ」を包含することを示す情報である。

図９は、画像データが、「図形Ｋ」と「文字列Ｉ」と「記号Ｊ」を含む例を示す。「図形Ｋ」、「文字列Ｉ」、及び「記号Ｊ」は、画像要素である。

図９の例では、「図形Ｋ」の右側に「文字列Ｉ」が配置され、「図形Ｋ」と「文字列Ｉ」との間に「記号Ｊ」が存在する。図９の例では、「記号Ｊ」は、人差し指が「図形Ｋ」から「文字列Ｉ」を指している手の図形である。図９の例では、「図形Ｋ」及び「文字列Ｉ」は、「記号Ｊ」によって以下の条件（５）を満たしている。

「記号Ｊ」が包含を示す記号として定義されている場合、条件（５）は、『「図形Ｋ」は「文字列Ｉ」を包含する。』である。すなわち、条件（５）は、『「文字列Ｉ」は「図形Ｋ」の要素である。』である。条件（５）は、以下のように表現できる。
（文字列Ｉ）∈（図形Ｋ） （５）

統合処理部２０は、「図形Ｋ」、「文字列Ｉ」及び「記号Ｊ」の意味を解釈して、以下の統合処理を行う。統合処理部２０は、「図形Ｋ」と「文字列Ｉ」が、条件（５）を満たすときに、画像要素である「図形Ｋ」と「文字列Ｉ」とを統合する処理を行う。「図形Ｋ」と「文字列Ｉ」とを統合する処理は、例えば、「図形Ｋ」と「文字列Ｉ」とを関連付けて、「図形Ｋ」と「文字列Ｉ」と関連付け情報とを記憶部３０に記憶させる処理である。この場合、関連付け情報は、例えば、「包含」である。「包含」は、「図形Ｋ」が「文字列Ｉ」を包含することを示す情報である。

図６から図９に示されるように、統合処理部２０は、画像データの中の画像要素を解析して、解析の結果に基づいて画像要素と他の画像要素とを統合する統合処理を行う。統合処理に使用される解析の結果を示す情報は、例えば、以下のものである。
・画像要素と他の画像要素との間にある情報（例えば、「記号Ｊ」、「線分Ｃ」）
・画像要素と他の画像要素とを結ぶ情報（例えば、「線分Ｃ」）
・画像要素と他の画像要素との包含関係を示す情報（例えば、「図形Ｆ」と「図形Ｇ」）
・画像要素の外部又は内部にある他の画像要素に関する情報
・画像要素と他の画像要素との関係を指し示す情報（例えば、「記号Ｊ」）

図１０（ａ）及び（ｂ）は、実施の形態１に係る画像情報処理装置１の認識処理部１０によって認識された認識結果の例と、実施の形態１に係る画像情報処理装置１の統合処理部２０が行う統合処理によって生成される統合データの例、すなわち、統合結果の例とを表形式で示す図である。記憶部３０は、図１０（ａ）に示されるように、認識処理部１０によって取得された認識結果を示すデータを認識結果テーブルとして記憶してもよい。また、記憶部３０は、図１０（ｂ）に示されるように、統合処理部２０によって生成された統合処理の結果を示すデータを統合結果テーブルとして記憶してもよい。

図１１は、実施の形態１に係る画像情報処理装置１の統合処理部２０の動作を示すフローチャートである。

まず、統合処理部２０は、認識処理部１０によって認識された複数の画像要素の内の、任意の画像要素の対を抽出する（ステップＳＴ１１）。任意の画像要素の対は、例えば、互いに近い位置にある画像要素の対である。互いに近い位置とは、画像要素間の距離が予め決められた閾値以内であること、画像要素が互いに重複する部分を有すること、一方の画像要素が他方の画像要素を包含すること、などである。任意の画像要素の対は、位置関係ではなく、図７に示されるような線分で結ばれている画像要素の対、図９に示されるように記号で関連が示されている画像情報の対、などであってもよい。

次に、統合処理部２０は、抽出された画像要素の対が予め決められた条件を満たすか否かを判定する（ステップＳＴ１２）。予め決められた条件は、例えば、上記条件（１）〜（５）のいずれかである。ただし、予め決められた条件は、上記条件（１）〜（５）に限定されない。

統合処理部２０は、抽出された画像要素の対が予め決められた条件を満たす場合には、画像要素を統合する（ステップＳＴ１３）。

統合処理部２０は、ステップＳＴ１１〜ＳＴ１３の後に、抽出された画像要素に文字領域があるか否かを判定する（ステップＳＴ１４）。統合処理部２０は、文字領域がある場合には、統合データに、文字認識の結果、又は、文字認識の結果を示すテキスト情報であるラベルを付与する（ステップＳＴ１５）。ステップＳＴ１４、ＳＴ１５の処理は、例えば、文字図形統合部２２によって行われる。

統合処理部２０は、統合処理を行う画像要素が他にもある場合には、処理をステップＳＴ１１に戻す。

以上に説明したように、実施の形態１に係る画像情報処理装置１によれば、画像要素である領域同士の位置関係だけでなく、画像要素の間の情報に基づいて領域を統合している。このため、統合処理によって得られる統合データをより適切なものにすることができる。

また、実施の形態１に係る画像情報処理装置１によれば、画像要素としての文字領域が存在する場合には、文字認識の結果、又は、文字認識の結果を示すテキスト情報をラベルとして認識結果データ又は統合データに付与して、記憶部３０に記憶させることができる。この場合には、ラベルを用いた画像解析が可能になるので、統合処理によって得られる統合データをより適切なものにすることができる。

実施の形態２．
図１２は、本発明の実施の形態２に係る画像情報処理装置２の構成を概略的に示すブロック図である。図１２において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。画像情報処理装置２は、統合処理部４０の構成が、実施の形態１における統合処理部２０のものと相違する。図１２に示されるように、実施の形態２における統合処理部４０は、領域統合部２１、知識取得部４１、及び知識統合部４２を備えている。

知識取得部４１は、領域統合部２１によって連結された文字領域に記載されている内容に関連のある文字領域を調べ、関連する知識を取得する。関連知識の取得方法としては、例えば、特許文献４に記載されているテキストマイニング法を用いることができる。

特許第４５９５５９０号公報

図１３及び図１４は、実施の形態２に係る画像情報処理装置２の統合処理部４０が行う統合処理の例を示す図である。

図１３は、画像データが、「図形Ｐ１」、「文字領域Ｒ１」、及び「線分Ｌ」を含む例を示す。「図形Ｐ１」、「文字領域Ｒ１」、及び「線分Ｌ」は、画像要素である。図１３の例では、「図形Ｐ１」と「文字領域Ｒ１」とは、「線分Ｌ」により互いに結ばれている。図１３の例では、「図形Ｐ１」、「文字領域Ｒ１」、及び「線分Ｌ」は、以下の条件（６）及び（７）を満たしている。

条件（６）は、『「図形Ｐ１」は「線分Ｌ」の始点を包含する。』である。すなわち、条件（６）は、『「線分Ｌ」の始点は「図形Ｐ１」の要素である。』である。条件（６）は、以下のように表現できる。
（線分Ｌの始点）∈（図形Ｐ１） （６）

条件（７）は、『「文字領域Ｒ１」は「線分Ｌ」の終点を包含する。』である。すなわち、条件（７）は、『「線分Ｌ」の終点は「文字領域Ｒ１」の要素である。』である。条件（７）は、以下のように表現できる。
（線分Ｌの終点）∈（文字領域Ｒ１） （７）

統合処理部４０の領域統合部２１は、「図形Ｐ１」、「文字領域Ｒ１」、及び「線分Ｌ」が、条件（６）及び（７）の両方を満たすときに、画像要素である「図形Ｐ１」と「文字領域Ｒ１」とを統合する処理を行う。「図形Ｐ１」と「文字領域Ｒ１」とを統合する処理は、例えば、「図形Ｐ１」と「文字領域Ｒ１」とを関連付けて、「図形Ｐ１」と「文字領域Ｒ１」と関連付け情報とを、統合データとして記憶部３０に記憶させる処理である。この場合、関連付け情報は、例えば、「結合」である。

図１４は、画像データが、「図形Ｐ１」、「文字領域Ｍ」、及び「注釈Ｎ」を含む例を示す。「図形Ｐ１」、「文字領域Ｍ」、及び「注釈Ｎ」は、画像要素である。図１４の例では、「図形Ｐ１」と「文字領域Ｍ」とは、共に「注釈Ｎ」、すなわち、「＊１」を有しており、「注釈Ｎ」により互いに関連付けられている。知識取得部４１は、例えば、「図形Ｐ１」と「文字領域Ｍ」とが「注釈Ｎ」によって関連付けられている情報であること、すなわち、関連知識を取得する。

図１４の例では、統合処理部４０の知識統合部４２は、「図形Ｐ１」と「文字領域Ｍ」とを、「注釈Ｎ」に基づいて統合することができる。

図１５（ａ）及び（ｂ）は、実施の形態２に係る画像情報処理装置２の認識処理部１０によって認識された認識結果の例と、実施の形態２に係る画像情報処理装置２の統合処理部４０が行う統合処理によって生成される統合データの例、すなわち、統合結果の例とを表形式で示す図である。

知識統合部４２は、領域統合部２１で連結した領域と、知識取得部４１で取得した関連知識とを統合する。知識統合部４２は、統合結果を、例えば、図１５（ｂ）に示されるようにリストとして出力する。

図１３に示されるように、「文字領域Ｒ１」にページ番号が含まれている場合には、「図形Ｐ１」は、このページ番号の情報にリンクを張る。図１４に示されるように、「注釈Ｎ」が文字情報を含む場合には、「図形Ｐ１」は、注釈の示す情報を取得する。

図１６は、実施の形態２に係る画像情報処理装置２の統合処理部４０の動作を示すフローチャートである。図１６において、ステップＳＴ１１〜ＳＴ１３は、図１１のものと同じである。

統合処理部４０は、文字領域からテキストデータを取得し、リンク情報の有無を確認する（ステップＳＴ２４）。統合処理部４０は、リンク情報がある場合、リンク先から関連知識を取得する（ステップＳＴ２５）。統合処理部４０は、取得した知識を、ステップＳＴ１３で生成した結果と統合する（ステップＳＴ２６）。

この場合、統合処理部４０が生成する統合データは、図１５（ｂ）に示されるように、知識取得部４１が取得した情報を含むことができる。つまり、実施の形態２においては、統合処理部４０は、認識処理部１０によって認識された画像要素が文字を含む場合に、文字から関連する知識を取得し、取得された知識と抽出された画像要素とを統合する統合処理を行うことができる。よって、適切な統合データを生成することができる。

上記以外の点について、実施の形態２は、実施の形態１と同じである。また、実施の形態２の構成を、実施の形態１に適用することも可能である。

実施の形態３．
図１７は、本発明の実施の形態３に係る画像情報処理装置３の構成を概略的に示すブロック図である。図１７において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。画像情報処理装置３は、予め取得された事前データ５１に基づいて認識処理を行う点が、実施の形態１に係る画像情報処理装置１と相違する。また、画像情報処理装置３は、予め取得された事前データ５１に基づいて統合処理を行ってもよい。

実施の形態３においては、認識処理部１０ａは、図形認識、線分認識、及び文字認識を行い、認識された画像要素、すなわち、認識結果を出力する。認識処理部１０ａは、図形認識、線分認識、及び文字認識を実施する際に、事前データ５１を用いる。事前データ５１は、例えば、製品説明書における製品に関するデータを含む。認識処理部１０ａは、事前データ５１を用いることで、製品に固有の用語、製品の構造に関する情報を利用することができる。

認識処理部１０ａは、文字認識に際し、製品に固有の用語を参照することで、文字認識の精度を向上させることができる。例えば、認識処理部１０ａは、文字認識に際し、製品に固有の用語を含む文字列だけを認識することによって、不必要な文字を認識させないことができる。つまり、認識処理部１０ａは、文字の認識を適切に行うことができる。

認識処理部１０ａは、図形認識に際し、製品の構造に関する情報を参照することで、図形認識の精度を向上させることができる。例えば、認識処理部１０ａは、図形認識に際し、製品の構造に対応又は類似する形状だけを認識することによって、不必要な図形を認識させないことができる。つまり、認識処理部１０ａは、図形の認識を適切に行うことができる。

統合処理部５０は、実施の形態１における統合処理部２０と同様の動作をする。統合処理部５０は、事前データ５１を用いることで、製品の構造情報を利用することができ、製品に合わせた統合結果を得ることができる。

例えば、統合処理部５０は、統合処理に際し、製品に固有の用語を含む文字列に関する統合データだけを生成すること、又は、統合データに製品に固有の用語を含むことを示す情報を付加することができる。つまり、統合処理部５０は、適切な統合データを生成することができる。

また、統合処理部５０は、統合処理に際し、製品の構造に対応又は類似する形状の図形を含む統合データだけを生成すること、又は、統合データに対応又は類似する形状の図形を含む統合データを含むことを示す情報を付加することができる。つまり、統合処理部５０は、適切な統合データを生成することができる。

図１８及び図１９は、実施の形態３に係る画像情報処理装置３の統合処理部５０が行う統合処理の例を説明するための図である。

事前データ５１を使用しない場合には、図１８に示されるように、認識処理部１０ａは、三角形の図形領域と四角形の図形領域とを画像要素として認識する。この場合、統合処理部５０が生成する統合データも、図１８に示されるものとなる。

事前データ５１として「不動産の文書」という情報を使用する場合には、図１９に示されるように、認識処理部１０ａは、不動産である家に関する画像要素を認識することができる。例えば、認識処理部１０ａは、三角形の図形領域と四角形の図形領域である家の正面図（すなわち、全体図）と、四角形の他の図形領域である家の平面図（すなわち、間取り図）とを画像要素として認識することができる。この場合、統合処理部５０が生成する統合データも、図１９に示されるように、２つの画像要素を線分で結合するものとすることができる。

つまり、実施の形態３においては、認識処理部１０ａは、文書に関し事前に得られる事前知識を受け取り、事前知識に関連する画像要素を認識することができる。また、統合処理部５０は、事前知識を受け取り、事前知識に関連する画像要素を統合することができる。このようにすることで、適切な統合データを生成することができる。

上記以外の点について、実施の形態３は、実施の形態１又は２と同じである。また、実施の形態３の構成を、実施の形態２に適用することも可能である。

変形例．
本願発明は、その発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは、実施の形態の任意の構成要素の省略が可能である。

１，２，３ 画像情報処理装置、 １０，１０ａ 認識処理部、 １１ 図形認識部、 １２ 線分認識部、 １３ 文字認識部、 ２０，４０，５０ 統合処理部、 ２１ 領域統合部、 ２２ 文字図形統合部、 ３０ 記憶部、 ４１ 知識取得部、 ４２ 知識統合部、 ５１ 事前データ。

Claims (5)

1. 入力された画像データの中から複数の領域である複数の画像要素の位置、大きさ及び形状を認識する認識処理部と、
   前記複数の画像要素から第１、第２、及び第３の画像要素を抽出し、前記第１及び第２の画像要素を前記第３の画像要素に基づいて互いに関連付ける処理である統合処理を行う統合処理部と、
   を備え、
   前記統合処理部は、
   前記第３の画像要素が、前記第１及び第２の画像要素の間に配置され、前記第１の画像要素から前記第２の画像要素を指し示す図形の領域若しくは前記第２の画像要素から前記第１の画像要素を指し示す図形の領域である場合には、前記図形の領域によって指し示し及び指し示される前記第１及び第２の画像要素を統合する統合処理を行い、
   前記第３の画像要素が、前記第１及び第２の画像要素の両方に重なる部分を有するように配置された図形若しくは線分の領域である場合には、前記図形若しくは線分の領域と重なる部分を有する前記第１及び第２の画像要素を統合する統合処理を行い、
   前記第３の画像要素が前記第１及び第２の画像要素を互いに関連付ける文字の領域である場合には、前記文字によって関連付けられた前記第１及び第２の画像要素を統合する統合処理を行う
   ことを特徴とする画像情報処理装置。
2. 前記統合処理部は、
   前記第３の画像要素が前記第１及び第２の画像要素を互いに関連付ける文字の領域である場合に、前記文字から関連する知識を取得する知識取得部と、
   前記知識取得部によって取得された知識と前記文字によって関連付けられた前記第１及び第２の画像要素を統合する統合処理によって得られた領域とを統合する知識統合部と
   を有することを特徴とする請求項１に記載の画像情報処理装置。
3. 前記統合処理部は、前記第１の画像要素が前記第２の画像要素を包含する場合には、前記第１の画像要素と前記第２の画像要素とを統合する統合処理を行うことを特徴とする請求項１又は２に記載の画像情報処理装置。
4. 入力された画像データの中から複数の領域である複数の画像要素の位置、大きさ及び形状を認識するステップと、
   前記複数の画像要素から第１、第２、及び第３の画像要素を抽出し、前記第１及び第２の画像要素を前記第３の画像要素に基づいて互いに関連付ける処理である統合処理を行うステップと、
   を有し、
   前記統合処理を行うステップでは、
   前記第３の画像要素が、前記第１及び第２の画像要素の間に配置され、前記第１の画像要素から前記第２の画像要素を指し示す図形の領域若しくは前記第２の画像要素から前記第１の画像要素を指し示す図形の領域である場合には、前記図形の領域によって指し示し及び指し示される前記第１及び第２の画像要素を統合する統合処理を行い、
   前記第３の画像要素が、前記第１及び第２の画像要素の両方に重なる部分を有するように配置された図形若しくは線分の領域である場合には、前記図形若しくは線分の領域と重なる部分を有する前記第１及び第２の画像要素を統合する統合処理を行い、
   前記第３の画像要素が前記第１及び第２の画像要素を互いに関連付ける文字の領域である場合には、前記文字によって関連付けられた前記第１及び第２の画像要素を統合する統合処理を行う
   ことを特徴とする画像情報処理方法。
5. 入力された画像データの中から複数の領域である複数の画像要素の位置、大きさ及び形状を認識するステップと、
   前記複数の画像要素から第１、第２、及び第３の画像要素を抽出し、前記第１及び第２の画像要素を前記第３の画像要素に基づいて互いに関連付ける処理である統合処理を行うステップと、
   をコンピュータに実行させるための画像情報処理プログラムであって、
   前記統合処理を行うステップでは、
   前記第３の画像要素が、前記第１及び第２の画像要素の間に配置され、前記第１の画像要素から前記第２の画像要素を指し示す図形の領域若しくは前記第２の画像要素から前記第１の画像要素を指し示す図形の領域である場合には、前記図形の領域によって指し示し及び指し示される前記第１及び第２の画像要素を統合する統合処理を行い、
   前記第３の画像要素が、前記第１及び第２の画像要素の両方に重なる部分を有するように配置された図形若しくは線分の領域である場合には、前記図形若しくは線分の領域と重なる部分を有する前記第１及び第２の画像要素を統合する統合処理を行い、
   前記第３の画像要素が前記第１及び第２の画像要素を互いに関連付ける文字の領域である場合には、前記文字によって関連付けられた前記第１及び第２の画像要素を統合する統合処理を行う
   ことを特徴とする画像情報処理プログラム。

Images