JP4865526B2

JP4865526B2 - データマイニングシステム、データマイニング方法及びデータ検索システム

Info

Publication number: JP4865526B2
Application number: JP2006339566A
Authority: JP
Inventors: 麻子小池
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-12-18
Filing date: 2006-12-18
Publication date: 2012-02-01
Anticipated expiration: 2026-12-18
Also published as: JP2008152522A; US20080147622A1; US7853623B2

Description

本発明は、画像処理技術と文書のテキスト情報を用いて、文書中の図から情報を抽出し、図の検索及び文書検索に利用するシステム及びその方法に関するものである。

図入り文書中からの情報抽出は、多くの場合テキスト部分のみが対象となっており、図からの情報抽出の場合も、表などの半構造化/構造化データに限られている。図中の文字認識に関する手法は様々であり、特開２００３−１７８２６３号公報や特開平９−１８５６７４号公報がある。基本的には、必要ならば図を２値化処理して、連結成分を取り出し、連結成分の特徴から文字部分とそれ以外の記号部分を見分け、文字部分の単語認識を行う。

特開２００３−１７８２６３号公報特開平９−１８５６７４号公報

従来、図から情報抽出をする場合は、図情報のみを利用するか、もしくは単語認識過程でシソーラス／辞書を補助に利用する程度であり、図が提示されている本文中の情報を利用することはなかった。また、図を解析した情報は、図の解析結果として利用することはあっても、解析結果を文書中の用語と同様に扱えるようにして文書検索、もしくは図検索の精度向上を図ることは殆どない。

図中から文字情報／用語情報と用語間の関係（用語Ａが用語Ｂを“活性化する”、“抑制する”、“制御する”などの関係）を取り出すには、文字列の認識、即ち画像処理自身の精度向上の工夫とともに、認識した文字列を用語として変換する際に、シソーラス・辞書を使う手法などがある。しかしながら、文字列が短い場合、十分に文字列認識精度が得られない場合、もしくは、同じスペルで複数の意味がある語彙的曖昧性が残る場合などについては、図の画像処理のみによって語彙的曖昧性を除去した用語情報、及び、用語間の関係性を抽出する方法は、従来の手法では、多くの場合十分な精度が得られない。そのため、図の内容を文書のテキスト情報と同様に扱うことができず、図の検索や、図を利用した本文の検索は十分に行えなかった。また、従来の手法では、図と本文を別々に解析していることから、タイトルなどの図全体を示す上位概念と図に記述されている用語及び用語間の関係性を抽出することが不可能であった。図全体を示す上位概念と図内容の関係は本文中に記述されないことも多く、それらの情報の抽出は従来は殆ど行われていない。

本発明では、文書中の図から用語、及び、用語間の関係を画像処理で取り出す際に、図が記載されている文書及び関連文書を利用する。具体的には、その図が記載されている文書、当該文書と類似の文書、又は当該文書の関連文書に出現する用語や用語間の関係性、もしくはその重要度に応じて重み付けした用語や関係性を用意し、画像処理の精度が不十分なために特定できない図中の用語や語彙的曖昧性が残る用語、及びそれらの関係性に関して、前述の用意した用語や関係性を照らし合わせて、用語や関係性の候補から図中に出現する可能性が高いものに限定することにより、誤認識率を低下させる。この際、精度高く認識できた用語や関係性を積極的に利用して、残りの用語・関係性候補を絞り込んでもよい。

また、この際、各ステップでのパラメータをユーザが対象とする文書もしくは文書群別に適宜変更可能としてもよい。更に、図内容の上位概念を表すタイトルもしくは図脚注中の用語と取り出した図の内容を関連付けることにより、本文中に記述されてないことが多いような図内容と上位概念との関係を抽出することができる。更に、図解析結果を文書と同様に検索できるようにするために、図解析結果を文書同様にインデックス化して、図検索や、図情報を含めた文書検索・類似文書検索を行ってもよい。

本発明のテキストマイニングシステムは以下の構成とする。図と本文中の図参照元情報を対応付けし、更に、図参照元文書及びそれらと関連する文書を検索抽出した上で、それらに記載されている用語や用語間の関係性を抽出し、必要ならばその重要度に応じて重み付けする前処理手段と、図の２値化、連結成分の抽出、文字列抽出を行う画像処理手段と、抽出した文字列に対して前処理で用意した用語・関連性情報及び各種外部辞書・シソーラスを用いて用語認識、及び語彙的曖昧性を除去する手段と、認識された用語同士の関係性を抽出する手段と、該認識した用語及び用語間の関係とこれらの上位概念となる図タイトルもしくは図脚注中の用語との関係を抽出する手段、及び、これらの各ステップでの処理のパラメータを入力する手段と、該抽出した情報を尤もらしい順で表示する手段とを具備する。更に、解析結果に基づき、図検索や、図を含めた文書検索・類似文書検索を行えるように文書検索をする手段と、検索条件を入力する装置と検索結果を表示する手段を具備してもよい。

本発明によると、図入り文書及び関連文書をユーザが本システムに入力するだけで、図中の用語の認識と用語間の関係性を抽出し、提示してくれる。図の解像度が不十分で用語の認識が従来の画像処理技術で不十分であっても、図の本文及び、それらの本文の関連・類似文書を利用することによって、図中に出現しうる用語の可能性を狭めることにより、本来の用語を認識することが出来る。また、用語が複数の意味を持つ語彙的曖昧性がある場合においても、本文及び、関連文書を利用することによって曖昧性を解消することが出来る。また、図中の用語間の関係性においても、図の解像度が不十分であっても、本文及び関連文書を利用することにより、図中に出現しうる関係性の可能性を狭めて、高精度で本来の用語の認識をすることができる。また、図タイトル及び図脚注中に現れる用語と、図中の用語及び用語間の関係性を関連付けることにより、本文テキスト中にも図中にも記述されていない、図自身を表す上位概念と図中の情報との関係を抽出することが可能となる。更に、図の解析結果を文書情報と同様に扱えるようになることから、より精度のよい図や文書の検索とともに、上位概念とそれが示す現象の関係の検索が可能となる。

以下、本発明の図入り文書からの情報抽出の実施例を詳細に説明するが、本発明は以下の実施例に限定されるものではない。

図１は、本発明の図入りテキストマイニングシステムのシステム構成例を示す図である。図入りテキストとは、Ｗｅｂ上で公開されているような、ＨＴＭＬに図が埋め込まれているものや、図とテキストが組になっている文書、図入り文書のｐｄｆ（但し、テキスト部分が画像ではないもの）などを指している。図１中のテキスト情報抽出部１４の詳細は、図２に示す。また、本発明による解析の流れの例は、図３に示す。

本発明のマイニングシステムは、図入り文書から情報を抽出する前処理装置１、検索条件を入力する検索条件入力部７、図を含む文書についての検索を実行する文書／図検索部６、検索結果を表示する表示部８を有する。前処理装置１は、テキスト情報抽出部１４、図情報抽出部３、情報抽出部３，１４に解析条件を入力する解析条件入力部４、解析結果を表示する解析結果表示部５、抽出した情報を蓄積する解析結果蓄積データベース１５を備える。テキスト情報抽出部１４は、文書の本文全体もしくは本文中の図参照元の文献の類似文書および関連文書の情報から、用語抽出、用語間の関連性抽出及びそれらの重み付け処理を行うもので、図２に示すようにパラグラフ群検索部１４１、類似文書・関連文書検索部１４２、用語・関係性抽出部１４３を備える。処理の詳細については後述する。解析条件入力部４では、例えば、関連文書や類似文書の利用の有無、文字認識の閾値等を入力する。

前処理装置１では、装置に接続された文書データベース１２あるいはインターネット１３を介して接続される外部の文書データベース１１から取得される図入り文書について、該図を参照している本文中のパラグラフ群、及び、本文全体、更には関連文書を取り出し（図３のステップ１、ステップ２）、出現する用語及び用語間の関係性を抽出し、更には、それらの用語が特徴的に出現するかどうかを、他の関連のない文書と比較して重み付けする（ステップ３）。ステップ１の処理はパラグラフ群検索部１４１によって実行され、ステップ２の処理は類似文書・関連文書検索部１４２によって実行される。また、ステップ３の処理は用語・関係性抽出部１４３によって実行される。

重み付けの統計的な方法としては、TF-IDF (tf(q|D)*log(N/doc(q)、式中tf(q|D):着目している文書（もしくは文書群）Ｄ中に用語ｑが現れる回数、df(q)：qを含む文書数、N：全文書数)、Lnu-term weighting (Singhal et al. Proc. 19th ACM SIGIR, 21-29, 1996.)、HyperGsum（久光、丹羽、自然言語処理、Vol.142 85-90, 2000）などの様々な手法があるが、これに限定されない。また、重み付けは、図参照元からの単語としての（単語を距離の単位としての）最短距離などの距離を用いてもよい。これらの利用する本文の範囲、用語重み付け条件、また、図の解析において、文字認識、用語認識をするための閾値などは解析条件入力部４で設定する。

詳細には、図２に示すように、解析条件入力部４からの条件を用いて、パラグラフ群検索部１４１によって本文中での図参照元のパラグラフを検索する。パラグラフ群検索部１４１では、図を説明しているパラグラフを検索・抽出する。用語・関係性抽出部１４３は、パラグラフ群検索部１４１からの情報を元に、図のタイトルとLegendから用語抽出を行うと共に、パラグラフ群検索部１４１によって検索されたパラグラフ内での用語抽出、関係性抽出とそれらの重み付け処理を行う。また、用語・関係性抽出部１４３は、文書データベース１１（１２）から取得した文書の本文全体からの用語抽出、用語間の関係性抽出と、それらの重み付け処理を行う。類似文書・関連文書検索部１４２は、文書データベース１１，１２を検索して、類似文書及び関連文書を検索する。ここでは、類似文書とは、主に文書中に使用される用語の種類や頻度が類似している文書であり、関連文書とは、主にその文書が参照している文書のことである。用語・関係性抽出部１４３は、また、類似文書・関連文書検索部１４２によって検索された文書からの用語抽出、用語間の関係性抽出、及びそれらの重み付け処理を行う。用語・関係性抽出部１４３における用語抽出処理においては、辞書やシソーラスを利用する。こうして抽出された用語及び用語間の関係性、重み情報は、解析結果蓄積データベース１５に蓄積される。

用語の認識手法としては、辞書を用いる方法、C-value method（Maynard and Ananiadou, TKE, 212-221, 1999）などの自動的に認識する方法などがある。関係性の抽出においても、TF-IDF, Lnu-term weighting, HyperGsum，Mutual Information（log(N*df(x,y)/df(x)df(y)), df(x,y)：xとyとを含む文書数）を使う統計的な方法と、構文解析を用いる方法等があるが、いずれの方法でもよい。関連文書の収集方法については、文献の最後に記載されている参考文献を使用してもよいし、どこかで関連性が指摘されている文書を用いてもよい。類似文書は、文書中に偏って多く出現する用語やフレーズを用いて類似文書検索の手法を用いて検索してもよい。また、これらの用語認識、用語間の関係性抽出を予め行っておいても良いし、図を解析したときに十分に精度が得られなかった文字列のみに対して、その文字列の可能性のある用語をクエリとして、その図が記載された文書、及び該文書の類似文書や関連文書に検索を掛けてもよい。

前処理が済んだ文書と図について、図情報抽出部３において、前処理した用語、用語間の関係性と外部シソーラス２を用いて、図中の用語、用語間の関係を語彙的曖昧性を除去した形式で抽出する。そのためには、まず、図中に描かれている文字を認識する。具体的には、図３のステップ４において、まず濃淡画像の図は画像処理によって２値化する。２値化の仕方には種々の方法を利用することができる。大雑把には、f(x,y)を座標(x,y)における濃度とするとき、f(x,y)が閾値t以上であるか否かによって２値g(x,y)に分けることになる。

閾値ｔの値は、画像の全体の濃度のヒストグラムや局所領域による補正を行ったり、画面を予めいくつかに分割しておいて、tを決定する方法などがある。また、カラー画像については、明度や色差を用いて指定する。

図３のステップ４で画像を２値化した後に、４連結（４方向）や８連結（８方向）で繋がっている全ての画素（連結成分）を取り出し（ステップ５）、文字とそれ以外に分割する（ステップ６）。連結成分間の距離等から文字列を取り出し、用語として成り立つかどうかを、前処理で作成した用語候補と辞書・シソーラスを用いて解釈する。スペルに語彙的曖昧性が残る場合は、文書中の該当用語の重みから推測することになる（ステップ７）。連結成分のうち、用語間の関係性を示すものを選び、用語間の関係性を認識する（ステップ８）。このステップにおいては、連結成分の形状を利用する。連結成分の形状には、用語を結ぶ線の末端部の形状、用語を結ぶ線が矢印の場合にはその向き、その線が実線であるか破線であるか、などが含まれる。必要に応じて、図の上位概念を表す図タイトルとこれらの用語、用語間の関係性を対応付ける（ステップ９）。抽出した用語及び用語間の関係性は解析結果蓄積データベース１５に蓄積する（ステップ１０）。

解析し終わった図と抽出データに関しては、解析結果表示部５で確認することができる。図４（ａ）は、解析条件入力画面の例を示す。本例では、図３のステップ７における語彙的曖昧性（同じスペルで異なる意味を示す用語の意味を特定する）除去の際に本文中の図参照元のパラグラフのテキストを利用するか、本文のテキストを利用するか、関連文書や類似文書を利用するか、高精度に解析できた図中の用語を利用するかを設定できる。利用する場合には、利用する項目にチェックを入れる。また、図中の文字認識の際の閾値、文字列認識の閾値等を設定するようになっている。テキスト情報抽出部１４及び図情報抽出部３は、この入力画面で指定された条件に従って、文書のテキストや図から情報抽出を行う。

図４（ｂ）は、解析結果表示部５の出力画面の例を示す図である。解析結果表示部５の出力画面には、解析が終了した図の番号及びその図が含まれる文書の文書番号５６と共に、解析対象の図５４と解析結果５５が表示される。本例では、文書ＬＲ−１の図１（５４）を解析した結果、その図の内容を表す概念として「XXXX pathway」が抽出され、図中の用語として、遺伝子を表すＡ、Ｂ，Ｃ，Ｄ，Ｅの５つの用語が抽出され、用語間の関係性として、Ａ→Ｂ，Ｃ→Ｂ，Ｂ→Ｄ，Ｂ→Ｅの関係性が抽出されている。

図５は、図３のステップ７における処理の例を模式的に示した図である。図５（ａ）の太線で囲んだ部位のみを処理した例を図５（ｂ）に示す。図５（ｂ）において、４２１は抽出した連結成分の例、４３１は認識した文字の例、４４１は用語としての認識した例を示す。

この例では、Ｐ，Ｋ，Ｃの各文字が連結成分として抽出されている。また、Ｒ，ａ，ｆも各文字が連結成分として抽出されている。これらの連結成分の距離から、ＰＫＣ，Ｒａｆが用語に相当する部位として認識される。この例では、ＰＫＣは正しくＰＫＣとして認識されているが、ＲａｆがＲａ１，Ｒａｌ，Ｒａｆのいずれか識別できていない。シソーラスを利用した時点で、Ｒａｌ，Ｒａｆに絞られる。更に、シソーラスに登録されていない用語の可能性もあることから、図のタイトルや脚注の情報、及び、本文中の該当部位から、Ｒａ１，Ｒａｌ，Ｒａｆのスペル及びその同義語を検索する。その結果、Ｒａｆ，Ｒａｌ，Ｒａ１及びそれらの同義語が本文中に存在せず、本文の参照だけではいずれか決定できない。しかし、図中に表れている遺伝子間の関係性ＰＫＣ→ＲａＸ，Ｒａｓ→ＲａＸ，ＲａＸ→ＭＥＫ（“Ｘ”は識別できなかった文字）を利用し、これらの関係のうち本文書、及び、本文書の参考文献もしくは本文件と類似の文書で出現するものに限ることによりＲａＸの遺伝子候補を限定すると、ＲａＸはＲａｆと決定される。

具体的には、図６のテーブルを用いて、ＰＫＣ，Ｒａｓ，ＭＥＫと相互作用をもち、かつ名称がＲａＸ：Ｘ＝１，ｌ，ｆのいずれかであるという検索を行う。図６（ａ）は、用語間の関係性と本文中でその関係性が出現した頻度を表すテーブルである。ここでの出現頻度は、図参照元のパラグラフのみ、パラグラフ前後数パラグラフのみ、もしくは、類似文書、関連文書を使用してもよい。図６（ｂ）は、用語ＩＤと用語の関係を示すテーブルである。Symbol，full nameは定義される意味クラスもあれば定義しない意味クラスもあってよい。辞書・シソーラス２が存在するとき、図６（ｂ）はその部分集合となるが、存在しないときは、遺伝子のＩＤは自動付与となる。図６(ｃ)は、２つの用語間の関係性の種類を示すテーブルである。右の記号が各関係性の種類に対応する図中の記号を示す。矢印の向き・種類は、連結成分の面積の始点、終点の比や、もしくは方向性（activate型かinhibit型か）などの情報から抽出する。

図７は、図５を解析した結果として、出現する用語と用語間の関係性を表したテーブルである。図７（ａ）は用語間の関係性を示すテーブルであり、図７（ｂ）は用語とその用語が出現した図の関係を示すテーブルである。この図ではシグナル伝達系を示しているので、どの遺伝子かの曖昧性を除去して遺伝子のＩＤを付与している。この例では、名称自身に曖昧性、即ち同じスペルで違うＩＤに属する用語、はないので、曖昧性除去のステップは不要である。図７に示した情報は、解析結果蓄積データベース１５に格納される。

図８は、本発明の前処理装置によって処理される図の例を示している。図８の例では、NIKが、MAP3K14とMAP4K4の２つの遺伝子名の同義語となる。従って、参照元パラグラフ及び、主にそれ以前の本文を利用して、どちらの遺伝子かを特定する。このような略語の場合には、full-nameとabbreviationは対となって記述されることが多いことから、用語の重み付けではなく、NIKとそのfull-nameとなりうるスペルのペアの記述を検索すればよい。この場合は、NIK：NFκB-inducing kinaseと図の脚注に書いてあり、NFκB-inducing kinaseはMAP3K14の同義語であるため、MAP3K14と決定される。他の遺伝子名は曖昧性がないので一意に決定される。同義語か否かは、シソーラス２を用いてチェックする。図８に示した情報は、同様に解析結果蓄積データベース１５に格納される。例を図９に示す。図９（ａ）が関係性を、（ｂ）が出現した用語を、（ｃ）が関係の種類を示す。（ｄ）は辞書・シソーラス２の部分集合である。タイトルに相当する用語のシソーラスがあるときにはシソーラスを使い、ないときには、Taggerを使って Schematic/形容詞 drawing/名詞 of/前置詞 NE-induced/形容詞 IL-8/名詞 signal/名詞 transduction/名詞 pathway/名詞 in/前置詞 human/名詞のように品詞をつけ、名詞句の取り出し手法（この場合は、pathwayの前の名詞もしくは形容詞の単語を前置詞の後ろまで連結する）を使って取り出してもよい。また、Fig.XX represents YYのようなパターンを使ってもよいし、もしくは、構文解析をして Fig.XXの目的語となる用語を取り出してもよい。

図１０は、本発明の前処理装置によって処理される図の他の例を示している。図１０の例では、図中の遺伝子名が一部省略されており、α，βだけからはどの遺伝子か特定することはできない。また、Figure legendsからも、α，βを特定することはできない。しかし、図参照元部よりも以前の本文に、integrins heterodimers composed of αand βsubunitsという記述があることから、α，βがintegrinであることが明らかとなる。またタイトルから本図に相当する遺伝子間の制御関係がERK and PKB signaling pathwayであることがわかる。図１０から、図１１のような関係性が抽出される。図１１（a）が関係性を、（ｂ）が出現した用語を、（ｃ）が関係の種類を示す。（ｄ）は辞書・シソーラス２の部分集合である。

図１２は、文書中の図から遺伝子名及び遺伝子間の制御関係を前述のようにして抜き出し、それらの用語及び用語間の関係性を図にインデックスとして張ったものに対して、検索をかけるシステムの表示画面例を示す図である。入力画面の入力部９１にユーザが検索キーとして入力した遺伝子群Ａ，Ｂ，Ｃ，Ｄ，Ｅに対して、関連度の高い順に図をランキングして表示している。表示された図の横には、図から抽出した用語と図全体を表す概念（用語）が表示されている。XXXX pathwayにあたる用語は、図タイトルもしくは図脚注から抽出された用語である。

ランキングの出し方には様々な方法が可能であるが、例えば、図中の遺伝子Ｍ個中、クエリｎ個のうち、Ｌ個重なったとき、全体の遺伝子数をＫ個（例えばHomo sapiensだと約25,000）とすると超幾何分布となり、確率密度分布p(L)は以下の式で表される。

ここで、p(L)が小さいほど、よりクエリと関係が深い図となる。

図１２で利用したデータ構造を図１３に示す。図１２でのクエリは、Ａ，Ｂ，Ｃ，Ｄ，Ｅである。もし、関係性もクエリに入れたいならば、図６（ａ）に示すような関係性のテーブルも必要である。

また、図１２に示すように、出力画面に表示された図のいくつかを選択して送信ボタン９５を押すことにより、選択した図と類似の図を検索することもできる。図１２の例では、図の横に表示されたチェックボックスをチェックすることにより、クエリとしての図の選択を行っている。

この際の検索のアルゴリズムは、クエリとして選択した図に出現する用語、さらには用語間の関係性を利用して上記と同様なスコアリングで関連度の高い図を選択することになる。選択した図に重複して出現する用語に関しては、上記計算時に、高い重み付けをするなどしてもよい。また、これらのクエリを利用して、通常の文書検索のクエリとして文書を検索してもよい。

図１４は、文書中の図から遺伝子名及び遺伝子間の制御関係を前述のようにして抜き出し、それらの用語及び用語間の関係性を図にインデックスとして張ったものに対して、検索を掛けるシステムの他の例の出力画面を示す図である。本実施例では、検索に利用するインデックスは図中の用語だけでなく、本文や類似文書、関連文書も利用する。利用するデータは、図１５に示す。図１５（ａ）は、用語及びその用語と関連する図及びその用語の出現場所を格納したテーブル、図１５（ｂ）は図の名称及び文書中におけるその図の位置の情報を格納したテーブルである。図１５（ａ）の出現場所でｆは図中、ｐは同一パラグラフ中、ｔは本文中を示す。例えば、AA activates BB, BB activates CC，CC regulates DD，DD regulates EE のような一連のsignaling pathway があったときに、AA，BB，ＣＣの範囲のpathwayをＧＸＡpathwayと呼び、AA，BB，CC，DD，EE全部を含めた総称がなかったとする。本文中には、GXA pathwayに関与する遺伝子名の記述、例えば GXA pathwayがDD，EEを制御するなどという記述が書かれていることが多いので、クエリがAA，BB，CC，DD，EEのときにGXA pathwayとDD，EEとの関連を説明しうる図、更には、参照元のテキストを取り出すことができる。AA- EEを示す用語は遺伝子名でも良いし、apoptosis, cell deathなどの機能を表す用語を含む他の用語であってもよい。

用語の出現場所の違いによって、スコア計算時の重みを変える。例えば、式(1)で遺伝子１つを３個のカウントとし、ｆを３、ｐを２、ｔを１とカウントしてもよい。例えば、図１４のクエリにおける検索キーは、AA，BB，CC，DD，EEであるが、ｎ＝５ではなく、ｎ＝１５とし、Ｇ３では、Ｍ＝５＊３，Ｌ＝３＊３＋２＊２＝１３となる。本実施例でも、図１２の実施例と同様に、出力結果から図を選択して、類似の図や文書を検索することもできる。

本発明によると、図入り文書の図から情報を抽出して検索に利用するマイニングシステムを構築できる。

本発明の図入りテキストマイニングシステムのシステム構成例を示す図。前処理装置の詳細図。本発明による解析の流れを示すフローチャート。（ａ）は解析条件入力部の画面例を示す図、（ｂ）は解析結果表示部の画面例を示す図。図中の用語の解析例を示す図。用語間の関係性を示すテーブルの図。用語IDと用語の関係を示すテーブルの図。用語間の関係性の種類を示すテーブルの図。図の解析結果の例を示す図であり、（ａ）は用語間の関係を表すテーブル、（ｂ）は図番号とその図に出現した用語との関係を示すテーブルの図。解析対象の図の例を示す図。図８の解析結果の図であり、（ａ）は用語間の関係性を示すテーブル、（ｂ）は用語IDと用語の関係を示すテーブル、（ｃ）は用語間の関係性の種類を示すテーブル、（ｄ）は利用したシソーラスの一部を示す図。解析対象の図の例を示す図。（ａ）は用語間の関係性を示すテーブル、（ｂ）は用語IDと用語の関係を示すテーブル、（ｃ）は用語間の関係性の種類を示すテーブル、（ｄ）は利用したシソーラスの一部を示す図。解析し終えた図の検索の例を示す図。検索に使用したデータ構造を示す図。解析し終えた図の検索の例を示す図。検索に使用したデータ構造を示す図。

符号の説明

１…前処理装置、１１…文書データベース、１２…文書データベース、１３…インターネット、１４…テキスト情報抽出部、２…辞書・シソーラス、３…図情報抽出部、４…解析条件入力部、５…解析結果表示部、６…文書/図検索部、７…検索条件入力部、８…検索結果表示部、１５…解析結果蓄積データベース、１４１…パラグラフ群検索部、１４２…類似文書・関連文書検索部、１４３…用語・関係性抽出部

Claims

文書中の図を画像処理して当該図中の用語と用語間の関係性についての情報を抽出する図情報抽出部と、
文書中のテキスト部分から用語と用語間の関係性についての情報を抽出するテキスト情報抽出部と、
図の画像、図の識別情報、及び前記図情報抽出部によって抽出された図中の用語及び用語間の関係性についての情報を相互に関連付けて記憶する記憶部とを有し、
前記図情報抽出部は、前記テキスト情報抽出部によって抽出された当該文書中の用語、あるいは用語及び用語間の関係性の情報を利用して、画像処理の精度が不十分なために特定できない用語及び／又は同じスペルで複数の意味がある語彙の曖昧性が残る用語を抽出して特定し、
前記テキスト情報抽出部は、前記図のタイトル、脚注、あるいは本文中から図の中身を表す用語を辞書、固有表現の認識手法、抽出パターン又は構文解析を用いて抽出し、前記抽出された用語を、図の上位概念を表す図タイトルと図の識別情報に関連付けて前記記憶部に記憶する
ことを特徴とするデータマイニングシステム。
請求項１記載のデータマイニングシステムにおいて、前記テキスト情報抽出部は、前記図を参照している文書中のパラグラフを検索する機能を有し、前記図情報抽出部は、前記テキスト情報抽出部によって検索された前記パラグラフから抽出された用語、あるいは用語及び用語間の関係性の情報を利用して、画像処理の精度が不十分なために特定できない用語及び／又は同じスペルで複数の意味がある語彙の曖昧性が残る用語を抽出することを特徴とするデータマイニングシステム。
請求項１記載のデータマイニングシステムにおいて、前記テキスト情報抽出部は、文書データベースから前記図が記載されている文書の関連文書及び／又は類似文書を検索する機能を有し、前記図情報抽出部は、前記テキスト情報抽出部によって検索された前記関連文書及び／又は類似文書から抽出された用語、あるいは用語及び用語間の関係性の情報を利用して、画像処理の精度が不十分なために特定できない用語及び／又は同じスペルで複数の意味がある語彙の曖昧性が残る用語を抽出することを特徴とするデータマイニングシステム。
請求項１記載のデータマイニングシステムにおいて、前記図情報抽出部は前記図を画像処理して図中の文字を抽出すると共に、隣接する文字間の距離を考慮して連続する複数の文字からなる用語を抽出し、用語間に配置された記号の形状から当該用語間の関係性を抽出することを特徴とするデータマイニングシステム。
図を含む文書を処理装置に入力する工程と、
前記処理装置において、文書中のテキスト部分から用語と用語間の関係性についての情報を抽出するテキスト処理工程と、
前記文書中の図を画像処理して図中の文字を抽出し、隣接する文字間の距離を考慮して連続する複数の文字からなる用語を抽出し、用語間に配置されている記号の形状から当該用語間の関係性を抽出する図処理工程と、
図の画像、図の識別情報、及び前記図処理工程によって抽出された図中の用語及び用語間の関係性についての情報を関連付けて出力する出力工程とを有し、
前記図処理工程では、前記テキスト処理工程で抽出された当該文書中の用語、あるいは用語及び用語間の関係性の情報を利用して、画像処理の精度が不十分なために特定できない用語及び／又は同じスペルで複数の意味がある語彙の曖昧性が残る用語を抽出して特定し、
前記テキスト処理工程では、前記図のタイトル、脚注、あるいは本文中から図の中身を表す用語を辞書、固有表現の認識手法、抽出パターン又は構文解析を用いて抽出し、
前記出力工程では、前記抽出された用語を、図の上位概念を表す図タイトルと図の識別情報に関連付けて出力する
ことを特徴とするデータマイニング方法。
請求項５記載のデータマイニング方法において、前記テキスト処理工程は、前記図を参照している文書中のパラグラフを検索し、前記パラグラフから用語及び用語間の関係性の情報を抽出する工程を有し、前記図処理工程は、前記パラグラフから抽出された用語、あるいは用語及び用語間の関係性の情報を利用して、画像処理の精度が不十分なために特定できない用語及び／又は同じスペルで複数の意味がある語彙の曖昧性が残る用語を抽出することを特徴とするデータマイニング方法。
請求項５記載のデータマイニング方法において、文書データベースから前記図が記載されている文書の関連文書及び／又は類似文書を検索する工程を有し、前記テキスト処理工程では検索された前記関連文書及び／又は類似文書中のテキスト部分から用語と用語間の関係性についての情報を抽出することを特徴とするデータマイニング方法。
文書中の図を画像処理して当該図中の用語と用語間の関係性についての情報を抽出する図情報抽出部と、
文書中のテキスト部分から用語と用語間の関係性についての情報を抽出するテキスト情報抽出部と、
図の画像、図の識別情報、及び前記図情報抽出部によって抽出された図中の用語及び用語間の関係性についての情報を相互に関連付けて記憶する記憶部と、
検索用語を入力する入力部と、
前記入力部に入力された検索用語と前記記憶部に図と関連付けられて格納された図中の用語との関連度を計算し、関連度に順位付けして出力する検索部と、
前記検索部から出力された図の画像を前記関連度の高い順に画像表示する表示部と
を有し、
前記図情報抽出部は、前記テキスト情報抽出部によって抽出された当該文書中の用語、あるいは用語及び用語間の関係性の情報を利用して、画像処理の精度が不十分なために特定できない用語及び／又は同じスペルで複数の意味がある語彙の曖昧性が残る用語を抽出して特定し、
前記テキスト情報抽出部は、前記図のタイトル、脚注、あるいは本文中から図の中身を表す用語を辞書、固有表現の認識手法、抽出パターン又は構文解析を用いて抽出し、前記抽出された用語を、図の上位概念を表す図タイトルと図の識別情報に関連付けて前記記憶部に記憶する
ことを特徴とする検索システム。
請求項８記載の検索システムにおいて、前記表示部に、前記検索部から出力された図の画像と共に、当該図に対する前記関連度のスコア及び当該図に関連付けられた用語を表示することを特徴とする検索システム。
請求項９記載の検索システムにおいて、前記記憶部には図と関連付けて当該図の名称が格納されており、前記表示部に、前記検索部から出力された図の画像と共に、当該図の名称を表示することを特徴とする検索システム。
請求項８記載の検索システムにおいて、前記記憶部には文書中のテキスト部分に含まれる用語及び用語間の関係性についての情報が格納され、前記検索部は文書中のテキスト部分に含まれる用語及び用語間の関係性と図中の用語及び用語間の関係性についての情報とを同等に扱って検索を実行することを特徴とする検索システム。
請求項８記載の検索システムにおいて、前記表示部に図の画像を選択可能に表示し、前記検索部は選択された図に関連付けられた用語を検索用語として検索を実行することを特徴とする検索システム。
請求項１１記載の検索システムにおいて、前記表示部に図の画像を選択可能に表示し、前記検索部は選択された図に関連付けられた用語を検索用語として検索を実行することを特徴とする検索システム。