JP5443322B2 - 情報抽出装置、情報抽出方法および情報抽出プログラム - Google Patents

Description

本発明は、インターネット上のＷｅｂページ等から市場分析などに必要な商品などについての属性情報を抽出する情報抽出技術に関する。

ネットワーク上のテキスト情報源、例えばＷｅｂページ等から商品の名前や価格等の属性情報を抽出する技術が下記特許文献１で開示されている。

特開２０００−３４８０６１号公報

単一のＷｅｂページに複数の商品などが掲載されている場合、各商品の属性情報を個々の商品毎にグループ化する方法が必要となる。

例えば、図６のような商品に関するＷｅｂページがあるとすると、この図６のページから、従来技術により以下のような属性情報が抽出される。

商品名：帽子、サンダル、サングラス、…
価格：￥２，９８０、￥３，９８０、￥１，９８０、…
このときに、それぞれの商品名がどの価格に対応しているのかを対応付ける必要がある。

このように属性情報どうしを対応付けて抽出することができる抽出ルールを作成することは、作成コストのかかるものであった。

本発明は上記課題を解決するものであり、その目的は、テキスト情報源から属性情報を抽出する際の抽出ルール作成に対する負荷、作成コストを軽減させた情報抽出装置、方法、プログラムを提供することにある。

上記課題を解決するために本発明では、オペレータによる抽出ルールの作成支援を行い、ページのレイアウト情報を手がかりにして属性情報抽出ルールを作成し、作成した抽出ルールを元に例えば商品の属性情報を抽出する。

すなわち、本発明の情報抽出装置は、オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対応するブロックをテキスト情報源から抽出し、前記抽出されたブロックのテキスト文字列に対してオペレータの付加した属性名を受付け、前記オペレータが指定したテキスト文字列の周辺に関連するレイアウト情報を前記テキスト情報源から収集し、前記抽出されオペレータにより属性名が付加されたテキスト文字列と前記収集されたレイアウト情報と属性情報を含む抽出ブロックを取得して表示する抽出ルール作成支援手段と、前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成手段と、前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用手段と、を備えたことを特徴としている。

本発明によれば、オペレータの指示（情報指定等）に対して、抽出ルール作成支援手段が抽出ブロックの取得と表示を行なうので、オペレータに対して対話的に抽出ルールの作成支援がなされ、オペレータの抽出ルール作成に対する負荷を軽減することができる。

また、抽出ルール作成手段による前記抽出ブロックの一般化と単一化によって、単一化した抽出ルールが作成されるので、属性情報間の対応関係が推測可能となり、オペレータが複数の属性情報間の対応関係を指定する必要がなくなる。

本発明の一実施形態例を示す全体構成図。 本発明の一実施形態例による情報抽出方法の処理を示すフローチャート。 本発明の一実施形態例による情報抽出装置の機能ブロック図。 本発明の一実施形態例による抽出ルール作成支援の処理を示すフローチャート。 本発明の一実施形態例による抽出ルール作成の処理を示すフローチャート。 本発明の一実施形態例において表示するテキストの一例を示す説明図。 図６のテキストを表示するための記述形式を示す説明図。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。本発明におけるオペレータとは、抽出ルールを作成しようとする作業者である。また、レイアウト情報とは、例えば図６に示す商品に関するＷｅｂページのテキストについて、レイアウトされたテキストを表示するための記述形式（図７）である。

図７において、“<top>”と“</top>”とで囲まれた範囲により表示対象を示している。また、“<item>”と“</item>”とで囲まれた範囲は、箇条書きの要素であることを示している。さらに、“<r>”は改行を、“<t>”はタブを各々表している。

図１は本発明の一実施形態例における情報抽出装置１００の全体構成を示し、図２は情報抽出装置１００で行なわれる処理の流れを示し、図３は情報抽出装置１００の各部の機能を示している。

図１において、情報抽出装置１００は、抽出ルール作成支援手段としての抽出ルール作成支援部１１０、抽出ルール作成手段としての抽出ルール作成部１２０、抽出ルール適用手段としての抽出ルール適用部１３０および抽出ルールＤＢ（データベース）１４０を備えている。

尚図１中の（１）〜（７）で示す矢印は、後述するオペレータの指示、情報の流れ、各部の処理結果等を表している。

抽出ルール作成支援部１１０は、オペレータが指定(図示(１)）したＷｅｂページのテキスト文字列および属性情報に対して、当該属性情報の属性名およびテキスト文字列周辺のレイアウト情報を含む抽出ブロックを、Ｗｅｂページから取得（図示（２））して表示する。尚、前記Ｗｅｂページは、例えばＷｅｂページデータベースに格納されている。

抽出ルール作成部１２０は、前記抽出ルール作成支援部１１０によって取得された抽出ブロック（図示（３））に対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成し、抽出ルールＤＢ１４０に格納する（図示（４））。

抽出ルール適用部１３０は、前記Ｗｅｂページのテキストを予め取り込んで（図示（５））ブロック化しておき、前記抽出ルールＤＢ１４０に格納された抽出ルールを取り込み（図示（６））、該抽出ルールを前記Ｗｅｂページのブロック化されたテキストに適用して属性情報を抽出する（図示（７））。

前記情報抽出装置１００は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＲＯＭ，ＲＡＭ，ＣＰＵ、入力装置、表示装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。

このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーションなど）との協働の結果、情報抽出装置１００は、図１に示すように、抽出ルール作成支援部１１０、抽出ルール作成部１２０、抽出ルール適用部１３０および抽出ルールＤＢ１４０を実装する。

前記抽出ルールＤＢ１４０は、ハードディスクあるいはＲＡＭなどの保存手段・記憶手段に構築されているものとする。

次に、上記のように構成された装置の動作を図２のフローチャートに沿って詳細に説明する。

＜抽出ルール作成支援処理（ステップＳ１）＞
抽出ルール作成支援処理では、オペレータがＷｅｂページに対して必要な属性情報を部分的に指定し、抽出ルール作成支援部１１０がその指定された属性情報のレイアウト情報から抽出ブロックを取得し表示装置（図示省略）に表示させる。

したがって、抽出ルール作成支援部１１０は図３のように、オペレータからの指示の受付機能と、情報の表示機能と、ブロックの抽出機能とを有している。

前記図６のＷｅｂページを例にすると、オペレータがＷｅｂページに対して商品の属性情報である例えば“帽子”を選択し、オペレータはその属性情報に対して属性名“商品名”を付与する。抽出ルール作成支援処理では、このオペレータの一連の指示から、以下のような属性情報に対する抽出ブロックを取得する。

<top><item[1]>[商品名:帽子]<r><t>[*]
上記抽出ブロックは、属性情報の属性名と属性値およびそのレイアウト情報からなる。“［商品名：帽子］”は、属性名“商品名”と属性値“帽子”からなる属性情報である。また、“[*]”は、着目する属性情報およびレイアウト情報以外の任意のテキスト文字列を表し、以下文字列変数と呼ぶことにする。

さらに、抽出ブロックは、属性情報に関連するレイアウト情報を含む。レイアウト情報の同一階層に複数の同一要素がある場合には、各要素にその出現順位を示す項番を付与する。“<item[1]>”は、“<top>”直下の１番目の“<item>”要素であることを表す。

次に抽出ルール作成支援処理（ステップＳ１）の具体例を図４のフローチャートとともに説明する。

まずステップＳ１１において、抽出ルール作成支援部１１０は表示装置にＷｅｂページのテキストを表示し、オペレータに対してテキスト文字列の選択を促す。

次にステップＳ１２において、オペレータが前記表示されたテキストに対してテキスト文字列を選択し、それを抽出ルール作成支援部１１０が受け付ける。

すると抽出ルール作成支援部１１０は、ステップＳ１３において、前記オペレータが選択した文字列に対応するブロックを抽出し、例えば次のようにオペレータが指定した箇所を含むテキスト文字列を強調表示する（ステップＳ１４）ことによって、そのテキスト文字列に対する属性名の入力をオペレータに要求する。

すなわち、下記の表１のように、表示テキスト画面にテキストを表示し、オペレータ要求画面に属性名入力欄を表示する。

例えば、オペレータが帽子を指定したとするとその箇所はテキスト文字列“￥２，９８０”の近傍であるので、“￥２，９８０”を強調表示する。これに対して、属性名の入力要求欄をブロック抽出処理（ステップＳ１３）で抽出したブロックとともにオペレータ要求画面へ表示する（表１の「？」で示される欄）。

次にステップＳ１５において、オペレータが前記入力要求欄に属性名を入力し、それを抽出ルール作成支援部１１０が受け付ける。

次にステップＳ１６において、抽出ルール作成支援部１１０は、前記オペレータが指定したテキスト文字列からそのテキスト文字列の周辺に関連するレイアウト情報を収集し、オペレータが入力した属性名を付加したテキスト文字列とレイアウト情報と属性情報から構成されるブロックを抽出する。

例えば、オペレータがステップＳ１２において“￥２，９８０”というテキスト文字列を指定し、さらにステップＳ１５において“価格”という属性名を入力した場合、以下のようなブロックが抽出される。

<top><item[1]>[*]<r><t>[価格:￥２，９８０]
このブロック抽出処理において、属性情報“[価格:￥２，９８０]”が含まれるブロックが“<top><item[1]>”であり、ブロック“<top><item[1]>”が含む記述形式の対応部分は、“帽子<r><t>￥２，９８０”となる。これに対して、オペレータが指定したテキスト文字列“￥２，９８０”へオペレータが入力した属性名“価格”を付加し、属性情報“［価格：￥２，９８０］”に置き換える。さらに、属性情報とレイアウト情報以外のテキスト文字列を文字列変数“[*]”に置き換え、抽出ブロック“<top><item[1]>[*]<r><t>［価格：￥２，９８０］”を作成する。

＜抽出ルール作成処理（ステップＳ２）＞
抽出ルール作成処理では、抽出ルール作成支援処理（ステップＳ１）によって取得された抽出ブロックから、抽出ルール作成部１２０が抽出ルールを作成する。

前記図６、表１のＷｅｂページを例にすると、オペレータが属性情報として、帽子とサングラスとに対する商品名と価格を指定した場合、前記抽出ルール作成支援処理（ステップＳ１）では下記の４つの抽出ブロックが取得される。

<top><item[1]>[商品名:帽子] <r><t>[*]
<top><item[1]>[*]<r><t>［価格：￥２，９８０］
<top><item[2]>[商品名:サングラス] <r><t>[*]
<top><item[2]>[*]<r><t>［価格：￥３，９８０］
抽出ルール作成処理（ステップＳ２）では、これらの抽出ブロックに対して、属性名毎に抽出ブロックを一般化して抽出ルールの一般化を図り、それぞれ属性名毎の抽出ブロックを単一化して抽出ルールの単一化を図る。

これらの処理により、形成される抽出ルールは以下の通りとなる。

<top><item[*]>[商品名:*] <r><t>[価格:*]
したがって抽出ルール作成部１２０は、図３のように抽出ブロック一般化機能と、抽出ブロック単一化機能を有している。

次に抽出ルール作成処理（ステップＳ２）の具体例を図５のフローチャートとともに説明する。図５において、ステップＳ２１では、抽出ルール作成支援処理（ステップＳ１）によって取得された抽出ブロックから、属性名毎に抽出ブロックを一般化する。

例えば、抽出ルール作成支援処理によって以下のような抽出ブロックが取得されているとする。

＜top><item[1]>[商品名:帽子] <r><t>[*]
<top><item[1]>[*]<r><t>［価格：￥２，９８０］
<top><item[2]>[商品名:サングラス] <r><t>[*]
<top><item[2]>[*]<r><t>［価格：￥３，９８０］
これらの抽出ブロックに対して、ステップＳ２１の抽出ブロック一般化処理では、属性名により、次の表２のように抽出ブロックを分類する。

そして、抽出ブロック間で共通なレイアウト情報はそのままにし、差異があるテキスト文字列は任意のテキスト文字列を表す“*”（文字列変数）に置き換える操作を行なって、次の表３のように同じ属性名を持つ抽出ブロックを一般化する。

すなわち、表２中の属性名が「商品名」である２つの抽出ブロックにおいて、[1]と[2]、帽子とサングラスのように差異のある文字列が、表３中の属性名が「商品名」である１つの抽出ブロックの文字列変数“*”に置き換えられる。

また、表２中の属性名が「価格」である２つの抽出ブロックにおいて、[1]と[2]、￥２，９８０と￥３，９８０のように差異のある文字列が、表３中の属性名が「価格」である１つの抽出ブロックの文字列変数“*”に置き換えられる。

上記置き換え操作の結果、表３のように“*”が含まれる属性情報［商品名：*］、［価格：*］を属性変数と呼ぶこととする．
次にステップＳ２２の抽出ブロック単一化処理では、前記抽出ブロック一般化処理（ステップＳ２１）によって一般化された抽出ブロックを単一化することで、抽出ルールの単一化を図った抽出ルールを作成する。

例えば、抽出ブロック一般化処理（ステップＳ２１）によって表３に示す次のような２つの抽出ブロックが得られているとする．
<top><item[*]>[商品名:*]<r><t>[*]
<top><item[*]>[*]<r><t>[価格:*]
これらに対して、抽出ブロック単一化処理（ステップＳ２２）では、まず２つの抽出ブロック間の対応付けを次の表４のように行なう。

次に表４の２つの抽出ブロックの共通部分を下記の表５のように単一化する。

次に表５の抽出ブロックにおいて、文字列変数と属性変数とで差異がある部分を、下記の表６のように属性変数に単一化する。

以上の処理により、以下のように単一化された抽出ルールが作成され、抽出ルールＤＢ１４０に格納される。

<top><item[*]>[商品名:*] <r><t>[価格:*]
＜抽出ルール適用処理（ステップＳ３）＞
抽出ルール適用処理（ステップＳ３）では、Ｗｅｂページを予め下記のようにブロック化しデータとして保持する。

<top><item[1]>帽子<r><t>￥２，９８０
<top><item[2]>サングラス<r><t>￥３，９８０
<top><item[3]>サンダル<r><t>￥１，９８０
<top><item[4]> ...<r><t>...
...
そして、前記抽出ルールＤＢ１４０に格納された抽出ルールを、前記ブロック化したＷｅｂページに適用して属性情報を抽出する。

したがって、抽出ルール適用部１３０は、図３のようにＷｅｂページのブロック化機能とルール適用機能とを有している。

例えば抽出ルールＤＢ１４０に格納された抽出ルールが、“<top><item[*]>[商品名:*] <r><t>[価格:*]”であった場合、該抽出ルールの属性変数に前記ブロック化されたＷｅｂページのテキスト文字列を対応付け、下記表７に示すような属性情報を抽出し出力する。

以上のように本実施形態例によれば、抽出ルール作成支援部１１０が実行する、テキストの表示（図４のステップＳ１１）、オペレータからの指示の受付け（図４のステップＳ１２，Ｓ１５）、選択文字列の強調表示および入力要求欄付き抽出ブロックの表示（図４のステップＳ１４）およびブロック抽出（図４のステップＳ１３，Ｓ１６）を通じて、オペレータに対し対話的に抽出ルールの作成支援を行うことができる。

また、抽出ルール作成部１２０が実行する抽出ブロック一般化（図５のステップＳ２１）と抽出ブロック単一化（図５のステップＳ２２）により、複数の属性情報の事例から、属性情報間の対応関係が推測可能となったため、オペレータは複数の属性情報間の対応関係を指定する必要がない。これにより、オペレータの抽出ルール作成に対する負荷を軽減することができる。

また、本実施形態の情報抽出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の情報抽出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

１００…情報抽出装置
１１０…抽出ルール作成支援部
１２０…抽出ルール作成部
１３０…抽出ルール適用部
１４０…抽出ルールＤＢ

Claims (5)

1. オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対応するブロックをテキスト情報源から抽出し、前記抽出されたブロックのテキスト文字列に対してオペレータの付加した属性名を受付け、前記オペレータが指定したテキスト文字列の周辺に関連するレイアウト情報を前記テキスト情報源から収集し、前記抽出されオペレータにより属性名が付加されたテキスト文字列と前記収集されたレイアウト情報と属性情報を含む抽出ブロックを取得して表示する抽出ルール作成支援手段と、
   前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化し、該一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成手段と、
   前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用手段と、
   を備えたことを特徴とする情報抽出装置。
2. 前記抽出ルール作成手段が行う抽出ブロックの一般化は、同じ属性名を持つ抽出ブロックの間で、共通なレイアウト情報はそのままにし、差異があるテキスト文字列を任意のテキスト文字列を表す文字列変数に置き換え、該文字列変数が含まれる属性情報を属性変数とすることによって実施され、
   前記抽出ルール作成手段が行う抽出ブロックの単一化は、各抽出ブロック間の共通部分を単一化し、前記文字列変数と属性変数とで差異のある部分を属性変数に単一化することによって実施されることを特徴とする請求項１に記載の情報抽出装置。
3. 抽出ルール作成支援手段が、オペレータが指定したテキスト情報源のテキスト文字列および属性情報に対応するブロックをテキスト情報源から抽出し、前記抽出されたブロックのテキスト文字列に対してオペレータの付加した属性名を受付け、前記オペレータが指定したテキスト文字列の周辺に関連するレイアウト情報を前記テキスト情報源から収集し、前記抽出されオペレータにより属性名が付加されたテキスト文字列と前記収集されたレイアウト情報と属性情報を含む抽出ブロックを取得して表示する抽出ルール作成支援ステップと、
   抽出ルール作成手段が、前記抽出ルール作成支援手段によって取得された抽出ブロックに対して、各抽出ブロックの属性名毎に抽出ブロックを一般化する抽出ブロック一般化ステップと、前記一般化された抽出ブロックについて各属性名毎の抽出ブロックを一つの抽出ブロックに単一化する抽出ブロック単一化ステップとを有し、属性情報を抽出するための単一化された抽出ルールを作成する抽出ルール作成ステップと、
   抽出ルール適用手段が、前記テキスト情報源のテキストを予めブロック化しておき、前記抽出ルール作成手段によって作成された抽出ルールを、前記ブロック化されたテキストに適用して属性情報を抽出する抽出ルール適用ステップと、
   を備えたことを特徴とする情報抽出方法。
4. 前記抽出ブロック一般化ステップは、同じ属性名を持つ抽出ブロックの間で、共通なレイアウト情報はそのままにし、差異があるテキスト文字列を任意のテキスト文字列を表す文字列変数に置き換え、該文字列変数が含まれる属性情報を属性変数とすることによって実施され、
   前記抽出ブロック単一化ステップは、各抽出ブロック間の共通部分を単一化し、前記文字列変数と属性変数とで差異のある部分を属性変数に単一化することによって実施されることを特徴とする請求項３に記載の情報抽出方法。
5. コンピュータを請求項１又は２に記載の各手段として機能させる情報抽出プログラム。

Images