JP6562276B2 - 情報抽出装置、情報抽出方法、及び情報抽出プログラム - Google Patents

情報抽出装置、情報抽出方法、及び情報抽出プログラム Download PDF

Info

Publication number
JP6562276B2
JP6562276B2 JP2016564846A JP2016564846A JP6562276B2 JP 6562276 B2 JP6562276 B2 JP 6562276B2 JP 2016564846 A JP2016564846 A JP 2016564846A JP 2016564846 A JP2016564846 A JP 2016564846A JP 6562276 B2 JP6562276 B2 JP 6562276B2
Authority
JP
Japan
Prior art keywords
information
extraction
variable
variable element
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016564846A
Other languages
English (en)
Other versions
JPWO2016098739A1 (ja
Inventor
一憲 坂本
一憲 坂本
真一 本位田
真一 本位田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inter University Research Institute Corp Research Organization of Information and Systems
Original Assignee
Inter University Research Institute Corp Research Organization of Information and Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inter University Research Institute Corp Research Organization of Information and Systems filed Critical Inter University Research Institute Corp Research Organization of Information and Systems
Publication of JPWO2016098739A1 publication Critical patent/JPWO2016098739A1/ja
Application granted granted Critical
Publication of JP6562276B2 publication Critical patent/JP6562276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566URL specific, e.g. using aliases, detecting broken or misspelled links

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Description

本発明は、構造化された文書から特定情報を抽出する情報抽出装置、情報抽出方法、及び情報抽出プログラムに関する。
従来の情報抽出装置(特許文献1参照)は、同一構造を持つWebページ間の差分を検出し、差分が検出された場所(タグ)を差分領域として特定し、その差分領域に記載されている情報を差分データとして抽出し、差分領域と差分データとを紐付けして特定情報として記憶している。例えば、「郵便番号」のタグと、実際の郵便番号(例えば、100−1000)とを対応付けて記憶する。この情報抽出装置によれば、例えば、AさんとBさんの英語学習記録のWebページの差分を計算することにより、ユーザごとに内容の異なる箇所(ユーザの名前、単語学習時間、文法学習時間など)を個人情報と捉えて抽出することができる。
また、別の情報抽出装置(特許文献2参照)は、複数のWebページのツリー構造の各々に共通する部分からデータを抽出する抽出ルールを自動で作成すると共に、その抽出ルールが適用されるWebページのURLを特定する特定ルールを自動で作成している。この情報抽出装置は、作成したWebページのURLを特定するための特定ルールとWebページからデータを抽出するための抽出ルールとを対応付けて記憶している。抽出対象となるWebページからデータ(特定情報)を抽出する際、情報抽出装置は、抽出対象となるWebページのURLが特定される特定ルールを選択し、選択された特定ルールに対応付けられている抽出ルールを選択し、選択された抽出ルールに基づいて抽出対象のWebページからデータ(特定情報)を抽出している。
さらに別の情報抽出装置(特許文献3参照)は、複数の個人領域が混在する単一のWebページ(掲示板など)から、個人領域に該当する箇所を特定して抽出し、各個人領域に対応付いている情報を特定する機能を実現している。例えば、掲示板のページにおいて、ユーザが書き込んだ箇所を特定し、ユーザごとに書き込み内容を抽出する。
さらに別の情報抽出装置(非特許文献1参照)は、Webアプリケーションに対する機能テストにおいて、仕様変更があった際に、抽出対象となる特定要素の抽出プログラムを修正しなくても、「contextual clues」と呼ばれる周囲の情報を参考にして特定の要素を抽出するルールの記述に関する手法を実現している。例えば、英語学習記録のWebページから単語学習時間と文法学習時間を抽出する際に、「単語学習時間は“単語”という文言付近に存在」及び「文法学習時間は“文法”という文言付近に存在」というルールを用いることにより、特定の情報を継続的且つロバストに抽出している。
特開2012−098855号公報 特開2012−059212号公報 特開2012−168892号公報
Rahulkrishna Yandrapally, Suresh Thummalapenta, Saurabh Sinha, Satish Chandra, "Robust Test Automation Using Contextual Clues", IBM Research Report, 2014.
Webページは、一般に、その仕様(例えば、ページのデザイン、ページ内の情報の配置、及びページのツリー構造)が頻繁に変更される場合がある。しかし、上述した従来の情報抽出装置は、後述するように、構造化された文書(例えば、Webページ)の仕様が変更した場合に、仕様変更前に抽出した特定情報(例えば、個人情報)を仕様変更後は容易且つ確実に抽出することができない。
特許文献1の情報抽出装置は、仕様変更前後における抽出情報の追跡を行っていない。そのため、例えば、ある時点で英語学習記録のWebページから単語学習時間と文法学習時間を抽出できたとしても、仕様変更後に抽出した情報が単語学習時間か文法学習時間かを区別できなくなる場合がある。
特許文献2の情報抽出装置は、Webページの構造変化を検出した場合、手動又は自動で抽出ルール及び特定ルールを再作成している。すなわち、特許文献2の場合は、Webページに仕様変更があった場合、抽出ルールや特定ルールを再度作成しなおす必要がある。また、特許文献2において抽出される情報は、複数のWebページの共通部分に限定される。
特許文献3の情報抽出装置は、Webページのデザインや構成が変化した際の変更前後における抽出情報の追跡を行っていない。
非特許文献1の情報抽出装置は、抽出対象となる要素を抽出する際に使用する周辺情報をユーザが選択する必要がある。また、その周辺情報は特定の情報(例えば、“文法”という文言付近)に限定されるため、その周辺情報がWebページの仕様変更により消失した場合に、抽出対象の要素を抽出できなくなる。
以上のように、従来の情報抽出装置は、構造化された文書(例えば、Webページ)の仕様が変更した場合に、仕様変更前に抽出した特定情報を仕様変更後は容易且つ確実に抽出することができない。
本発明は、構造化された文書(例えば、Webページ)の仕様が変更した場合であっても、仕様変更前に抽出した特定情報を仕様変更後も容易且つ確実に抽出することが可能な情報抽出装置、情報抽出方法、及び情報抽出プログラムを提供することを目的とする。
本発明の情報抽出装置は、構造化された複数の文書(具体的には、構造が等しくコンテキストが異なる複数の文書)を取得し、取得した複数の文書間で異なる部分を可変要素として抽出すると共に、各可変要素から所定範囲内にある要素を周辺情報として抽出する制御部と、可変要素のうち少なくとも1つを抽出対象とし、少なくとも抽出対象について可変要素と周辺情報を格納する記憶部と、を有し、制御部は、構造化された複数の文書を再度取得して、再度取得した複数の文書間で異なる部分を可変要素として再抽出すると共に、再抽出した各可変要素から所定範囲内にある要素を周辺情報として再抽出し、再抽出した可変要素及び周辺情報と記憶部に格納されている可変要素及び周辺情報とに基づいて、再抽出前後の可変要素及び周辺情報の類似度を計算し、計算した類似度に基づいて、抽出対象に対応する可変要素を再抽出後の可変要素の中から特定する。
本発明の情報抽出方法は、構造化された複数の文書を取得するステップと、取得した複数の文書間で異なる部分を可変要素として抽出するステップと、各可変要素から所定範囲内にある要素を周辺情報として抽出するステップと、可変要素のうち少なくとも1つを抽出対象とし、少なくとも抽出対象について可変要素と周辺情報を記憶部に格納するステップと、構造化された複数の文書を再度取得するステップと、再度取得した複数の文書間で異なる部分を可変要素として再抽出するステップと、再抽出した各可変要素から所定範囲内にある要素を周辺情報として再抽出するステップと、再抽出した可変要素及び周辺情報と記憶部に格納されている可変要素及び周辺情報とに基づいて、再抽出前後の可変要素及び周辺情報の類似度を計算するステップと、計算した類似度に基づいて、抽出対象に対応する可変要素を再抽出後の可変要素の中から特定するステップと、を含む。
本発明の情報抽出プログラムは、上記情報抽出方法の各ステップをコンピュータに実行させる。
本発明の情報抽出装置は、構造化された複数の文書間で異なる部分(例えば、氏名、体重、身長などの個人情報)を可変要素として抽出すると共に、各可変要素から所定範囲内にある要素(例えば、テキスト、HTMLタグ、及び属性等)を周辺情報として抽出し、可変要素のうち少なくとも1つを抽出対象(特定情報)とし、少なくとも抽出対象について可変要素と周辺情報を記憶している。本発明の情報抽出装置によれば、再度、可変要素とその周辺情報を抽出したときに、記憶されている可変要素及び周辺情報と再度抽出された可変要素及び周辺情報の類似度を計算し、その結果に基づいて、抽出対象に対応する可変要素を再抽出後の可変要素の中から特定している。これにより、構造化された文書(例えば、Webページ)の仕様が変更した場合であっても、仕様変更前に抽出した特定情報を仕様変更後も容易且つ確実に抽出する又は追跡することができる。
本発明の実施形態1の情報抽出装置の構成図 本発明の実施形態1における可変要素及び周辺情報の抽出を示すフローチャート 本発明の実施形態1におけるWebページに関する具体例であって、(a)はURL、(b)はHTML文書、(c)は可変要素の画面表示をそれぞれ示す図 本発明の実施形態1におけるメモリに記憶される抽出情報の例 本発明の実施形態1における特定情報の抽出を示すフローチャート 本発明の実施形態1におけるWebページの仕様変更前後の例 本発明の実施形態1における類似度の例 本発明の実施形態2における対象者のWebページの1分経過前後の例 本発明の実施形態2における除外候補の抽出及び除外を示すフローチャート
以下、本発明の実施形態について、図面を参照しながら説明する。
<実施形態1>
本実施形態の情報抽出装置は、構造化された複数の文書(本実施形態において、Webページ)間で異なる部分を可変要素として抽出すると共に、各可変要素から所定範囲内にある要素を周辺情報として抽出し、可変要素のうち少なくとも1つを抽出対象(特定情報)とし、少なくとも抽出対象について可変要素と周辺情報を記憶する。情報抽出装置は、再度、可変要素とその周辺情報を抽出したときに、記憶されている可変要素及び周辺情報と再度抽出された可変要素及び周辺情報の類似度を計算し、その結果に基づいて、抽出対象に対応する可変要素を再抽出後の可変要素の中から特定している。これにより、構造化された文書の仕様が変更した場合であっても、仕様変更前に抽出した特定情報を仕様変更後も容易且つ確実に抽出する、すなわち仕様変更前後において特定情報を追跡することができる。本実施形態によれば、仕様変更前後で抽出箇所の位置を追跡することにより、機械的且つ定常的に特定情報の抽出を行うことができる。以下、構造化された文書がWebページである場合を例にして説明する。
1−1. 情報抽出装置の構成
図1に、本発明の実施形態の情報抽出装置の構成を示す。情報抽出装置100は、パーソナルコンピュータなどで実現できる。情報抽出装置100は、ユーザからの入力を受け付ける入力部110、情報抽出装置100全体を制御する制御部120、表示部130、メモリ140、及び通信部150を有する。
入力部110は、例えば、構造化された文書の場所を示す情報(本実施形態において、WebページのURL)を入力するのに使用される。入力部110は、また、複数のWebページ間で異なる部分である可変要素の中の少なくとも1つを抽出対象となる特定情報(抽出要素)として選択するのに使用される。入力部110は、例えばキーボード又はタッチパネルである。
制御部120は、複数のWebページ間で異なる部分である可変要素及びその周辺情報を抽出する抽出部121、抽出した可変要素及びその周辺情報をメモリ140に書き込む保存部122、及びメモリ140に書き込まれた可変要素及びその周辺情報を使用して、抽出要素を追跡する追跡部123を有する。
抽出部121は、対象のWebページを含む複数のWebページの各々の構成情報(本実施形態において、HTML(Hyper Text Markup Language)文書)を対応するURLに基づいて取得し、取得した構成情報に基づいて複数のWebページ間で異なる部分を可変要素として抽出する。本実施形態においては、複数のWebページの差分を計算することにより、可変要素を抽出する。可変要素は、例えば個人情報(氏名、体重、身長など)に該当する。さらに、抽出部121は、対象ページ内の全ての可変要素から所定範囲内にある要素(テキスト、HTMLタグ、及び属性等)を周辺情報として、対象ページ内から抽出する。
表示部130は、抽出部121が抽出した可変要素を表示する。表示部130は、ディスプレイなどで実現できる。ユーザは表示部130に表示された可変要素の中から、抽出したい要素を選択し、入力部110に入力する。
保存部122は、図4に示すような抽出情報をメモリ140内のデータベース(DB)141に記録する。抽出情報は、対象ページ内の全ての可変要素と、その周辺情報と、ユーザによる抽出対象としての選択の有無を含む。さらに、保存部122は、入力されたURLをメモリ140に格納する。メモリ140は、例えばハードディスクである。なお、メモリ140は、ハードディスクに限らず、光ディスクなどの記憶装置、フラッシュメモリなどの半導体メモリ素子、又はRAMなどであっても良い。
追跡部123は、抽出対象として選択された可変要素(特定情報)を追跡する。具体的には、追跡部123は、抽出部121により再度抽出された現在のWebページの可変要素及びその周辺情報と、データベース141の抽出情報とを用いて、再抽出前後の可変要素間の対応関係を復元する。本実施形態において、対応関係の復元は、新たに抽出した可変要素に関する情報とデータベース141に記録済みの可変要素に関する情報との類似度を計算し、類似度の高い可変要素同士を対応付けることにより、行う。より具体的には、類似性の計算は、可変要素自身の類似度と、周辺情報の類似度との両方を総合的に判断することによって行う。これにより、再抽出後の可変要素の中から、以前にユーザが抽出対象として指定した要素を特定する。
通信部150は、インターネットなどのネットワークに接続される。抽出部121は、通信部150を介して、URLに対応するHTML文書を取得する。また、通信部150を介して、ユーザによる抽出要素の選択を行っても良い。さらに、追跡された抽出要素を通信部150を介して外部機器に出力しても良い。
1−2. 情報抽出装置の動作
図2に、情報抽出装置100による可変要素及び周辺情報の抽出のフローチャートを示す。図3(a)はURL、図3(b)はHTML文書、図3(c)は抽出後の可変要素の画面表示の例をそれぞれ示している。図3(b)の左側が、本実施形態において抽出対象となるWebページ、その右側が抽出対象のWebページとコンテキスト(アカウント、日時など)が異なるWebページを示す。図3(b)の例では、HTML文書は、ユーザごとに、名前、現在の体重、一ヶ月前の体重、及び身長の4種類の情報を含む。図4は、メモリ140に格納される抽出情報のDB141の例を示している。
以下、図4に示すように、「55kg(坂本さんの今月の体重)」を抽出対象として選択する場合を例にして、説明する。
図2のフローにおいて、まず、入力部110は、図3(a)に示すような複数のWebページのURLを入力する(ステップS201)。具体的には、抽出対象のWebページのURL及び抽出対象のWebページとレイアウト及び構造が等しくコンテキストが異なる1以上の他のWebページのURLを入力する。保存部122は、入力したURLをメモリ140に格納する。抽出部121は、複数のWebページのURLに対応する構成情報(HTML文書)を、通信部150を介して、取得する(ステップS202)。
抽出部121は、取得したページ構成情報に基づいて、抽出対象のWebページ内におけるその他のWebページと異なる部分を可変要素として抽出する(ステップS203)。例えば、図3(b)に示すような個人情報が掲載されているWebページから、ユーザごとに異なる個人情報(「55kg」、「54kg」、「171cm」、「坂本」)を可変要素として抽出する。本実施形態においては、可変要素の抽出は、抽出対象のWebページとその他のWebページ間の差分を計算することにより、行う。差分計算として、例えば、既存アルゴリズム(XDiff:Wang, Yuan, David J. DeWitt, and J-Y. Cai. "X-Diff: An effective change detection algorithm for XML documents." IEEE 19th International Conference on Data Engineering, pp. 519-530, 2003.)を使用できる。なお、差分計算は、このアルゴリズムに限定されない。個人情報が偶然同じ内容である場合(例えば、坂本と佐藤が同じ体重又は同じ身長の場合)、その個人情報を可変要素として抽出できなくなる。そのため、抽出対象のページと比較するための他のWebページを複数用意することにより、偶然同じ情報を有する可能性を十分に下げることができ、より正確に可変要素を抽出することができる。
抽出部121は、可変要素から所定範囲内(例えば、可変要素の周囲100文字以内)にある要素である周辺情報をWebページの構成情報(HTML文書)の中から抽出する(ステップS204)。具体的には、周辺情報として、HTMLタグ名、属性名、属性値及びテキスト、から構成されるトークン列を抽出する。例えば、図3(b)及び図4に示すように、可変要素“55kg”に対して、テキスト(“あなたの体重は”、“。”)、HTMLタグ(div、span)、属性名(id)及び属性値(“hight”)を抽出する(例えば、“あなたの体重は”、span、id、“bw”、/span、“。”)。
抽出部121は、図3(c)に示すように、抽出した可変要素を表示部130に表示する(ステップS205)。これにより、ユーザは対象のWebページ内の可変要素を視認でき、可変要素の中から抽出対象(追跡したい要素)を選択することが可能になる。例えば、ユーザは、図3(c)に示される可変要素から「55kg(現在の体重)」を定常的に抽出する情報として選択する。入力部110は、その選択を入力する(ステップS206)。保存部122は、図4に示すように、抽出対象となるWebページ内の全ての可変要素とその周辺情報、及び入力部110を介して取得した抽出対象としての選択の有無を含む抽出情報をメモリ140内のデータベース141に記憶する(ステップS207)。
以上のようにして、抽出対象として選択された特定情報(抽出要素)の追跡に必要な情報記録が完了する。抽出要素の追跡は、データベース141に記録された抽出情報を用いて行う。これにより、Webページの仕様変更によってデザインや構成が変わっても、抽出要素を追跡することを可能にする。
図5に、情報抽出装置100による特定情報(抽出要素)の追跡のフローチャートを示す。図6に、Webページの仕様変更前後のHTML文書の例を示す。図7に、記録済みと再抽出後の可変要素の類似度を示す。
図5において、情報抽出装置100は、所定の周期(例えば、月1回)又はユーザの指定により、特定情報(抽出要素)の追跡を行う。特定情報(抽出要素)を追跡する際、まず、情報抽出装置100の抽出部121は、メモリ140に格納されているURLを使用して、図2のステップS202及びS203と同様の方法で、再度、複数のWebページの構成情報(HTML文書)を取得し(ステップS501)、現在のWebページの可変要素を抽出する(ステップS502)。例えば、図6に示すように、Webページの仕様変更が起こり、さらに、月が変わり体重が1kg増加したことを想定する。この場合、対象となるWebページの可変要素として、「坂本」、「56kg」、「55kg」、「171cm」が抽出される。その後、抽出部121は、図2のステップS204と同様の方法で、可変要素の周辺情報を再度抽出する(ステップS503)。具体的には、可変要素の周囲100文字から、HTMLタグ名、属性名、属性値、及びテキストから構成されるトークン列を抽出する(例えば、div、“体重:”、span、id、“bw”、/span、/div)。
追跡部123は、再抽出した可変要素とデータベース141に記録済みの可変要素とを用いて、可変要素同士の類似度を計算する(ステップS504)。さらに、追跡部123は、再抽出した周辺情報とデータベース141に記録済みの周辺情報とを用いて、周辺要素の類似度を計算する(ステップS505)。このように計算された可変要素自身の類似度と、その周辺情報の類似度とを総合的に判断し、最も類似度の高い組合せが同一の可変要素であるとして類似度の高い可変要素同士を対応付けて、可変要素の対応関係を復元する。これにより、抽出要素を特定する(ステップS506)。すなわち、抽出対象となる特定情報を追跡する。
任意の計算方法が、可変要素と周辺情報(周囲の構造化された文字列)の類似度の計算方法として利用できる。例えば、可変要素と周辺情報の類似度の計算において、レーベンシュタイン距離を使用することができる。本実施形態においては、0以上1.0以下で正規化された実数を用いて、類似度を計算する。具体的には、類似度を以下のように定義する。
類似度=「可変要素の類似度(S1)×係数A」+「周辺情報の類似度(S2)×係数B」
(ここで、係数Aと係数Bは0以上の実数、且つ、係数A+係数B=1.0)
係数Aと係数Bはパラメータであり、値を変更して、適用先に応じて類似度計算の精度を調整できる。
「可変要素の類似度(S1=0.0〜1.0)」は、以下のように定義される。
可変要素の類似度(S1)=「数字部の類似度(S3)×係数C」+「文字部の類似度(S4)×係数D」
(ここで、係数Cと係数Dは0以上の実数、且つ、係数C+係数D=1.0)
よって、可変要素の類似度において、まず、可変要素のテキストを数字部と文字部に分解する。例えば、「55kg」→「55」と「kg」、「56kg」→「56」と「kg」、「171cm」→「171」と「kg」。
次に、可変要素における数字部と文字部の類似度を以下のように計算する。可変要素の数字部の類似度(S3)において、まず、抽出要素に対し、再抽出後の可変要素を数字部分の差の絶対値(例えば、|55−55|、|56−55|、|171−55|)で小さい順に並べ、再抽出後の可変要素の順位を決定する。数字部分が無い場合は、差の絶対値を無限大として設定する。その後、「類似度=(差の絶対値の種類数−順位)×1/(差の絶対値の種類数−1)」により、数字部の類似度を求める。例えば、図6上段の抽出要素「55kg」の数字部分「55」に対する再抽出後の可変要素の数字部の類似度(S3)は以下のようになる。
Figure 0006562276
可変要素の文字部(文字列)の類似度(S4)において、まず、可変要素の文字列に対して、最長共通部分列(LCS)の長さを用いる。「文字部の類似度=LCSの長さ/仕様変更前の文字列長」により、文字部の類似度(S4)を求める。例えば、抽出要素「55kg」の文字部分「kg」に対する再抽出後の可変要素の文字部の類似度(S4)は以下のようになる。
Figure 0006562276
以上のように、可変要素の数字部と文字部のそれぞれの類似度から、可変要素全体の類似度を求める。次に、周辺情報(周囲の文字列同士)の類似度(S2)を計算する。例えば、周囲の構造化された文字列「あなたの体重は<span id=“bw”>55kg</span>。先月は54kg!」に対応する周辺情報の類似度を計算する。
まず、HTML文書の構造に着目して、トークン列を生成する。例えば、可変要素を除いて、HTMLタグ名、属性名、属性値、及びテキストをそれぞれ1トークンと見なして列にする(「<div>名前:<span id=“name”>坂本</span></div>」から「“div”、“名前:”、“span”、“id”、“name”、“/span”、“/div”」を生成)。次に、可変部分の前後X個(Xは任意)のトークンをそれぞれ周囲の文字列として抽出する(「<div>名前:<span id=“name”>坂本</span></div>」から、前後2個(X=2)であれば、「“id”、“name”、“/span”、“/div”」を抽出。「<div>あなたの体重は<span id=“bw”>55kg</span>。先月は54kg!</div>」から、前後2個(X=2)であれば、「“id”、“bw”、“/span”、“。先月は54kg!”」を抽出)。その後、抽出後に各トークンに対して形態素解析を行い、単語列に変換する(「“id”,“name”,“/span”,“/div”」は変化なし。「“id”,“bw”,“/span”,“。先月は54kg!”」は「“id”,“bw”,“/span”,“。”,“先月”,“は”,“54kg”,“!”」に変換)。
このようにして得られる単語列は、例えば前後2トークンを抽出する場合、以下のようになる。
仕様変更前の55kgの周辺情報の単語列は「“id”,“bw”,“/span”,“。”,“先月”,“は”,“54kg”,“!”」となる。
仕様変更後の単語列は、
坂本の周辺情報(1)「“id”,“name”,“/span”,“/div”」、
56kgの周辺情報(2)「“id”,“bw”,“/span”,“/div”」、
55kgの周辺情報(3)「“id”,“lbw”,“/span”,“/div”」、
171cmの周辺情報(4)「“id”,“height”,“/span”,“/div”」となる。
得られた単語列同士で比較して、類似度を計算する。具体的には、周辺情報の類似度(S2)は、「周辺情報の類似度=仕様変更前後で共通する単語数/(仕様変更前の単語数+仕様変更後の単語数)により求める。上述の例では、仕様変更前の単語数は8、仕様変更後の単語数は4である。仕様変更前後で共通する単語数は重複も含めて、仕様変更前後の両方の数をカウントする(例えば、仕様変更前の「55kg」の周辺情報と仕様変更後の「坂本」の周辺情報(1)の場合、“id”と“/span”が仕様変更前後の両方に含まれているため、“id”×2と“/span”×2で「4」となる)。
このようにして求めた周辺情報の類似度(S2)は以下のようになる。
Figure 0006562276
以上のようにしてそれぞれ求めた、可変要素の文字部の類似度(S4)及び数字部の類似度(S3)並びに周辺要素の類似度(S2)から、係数A,B,C,Dの値をそれぞれA=0.2、B=0.8、C=0.5、D=0.5として、「類似度=((S3×C+S4×D)×A+S2×B))」により得られた、抽出要素(この例では、現在の体重)である仕様変更前の「55kg」に関する最終的な類似度は以下のようになる。
Figure 0006562276
また、「類似度=((S3×C+S4×D)×A+S2×B))」により得られた、Webページの仕様変更前後の各可変要素のペアの類似度の例が図7に示されている。なお、図7では、前述の例の値とは異なるが、上記方法による計算結果により各数値が得られたと仮定している。図7の一番上の「(記録済)55kg」の行において、再抽出後の可変要素の中の「56kg」が、抽出要素「55kg」に対して、類似度が0.4と最も高い。よって、再抽出後の「56kg」と抽出対象として記録済みの「55kg」とに対応関係があるとみなす。すなわち、再抽出後の「56kg」が抽出要素として特定される。
なお、記録済みの「54kg」についても、再抽出後の「56kg」に対して、類似度0.3と最も類似度が高い。しかし、「55kg(記録済み)」と「56kg(再抽出後)」のペアは類似度0.4であるのに対し、「54kg(記録済み)」と「56kg(再抽出後)」のペアは類似度0.3であるため、より類似度が高い「55kg(記録済み)」と「56kg(再抽出後)」のペアが対応関係を有するとして、対応関係を復元する。また、図7において、「坂本」と「171cm」は仕様変更前後で可変要素自身のテキストに変化がない。よって、再抽出前後の「坂本」の類似度は0.5と高く、再抽出前後の「171cm」の類似度も0.4と高い。このように、可変要素自身に変更がない場合は、類似度の高いペアが容易に見つかる。対応関係の復元は、類似度の数値が高いペアから順に決定する(0.5(坂本−坂本)、0.4(56kg−55kg)、0.4(171cm−171cm)、0.2(55kg−54kg))。よって、「55kg(再抽出後)」については「54kg(記録済み)」とペアになる。なお、図7においては、全ての要素についてペアが成立する場合を例示しているが、ペアが作成できなかった要素がある場合(例えば、仕様変更後に、性別(男)が含まれている場合)は対応関係がないと判断する。
なお、図7においては、類似度の計算を説明するために、対象ページ内の全ての可変要素(抽出要素以外の可変要素を含む。)と再抽出後の可変要素の対応関係を示しているが、抽出要素を特定するための類似度の計算(S504、S505)においては、少なくとも抽出対象として選択された可変要素のみについて類似度を計算しても良い(例えば、図7の一番上の「(記録済)55kg」の行のみ)。
このように、再抽出後の各可変要素について、ユーザが選択した抽出要素(特定情報)に対する類似度を計算して、再抽出前後の可変要素の対応関係を復元することにより、抽出対象の特定情報を機械的且つ定常的に抽出する。
1−3. まとめ
以上のようにして、情報抽出装置100は記憶している抽出情報(可変要素、周辺情報、及び抽出対象としての選択の有無)に基づいて、対象とするWebページの新たに取得した構成情報から、抽出対象の特定情報を抽出する。Webページは一般にデザインや構造などの仕様が変更される頻度が高く、例えば図6のように仕様が変更される場合がある。しかし、本発明によれば、可変要素及びその周辺情報を用いて特定情報を抽出するため、Webページの構成情報に変更があっても、ユーザが指定した特定情報を自動で抽出(追跡)することができる。また、ユーザが指定した特定情報自体が変更している場合がある。例えば、図6に示すように特定情報の数値(今月の体重の数値)が更新されている場合もある。しかし、本発明によれば、記憶している抽出情報を用いて特定情報を抽出するため、特定情報自体に変更があっても、ユーザが指定した特定情報を自動で抽出(追跡)することができる。
本実施形態の情報抽出装置100によれば自動で特定情報を抽出(追跡)することができるため、情報抽出装置100を様々なサービスに利用することができる。例えば、情報抽出装置100が抽出した特定情報を利用して、ユーザが設定した目標に対する達成支援を行い、目標達成の結果に応じて報酬や罰金をユーザに対して行うような、目標達成支援システムに情報抽出装置100を利用しても良い。上述したように、本実施形態の情報抽出装置100によれば、Webページの構成や個人情報に変更があっても、その個人情報を自動で収集できるため、抽出した個人情報を利用したサービスに有用である。
近年、Webアプリケーション及びウェアラブルデバイスの発達により、日々の活動や体重などの変動する個人情報を記録及び発信するためのWebサービス(ライフログサービス)が普及している。これらのWebサービスはそれぞれ異なる特徴を有するため、ユーザは複数のWebサービスを利用することになる。しかし、複数のWebサービスを利用した場合、各Webサービスから情報を集約して処理する際の集約コストが増大する。利用サービス数に比例して集約コストが増大するという問題を解決するためには、様々なライフログサービスから情報を抽出して、一括して個人情報を管理する仕組みが必要となる。本発明の情報抽出装置100を利用すれば、既存のライフログサービスを構成するユーザごとのWebページを解析して、情報を抽出することができる。ライフログは日々の活動を記録するため、抽出対象の情報の更新頻度が高い。そのため、Webページから定期的に情報を抽出する際、Webページのデザイン又は構成がライフログサービスの仕様変更に伴い発生した場合、従来の情報抽出装置においては、情報を抽出するメカニズムが機能しなくなる。しかし、本発明の情報抽出装置100によれば、Webページのデザイン又は構成が変化した場合であっても、Webページから機械的且つ定常的に特定情報を抽出し続けることができる。よって、複数のライフログサービスなどから個人情報を収集して、収集した情報と以前収集した履歴を一括して管理する仕組みを実現できる。その結果、情報の集約及び管理コストを低減できる。集約した情報が、読書のページ数や英語の勉強時間などの数値を扱う場合、グラフなどを生成して可視化することが可能となる。また、過去と比べて値が大きく変動している場合は、動機付けのためのフィードバックを与える仕組みを構築することもできる。
コンテキストに応じて変化する情報は、個人情報である可能性が高い。よって、個人情報を定期的に収集する場合に、本発明は有用である。また、本発明は、複数のWebページを有するWebアプリに有用である。本発明は、ソフトウェア産業、主にWeb上の情報源を解析するようなソフトウェアを利用する産業において有効に機能する。
1−4. 変形例
本実施形態において、周辺情報の類似度(S2)の計算は、可変要素を除いたトークン列を作成することにより行ったが、可変要素を含めたトークン列を作成して行っても良い(例えば、「<div>名前:<span id=“name”>坂本</span></div>」から「“div”、“名前:”、“span”、“id”、“name”、“坂本”、“/span”、“/div”」のトークン列を生成)。この場合、仕様変更前の単語数及び仕様変更後の単語数として、可変要素を含めてカウントしても良い(例えば、可変部分の前後2個のトークンを周囲の文字列として抽出した場合の、使用変更後の坂本の周辺情報(1)「“id”,“name”,“坂本”,“/span”,“/div”」の単語数は5である)。
本実施形態の情報抽出装置100は、Webページに限らず、構造化された文書に適用できる。また、可変要素の抽出方法は、差分計算に限らず、任意の方法で行っても良い。また、類似度の計算方法は、本実施形態の例に限らず、任意の方法で行っても良い。
上記実施形態においては、抽出部121は、入力部110に入力されたURLに対応するHTML文書を、通信部150を介して取得した。しかし、HTML文書の取得方法はこれに限らない。例えば、URLの入力をせず、通信部150は、ユーザからHTML文書を直接受信しても良い。このように受信したHTML文書はメモリ140に格納されても良い。
なお、本実施形態においては、1つのコンピュータにより情報抽出装置100を実現したが、情報抽出装置100の機能を複数の機器により実現しても良い。例えば、入力部110及び表示部130を他の携帯端末に設けても良い。また、抽出部121、保存部122、及び追跡部123は、異なる部品であっても良い。
<実施形態2>
本実施形態の情報抽出装置は、抽出対象の候補となる可変要素として、対象者に紐づく情報のみを抽出することができるようにする。具体的には、本実施形態の情報抽出装置は、対象者の文書(本実施形態において、Webページ)内で短期間(例えば、1分毎)に変化した部分(本実施形態においては、現在時刻)を可変要素から除外する。このように、可変要素として抽出したくない要素(本実施形態の場合、現在時刻などの対象者に紐づかない情報)を除外要素として、可変要素から除外することにより、周辺情報の抽出や類似度の計算の処理(例えば、図2のステップS204及び図5のステップS503〜S506)が速くなると共に、必要な情報だけを可変要素としてユーザに提示できる(図2のステップS205)。さらに、類似度に基づいた対応関係の復元の精度が良くなる(図5のステップS506)。
2−1. 情報抽出装置の構成
本実施形態の情報抽出装置は、図1に示される実施形態1と同一の構成を持つ。
2−2. 情報抽出装置の動作
図8に、抽出対象のWebページ(対象者のWebページ)のURLに対応する、1分経過前後のHTML文書を示す。この例では、現在時刻が「11:59」から「12:00」に変化している。実施形態1の場合、複数のWebページを比較した結果、現在時刻が異なれば、その現在時刻が可変要素として抽出される。しかし、現在時刻は、図8に示されるように、対象者が同一の場合でも、変化する要素である。本実施形態では、対象者が同一の場合でも変化する要素を可変要素から除外する。
図9に、本発明の実施形態2における除外候補の抽出及び除外のフローチャートを示す。図9に示す除外候補の抽出及び除外の工程は、可変要素の抽出前(図2のステップS203の直前)に行っても良いし、可変要素の抽出後(図2のステップS203の直後)に行っても良い。なお、図9に示す除外候補の抽出及び除外の工程は、任意のタイミングで行っても良いが、可変要素の周辺情報を抽出する(図2のステップS204)前にすることが好ましい。本実施形態においては、可変要素を抽出した後且つその周辺情報を抽出する前(図2のステップS203とステップS204の間)に、図9に示すステップS901〜S908を行う。
本実施形態の情報抽出装置100の抽出部121は、「変化の頻度」を表すカウンタ値を「0」に設定し、図9に示す処理を開始する。抽出部121は、ステップS202で対象者のページ構成情報(WebページのHTML文書)を取得した後、所定時間(例えば、1分)が経過したかどうかを判断する(ステップS901)。所定時間が経過していれば(ステップS901でYes)、抽出部121は、対象者のURLに対応するページ構成情報を、通信部150を介して、再度取得する(ステップS902)。抽出部121は、今回取得したページ構成情報と前回取得したページ構成情報とを比較する(ステップS903)。具体的には、今回取得したHTML文書と前回取得したHTML文書の差分を計算する。抽出部121は、比較した結果、変化した箇所があるかどうかを判断し(ステップS904)、変化した箇所があれば、その変化した箇所を除外候補として抽出する(ステップS905)。これにより、例えば、図8に示される現在時刻の「11:59」及び/又は「12:00」が抽出される。また、ステップS905において、抽出部121は、「変化の頻度」を表すカウンタ値を「+1」する。
抽出部121は、対象者のページ構成情報の比較(ステップS903)を所定回数(例えば、10回)行ったかどうかを判断する(ステップS906)。所定回数行っていなければ(ステップS906でNo)、ステップS901に戻り、対象者のページ構成情報の比較の処理を繰り返す。所定回数の比較が完了すれば(ステップS906でYes)、抽出部121は、除外候補として抽出した要素の変化の頻度を表すカウンタ値が所定数(例えば、9回)以上かどうかを判断する(S907)。変化の頻度を表すカウンタ値が所定数以上であれば(ステップS907でYes)、抽出部121は、除外候補が可変要素から除外したい除外要素であると判断して、その除外候補を可変要素から除外する(ステップS908)。変化の頻度を表すカウンタ値が所定数以上でなければ(ステップS907でNo)、除外候補を可変要素から除外しない。このような処理により、例えば、1分経過する毎に対象者のページ構成情報の変化の有無を検出し、10回中9回以上変化した箇所があれば、その変化した箇所(現在時刻)は対象者に依存した値ではない(時間に依存した値である)と判断して、可変要素から除外する。
2−3. まとめ
本実施形態によれば、複数回取得した対象者のページ構成情報を比較して、変化した箇所(本実施形態において、現在時刻)を可変要素から除外することにより、対象者に紐づく情報(本実施形態において、55kg、54kg、171cm、坂本)のみを可変要素として抽出することができる。
類似度に基づいて対応関係を復元する際に(図5のステップS506)、候補が多ければ多いほど対応関係を誤って復元する可能性が生じる。例えば、「体重」、「身長」、「気温」が可変要素としてある場合、最初に取得した初期ページの「体重」の数値と、新たに取得した現時点のページの「気温」の数値に、対応関係があると誤って判断してしまう可能性があり、その場合は現時点の体重の情報を追跡することができなくなる。類似度の計算が上手く行えない(例えば、可変要素の周囲の文言が少ない)ケースでは、可変要素の種類の数が多いと、対応関係の復元の失敗に繋がるおそれが生じる。よって、可変要素から、不要な除外要素を事前に除外することで、対応関係の復元の精度が高まる。
2−4. 変形例
なお、ステップS903では、今回取得したページ構成情報を前回取得したページ構成情報と比較(例えば、12:00と11:59に取得したHTML文書を比較、12:01と12:00に取得したHTML文書とを比較)したが、最初に取得したページ構成情報(例えば、11:59に取得したHTML文書)を新たに取得したページ構成情報(例えば、12:00、12:01、12:02、12:03・・・に取得したHTML文書)と比較しても良い。
また、本実施形態においては、除外要素を抽出するために変化させるコンテキスト(すなわち、ステップS901で使用する判定基準)は、Webページの取得時間であったが、除外要素を抽出するために変化させるコンテキストは、任意に設定可能である。例えば、抽出部121が設定しても良いし、ユーザが入力部110を介して設定しても良い。可変要素として抽出したい情報が何のコンテキストに基づいているかを考慮することにより、そのコンテキストが変わった時のみ変化する情報を可変要素として抽出することができる。例えば、天気やアクセス元の地域などを、除外要素を抽出するために変化させるコンテキストとして設定しても良い。これにより、例えば、現在時刻だけでなく、広告バナーなどの個人に紐づかない情報を、可変要素から除外することができる。
また、本実施形態では、ステップS901の所定時間を1分、ステップS906の所定回数を10回、ステップS907の所定数を9回として、1分経過毎に対象者のページ構成情報を比較して、10回中9回以上変化した場合に、除外候補を可変要素から除外したが、ステップS901の所定時間(判定基準)、ステップS906の所定回数、ステップS907の所定数は任意に設定可能である。例えば、抽出部121が設定しても良いし、ユーザが入力部110を介して設定しても良い。また、可変要素として抽出したい情報に応じて、及び/又は除外要素を抽出するために変化させるコンテキストに応じて、ステップS901の所定時間(判定基準)、ステップS906の所定回数、ステップS907の所定数を設定しても良い。
例えば、個人の体重、身長、及び名前は1分毎に変化する可能性は少ないため、1分経過する毎に対象者のページ構成情報の変化の有無を検出して、3回中3回変化した箇所を除外要素(現在時刻)としても良い。また、例えば、除外要素(広告バナー)を抽出するために変化させるコンテキストが「アクセス元の地域」である場合、アクセス元の地域が変わる毎に対象者のページ構成情報の変化の有無を検出し、5回中5回変化した箇所を除外要素としても良い。なお、誤判定を防ぐためには、複数回、比較することが好ましく、比較回数が多いほど誤判定を防ぐことができる。
可変要素から除外要素を除外するその他の例について、さらに説明する。SNSサービス(Facebook、Twitterなど)において、「通知件数」の情報を抽出して追跡するケースについて説明する。SNSサービスでは、他のユーザが書き込みなどを行うと、対象者(自分自身)のページの内容も変化するため、大量の可変要素が存在することになる。そのため、抽出対象となる可変要素を絞り込むことが重要になる。この場合、他のユーザが書き込みする前後で、対象者のWebページを取得して、取得したページ間の差分を比較することによって、除外要素(抽出対象として不要な可変要素)を発見する。具体的には、抽出手法用に、機械が操作するアカウントを用意し、機械アカウントと抽出を行いたいユーザを、情報を共有できるフレンド状態にする。その後、機械アカウントが書き込みを行う前に、一度ページを保存し、さらに、機械アカウントが書き込みを行った直後に、もう一度ページを保存し直す。機械アカウントが書き込みを行った前後のページ間で差分を計算することにより、除外要素(抽出対象として不要な可変要素)を除去する。なお、機械アカウントが書き込み中に、除外したくない要素である「通知件数」が増えてしまう場合もあるため、「通知件数」を誤って除外するのを防ぐために、試行回数を十分多くして、必要な変化件数を高めにすることが好ましい。例えば、「変化件数/試行回数(アクセス頻度)=19/20」とし、20回中19回変化した箇所を除外する。
次に、「今日の天気」の情報を除外したいケースについて説明する。例えば、今日の天気の情報を除外するためには、天気情報が変化するように1日ごとにアクセスすることが考えられる。一方、「毎日のランニング距離」と「今日の天気」が、同一ページに掲載されている場合、1日ごとにアクセスをすると、ランニング距離も変化してしまうため、「ランニング距離」と「今日の天気」の両方が除外要素となってしまう。そのため、1日ごとのアクセスでは、「今日の天気」の情報のみを除外することができない。このような場合、「今日の天気」を除外するために、例えば、利用者の位置情報を変更して、東京の天気と、大阪の天気のように、天気の情報のみが変化するようにして、同一ページに複数回アクセスをする。このように、アクセスの頻度や変化件数は、抽出する情報や除外する情報に応じて設定すると良い。欲しい情報(可変要素)が変化しないという条件を満たし、且つ、不要な情報(除外要素)が変化するという条件を満たすような頻度や回数を設定する。これにより、より精度良く、不要な情報のみを除外要素として抽出し除外できる。
なお、実施形態2の除外要素の抽出(図9)を実施する代わりに、実施形態1の可変要素の抽出(図2のステップS203及び図5のステップS502)において、可変要素を抽出する範囲を制限しても良い。例えば、可変要素の抽出をHTML文書のBODYタグの中身の部分だけから行うようにしても良い。また、Webページの上部にあるメニューバーのみから可変要素を抽出するようにしても良い。このように、除外要素を可変要素から除外する代わりに、可変要素の抽出箇所を絞り込んでも良い。抽出箇所を絞り込むことで、不要な情報を可変要素として抽出してしまうことを防ぐことができる。また、可変要素の抽出範囲の制限を、実施形態2の除外要素の抽出(図9)の実施と共に行っても良い。
本発明の情報抽出装置は、構造化された文書の仕様変更の有無にかかわらず、特定情報を抽出し続けることができるため、定期的に特定情報を抽出して抽出した特定情報を利用するようなサービスに有用である。
100 情報抽出装置
110 入力部
120 制御部
121 抽出部
122 保存部
123 追跡部
130 表示部
140 メモリ
141 データベース(DB)
150 通信部

Claims (15)

  1. 構造化された複数の文書を取得し、取得した複数の文書間で異なる部分を可変要素として抽出すると共に、各可変要素から所定範囲内にある要素を周辺情報として抽出する、制御部と、
    前記可変要素のうち少なくとも1つを抽出対象とし、少なくとも前記抽出対象について前記可変要素と前記周辺情報を格納する記憶部と、
    を有し、
    前記制御部は、前記構造化された複数の文書を再度取得して、再度取得した複数の文書間で異なる部分を可変要素として再抽出すると共に、再抽出した各可変要素から所定範囲内にある要素を周辺情報として再抽出し、再抽出した前記可変要素及び前記周辺情報と前記記憶部に格納されている前記可変要素及び前記周辺情報とに基づいて、再抽出前後の前記可変要素及び前記周辺情報の類似度を計算し、計算した前記類似度に基づいて、前記抽出対象に対応する前記可変要素を再抽出後の前記可変要素の中から特定する、
    情報抽出装置。
  2. 再抽出後の前記可変要素の中から、前記抽出対象の可変要素に対する類似度が最も高い可変要素を特定する、請求項1に記載の情報抽出装置。
  3. 再抽出した前記可変要素と前記記憶部に格納されている前記可変要素の類似度を計算し、且つ再抽出した前記周辺情報と前記記憶部に格納されている前記周辺情報の類似度とを計算し、前記可変要素同士の類似度と前記周辺情報同士の類似度とに基づいて、前記抽出対象に対応する可変要素を再抽出後の前記可変要素の中から特定する、請求項1に記載の情報抽出装置。
  4. 再抽出した前記可変要素と前記記憶部に格納されている前記可変要素とにそれぞれ含まれる数字部分と文字部分を、前記数字部分と前記文字部分に分割し、前記数字部分同士の類似度と前記文字部分同士の類似度とに基づいて、前記可変要素の類似度を決定する、請求項1に記載の情報抽出装置。
  5. 前記構造化された複数の文書の差分を計算することにより、前記可変要素を抽出する、請求項1に記載の情報抽出装置。
  6. 抽出された前記可変要素を表示する表示部と、
    表示された前記可変要素の中からユーザにより選択された前記抽出対象を入力する入力部と、
    をさらに有する、請求項1に記載の情報抽出装置。
  7. 対象とする文書を複数回取得し、複数回取得した文書間で所定回数異なった部分を除外要素として、前記可変要素から除外する、請求項1に記載の情報抽出装置。
  8. 構造化された複数の文書を取得するステップと、
    取得した複数の文書間で異なる部分を可変要素として抽出するステップと、
    各可変要素から所定範囲内にある要素を周辺情報として抽出するステップと、
    前記可変要素のうち少なくとも1つを抽出対象とし、少なくとも前記抽出対象について前記可変要素と前記周辺情報を記憶部に格納するステップと、
    前記構造化された複数の文書を再度取得するステップと、
    再度取得した複数の文書間で異なる部分を可変要素として再抽出するステップと、
    再抽出した各可変要素から所定範囲内にある要素を周辺情報として再抽出するステップと、
    再抽出した前記可変要素及び前記周辺情報と前記記憶部に格納されている前記可変要素及び前記周辺情報とに基づいて、再抽出前後の前記可変要素及び前記周辺情報の類似度を計算するステップと、
    計算した前記類似度に基づいて、前記抽出対象に対応する可変要素を再抽出後の前記可変要素の中から特定するステップと、
    を含む、情報抽出方法。
  9. 再抽出後の前記可変要素の中から、前記抽出対象の可変要素に対する類似度が最も高い可変要素を特定する、請求項8に記載の情報抽出方法。
  10. 再抽出した前記可変要素と前記記憶部に格納されている前記可変要素の類似度を計算し、且つ再抽出した前記周辺情報と前記記憶部に格納されている前記周辺情報の類似度とを計算し、前記可変要素同士の類似度と前記周辺情報同士の類似度とに基づいて、前記抽出対象に対応する可変要素を再抽出後の可変要素の中から特定する、請求項8に記載の情報抽出方法。
  11. 再抽出した前記可変要素と前記記憶部に格納されている前記可変要素にそれぞれ含まれる数字部分と文字部分を、前記数字部分と前記文字部分に分割し、前記数字部分同士の類似度と前記文字部分同士の類似度とに基づいて、前記可変要素の類似度を決定する、請求項8に記載の情報抽出方法。
  12. 前記構造化された複数の文書の差分を計算することにより、前記可変要素を抽出する、請求項8に記載の情報抽出方法。
  13. 抽出された前記可変要素を表示するステップと、
    表示された前記可変要素の中からユーザにより選択された前記抽出対象を入力するステップと、
    をさらに含む、請求項8に記載の情報抽出方法。
  14. 対象とする文書を複数回取得し、複数回取得した文書間で所定回数異なった部分を除外要素として、前記可変要素から除外する、請求項8に記載の情報抽出方法。
  15. 構造化された複数の文書を取得するステップと、
    取得した複数の文書間で異なる部分を可変要素として抽出するステップと、
    各可変要素から所定範囲内にある要素を周辺情報として抽出するステップと、
    前記可変要素のうち少なくとも1つを抽出対象とし、少なくとも前記抽出対象について前記可変要素と前記周辺情報を記憶部に格納するステップと、
    前記構造化された複数の文書を再度取得するステップと、
    再度取得した複数の文書間で異なる部分を可変要素として再抽出するステップと、
    再抽出した各可変要素から所定範囲内にある要素を周辺情報として再抽出するステップと、
    再抽出した前記可変要素及び前記周辺情報と前記記憶部に格納されている前記可変要素及び前記周辺情報とに基づいて、再抽出前後の可変要素及び周辺情報の類似度を計算するステップと、
    計算した前記類似度に基づいて、前記抽出対象に対応する可変要素を再抽出後の前記可変要素の中から特定するステップと、
    をコンピュータに実行させるための情報抽出プログラム。
JP2016564846A 2014-12-15 2015-12-14 情報抽出装置、情報抽出方法、及び情報抽出プログラム Active JP6562276B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014253058 2014-12-15
JP2014253058 2014-12-15
PCT/JP2015/084974 WO2016098739A1 (ja) 2014-12-15 2015-12-14 情報抽出装置、情報抽出方法、及び情報抽出プログラム

Publications (2)

Publication Number Publication Date
JPWO2016098739A1 JPWO2016098739A1 (ja) 2017-11-02
JP6562276B2 true JP6562276B2 (ja) 2019-08-21

Family

ID=56126628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016564846A Active JP6562276B2 (ja) 2014-12-15 2015-12-14 情報抽出装置、情報抽出方法、及び情報抽出プログラム

Country Status (3)

Country Link
US (1) US11144565B2 (ja)
JP (1) JP6562276B2 (ja)
WO (1) WO2016098739A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180025389A1 (en) * 2016-07-21 2018-01-25 Facebook, Inc. Determining an efficient bid amount for each impression opportunity for a content item to be presented to a viewing user of an online system
US10956106B1 (en) * 2019-10-30 2021-03-23 Xerox Corporation Methods and systems enabling a user to customize content for printing

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6092091A (en) * 1996-09-13 2000-07-18 Kabushiki Kaisha Toshiba Device and method for filtering information, device and method for monitoring updated document information and information storage medium used in same devices
US6353840B2 (en) * 1997-08-15 2002-03-05 Ricoh Company, Ltd. User-defined search template for extracting information from documents
JP2001166981A (ja) * 1999-12-06 2001-06-22 Fuji Xerox Co Ltd ハイパーテキスト解析装置および方法
JP4226261B2 (ja) * 2002-04-12 2009-02-18 三菱電機株式会社 構造化文書種別判定システム及び構造化文書種別判定方法
JP2004086845A (ja) * 2002-06-27 2004-03-18 Oki Electric Ind Co Ltd 電子文書情報拡充装置、方法及びプログラム、並びに、電子文書情報拡充プログラムを記録した記録媒体
JP2004178426A (ja) * 2002-11-28 2004-06-24 Mitsubishi Electric Corp 構造化文書処理装置
US20040158799A1 (en) * 2003-02-07 2004-08-12 Breuel Thomas M. Information extraction from html documents by structural matching
JP2004348706A (ja) * 2003-04-30 2004-12-09 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
JP4451624B2 (ja) 2003-08-19 2010-04-14 富士通株式会社 情報体系対応付け装置および対応付け方法
US7669119B1 (en) * 2005-07-20 2010-02-23 Alexa Internet Correlation-based information extraction from markup language documents
JP4314221B2 (ja) * 2005-07-28 2009-08-12 株式会社東芝 構造化文書記憶装置、構造化文書検索装置、構造化文書システム、方法およびプログラム
JP4562749B2 (ja) * 2007-05-18 2010-10-13 ディジタル・ワークス株式会社 文書の圧縮格納方法及び装置
US8351706B2 (en) * 2007-07-24 2013-01-08 Sharp Kabushiki Kaisha Document extracting method and document extracting apparatus
JP4429356B2 (ja) * 2007-12-26 2010-03-10 富士通株式会社 属性抽出処理方法及び装置
JP2012059212A (ja) 2010-09-13 2012-03-22 Nippon Telegr & Teleph Corp <Ntt> 抽出装置、抽出方法及び抽出プログラム
JP5331084B2 (ja) 2010-11-01 2013-10-30 日本電信電話株式会社 特定情報抽出装置および特定情報抽出プログラム
JP5669611B2 (ja) 2011-02-16 2015-02-12 田中 成典 グループ化装置およびエレメント抽出装置
US20130226944A1 (en) 2012-02-24 2013-08-29 Microsoft Corporation Format independent data transformation
EP2648115A1 (en) * 2012-04-03 2013-10-09 Seeburger AG Method and/or system for the execution of transformations of hierarchically structured data and relational data
US20130311875A1 (en) * 2012-04-23 2013-11-21 Derek Edwin Pappas Web browser embedded button for structured data extraction and sharing via a social network
JP6056610B2 (ja) * 2013-03-29 2017-01-11 株式会社Jvcケンウッド テキスト情報処理装置、テキスト情報処理方法、及びテキスト情報処理プログラム
US9098558B2 (en) 2013-04-01 2015-08-04 Oracle International Corporation Enhanced flexibility for users to transform XML data to a desired format

Also Published As

Publication number Publication date
US11144565B2 (en) 2021-10-12
WO2016098739A1 (ja) 2016-06-23
US20180018378A1 (en) 2018-01-18
JPWO2016098739A1 (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
Minchenko et al. On relaxed constant rank regularity condition in mathematical programming
US11113342B2 (en) Techniques for compiling and presenting query results
KR20210090576A (ko) 품질을 관리하는 방법, 장치, 기기, 저장매체 및 프로그램
JP6462970B1 (ja) 分類装置、分類方法、生成方法、分類プログラム及び生成プログラム
WO2015164253A1 (en) Methods and systems for optimizing data in large data sets using relevant metadata
WO2019062021A1 (zh) 在应用程序中推送贷款广告的方法、电子装置及介质
CN111078825A (zh) 结构化处理方法、装置、计算机设备及介质
JPWO2012111226A1 (ja) 時系列文書要約装置、時系列文書要約方法および時系列文書要約プログラム
CN116821475B (zh) 基于客户数据的视频推荐方法、装置及计算机设备
US11907508B1 (en) Content analytics as part of content creation
CN106462933B (zh) 使用内容结构来社交地连接用户
Dasdemir et al. Evaluation of Phase I analysis scenarios on Phase II performance of control charts for autocorrelated observations
JP6562276B2 (ja) 情報抽出装置、情報抽出方法、及び情報抽出プログラム
Healey et al. Visual analytics for the coronavirus COVID-19 pandemic
WO2016088230A1 (ja) 因果関係分析装置、及び因果関係分析方法
JP6921598B2 (ja) 計算装置、影響出力システム
CN113711203B (zh) 服务健康的方向相关性的视觉表示
JP5478229B2 (ja) データ解析システム、及びその方法
JP2015187773A (ja) データ解析装置、データ解析プログラム及びデータ解析方法
JP6696119B2 (ja) 変換装置、変換方法、及び変換プログラム
TW201911083A (zh) 用於回饋及判定之語意屬性的動態合成與暫態叢集之系統及方法
US9286353B2 (en) Method for generating processing specifications for a stream of data items
US12554724B1 (en) Resolving complex match candidates using large language model explanations of ambiguous features
CN113836939A (zh) 基于文本的数据分析方法和装置
JP6716919B2 (ja) 情報抽出装置、抽出方法、および、抽出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190710

R150 Certificate of patent or registration of utility model

Ref document number: 6562276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250