JP7034977B2 - 情報抽出支援装置、情報抽出支援方法及びプログラム - Google Patents

Description

本発明の実施形態は情報抽出支援装置、情報抽出支援方法及びプログラムに関する。

例えば、商品名と商品価格のような属性、および商品名と商品価格の関係のような属性間の関係を抽出する情報抽出技術を利用して、文書中の特定の情報を整理することができる。例えば、商品スペック一覧を文書から抜き出して表にまとめる、などである。機械学習技術を用いて実現されることも多いが、多くの場合、評価を行いながら学習に有用な手掛かり（特徴）や、学習に必要な正例（正解）、負例（不正解）の与え方を改良していく。例えば、特許文献１では、元の正解データによる学習結果より係り受けの語順変更などにより拡張されたデータによる学習結果の精度が良ければ後者を採用するなど、学習用データを拡張することで学習性能の向上を図る技術が提案されている。

特開２００６－４３９９号公報

しかしながら、情報を抽出する側が熟練者でない場合、改良過程で生じる内容による影響が考慮されていないという問題がある。

実施形態の情報支援装置は抽出部と、特定部と、付与部と、学習推論部と、出力部を備える。抽出部は、複数の単語を含む文書データから当該文書データに関する第１情報を抽出する。特定部は前記第１情報から関連する情報を手掛かり情報として特定する。付与部は、予め決められた規則に基づいて前記第１情報に正誤を示すラベルを付与する。学習推論部は前記第１情報と、前記第１情報の抽出に用いる特徴量と、前記ラベルとに基づいて新たな第１情報を抽出するための規則の学習と推論を実行する。出力部は前記ラベルと前記１情報についての正誤の結果である正誤判定とに基づいて、前記特徴量及び前記規則の少なくとも一つの変更方法を出力する。

第１実施形態の情報抽出支援装置の機能構成の例を示す図。 第１実施形態の情報抽出支援方法の例を示すフローチャート。 属性情報として抽出する例を示す図。 抽出された属性を正誤判定する例を示す図。 属性の正誤判定による変更方法の例を示す図。 正誤判定の結果を示す具体的な例を示す図。 第１実施形態の情報抽出支援装置に使用されるコンピュータのハードウェア構成の例を示す図。 第１実施形態の情報抽出支援装置の装置構成の例を示す図。

例えば、機械学習を利用して情報抽出を行う場合、利用する特徴量を変更したり、訓練事例に正例（正解）や負例（不正解）のラベルを付与する規則や基準が連動したりする。その結果、学習前後でどのように修正するとよいかはわかりにくい。更に評価値（スコア）が時系列で変化することによって、似た性質の抽出結果についての同じ評価を何度も行ってしまう場合もある。本実施例では情報抽出結果およびその評価結果の推移を元に学習用の特徴および訓練データへの正例／負例ラベル付けの変更方法を提示するとともに、評価すべき対象を決めやすくできるような支援を行う技術について説明する。

以下に添付図面を参照して、情報抽出支援装置、情報抽出支援方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の情報抽出支援装置について説明する。

［機能構成の例］
図１は第１実施形態の情報抽出支援装置１０１の機能構成の例を示す図である。第１実施形態の情報抽出支援装置システム１０１は、抽出部１０２、特定部１０３、付与部１０４、学習推定部１０５及び出力部１０６を備える。

抽出部１０２は、分析対象となる１以上の対象文書１０７を取得する。対象文書とは、例えば、Ｗｅｂページやインターネット上にアップロードされているニュース記事、論文、特許明細書などで、複数の単語からなる自然文で表現された文書データ（テキストデータ）である。対象文書は、ユーザからの入力をされることにより取得してもよいし、自動で収集するようにしてもよい。文書データは属性と属性間の関係などを含む属性情報を抽出できるものであればよい。例えば属性は、ユーザが抽出したい所望の情報の種類を示し、例えば、商品名、価格、企業名、材料名、特性値、などが挙げられる。属性間の関係とは商品名と商品価格などである。抽出部１０２は、取得した文書から候補となる属性情報をあらかじめ決められた規則（ルール）に沿って抽出する。例えば文書中の単語、文章、タイトル、文書に付属するメタデータ中の日時やフォーマット形式、図表の数など、あらかじめ決められたルールに従って抽出する。

特定部１０３は、抽出部１０２で抽出された属性情報と関連する情報について特徴を表す手掛かり情報として特定する。手掛かり情報には、抽出元の文書自体のメタ情報（例えば作成日時、文書のファイルフォーマット、言語、等）や、抽出される属性である語句自体の特徴（名詞、動詞など単語の品詞情報、人名や地名など固有表現の分類情報、単語の前後に出現する語句、ｎｇｒａｍ、等）、文書に含まれる図表についての特徴（写真、グラフ、イラストなど図の分類、表の行数や列数、等）などが含まれる。

付与部１０４は、抽出部１０２で抽出された属性情報に対して、訓練用に予め正解がラベル付けされた既知の情報、または訓練用の仮ラベルを所定のルールを用い訓練事例データに対しラベル付けを行う。ここで「仮ラベル」は所定のルールを用いて付けたラベルのことを示している。例えば名詞、動詞など品詞についてのラベルを自然言語処理によって付与するのであればほとんどの場合に「正解」のラベルを付けることができる。一方、人名や地名などの固有表現についての発音について、正解か不正解かというラベルを付ける場合、あらかじめ決められたルールでは対応できない場合があるが、ここでは実際に正解であるかどうかを問わず、決められたルールで付与する。

学習推論部１０５は、抽出部１０２で抽出された属性情報、特定部１０３で抽出された手掛かり情報、付与部１０４により付与されたラベル（訓練事例）に基づき、訓練事例が表す正誤関係となるように評価基準を学習する。また学習後は、抽出部１０２で抽出された属性情報について所望の属性情報である確率を算出することによって推論する。

学習時には、例えば、訓練事例で正例（正解）とみなされた属性情報に付随する手掛かり情報を利用する優先度をより高く設定するようにする。負例（不正解）であると判断された属性情報に付随する手掛かり情報を利用する優先度を低く設定するようにしてもよい。なお、抽出された属性情報、手掛かり情報、訓練事例は記憶部に記憶し、学習時、推論時に取得して利用してもよい。

ユーザから正誤判定を受け付ける受付部を設けて、情報抽出結果に対する正誤判定の入力を受け付けてもよい。

正誤判定の結果入力は、例えば、判定対象である情報抽出結果と正誤のみをチェックできるようにユーザに提示して、結果入力を受け付けてもよいし、正解とわかるものだけを受け付けてもよい。また、正誤判定機能を持つ他のシステムに接続して判定結果を入力してもよい。ユーザからの結果入力を受け付ける場合、例えば、情報抽出結果についての正解か、不正解化にチェック欄を付し、ユーザがどちらかにチェックすることで正誤判定の結果を受け付けてもよい。この時、抽出された属性情報、属性同士の関係、手掛かり情報、抽出元の文書の書誌情報などのメタデータのいずれか、あるいは両方を情報抽出結果と共に提示すると、情報がどのように抽出されたかユーザが推測することも可能になるため、なおよい。

更に、必要に応じて抽出結果についての尤度や確信度をスコアとして併記してもよい。

スコアは文字や単語のレーベンシュタイン距離やジャロ・ウィンクラー距離などを用いて類似度を計算することによって、スコアとする。文字や単語等の類似度が算出できる方法であれば他のものを用いてもよい。これらのスコアや正誤判定結果は記憶部に記憶してもよい。

正誤の仮ラベルに関する情報と抽出された属性情報についての正誤判定のラベル情報とに基づいて、出力部１０６は学習推論部１０５が利用する特徴量またはルール（規則）の少なくとも一つの変更方法を出力する。

ここで、情報抽出支援装置１０１における情報抽出処理と判定結果入力を通じた手掛かり情報抽出およびラベル付けルールの変更について図２のフローチャートを参照して説明する。

ステップＳ２０１では、抽出部１０２が１つ以上の対象文書を取得する。対象文書からの属性情報抽出および抽出される手掛かり情報の一例について図３を参照して説明する。

図３は、テキストから材料名とその移動度と呼ばれる特性値、および両者の関係を属性情報として抽出する例である。

最初に、対象文書の一部である「…Ｓｉの移動度は５，７００ｃｍ２／Ｖｓ…」という表記から形態素解析等を利用して、複数の単語を抽出する。次に、抽出された複数の単語のうち材料名「Ｓｉ」と移動度の値「５，７００」を予め決められた規則（ルール）を用いて属性情報として抽出する。

さらに「Ｓｉ」と「５，７００」が材料名とその移動度の対として特定する。属性情報を特定する手掛かり情報の集合Ａには、例えば、「材料」と「移動度」の値の間に含まれる単語数が３、単語として「の」「移動度」「は」が含まれることのルールが予め設定されている。

ここで、学習推定部１０６の学習と推定の実行により、単語数等の手掛かり情報の集合が変更されたとする。例えば、新たな対象文書から属性情報を抽出し、これらを用いて学習をした場合に、移動度の値の直後に単語「ｃｍ２／Ｖｓ」が出現する、という手掛かり情報の集合Ａ’が新たに追加されたとする。

新たな手掛かり情報の集合Ａ‘をもとに、対象文書から属性情報を抽出し、抽出結果と抽出結果に対応する特徴集合、スコアを算出する。新たな特徴集合Ａ’に基づいた抽出結果と過去の抽出結果、付与部１０４のラベルとから、予め決められた規則（ルール）に基づき評価すべきアイテムを決定する（ステップＳ２０２）。たとえば、付与されたラベルの変化した場合に、抽出結果を評価対象として設定する。

ステップＳ２０３では、評価対象に対する正誤判定の結果を受け付ける。

図４は、抽出された属性を正誤判定（評価）する例である。ユーザが正誤判定を行う場合、例えば抽出結果を所定の基準、あるいはランダムに選択して表示し、正解を○、不正解を×のように適否をユーザが設定する例である。

ここで図５は、手掛かり情報の集合と正誤判定を行った評価の個数の関係の例を示している。ここでは複数回の評価結果として、手掛かり情報の集合と学習推定部１０６の試行毎のスコアと評価結果の関係とが記憶部に格納されているものとする。

例えば、集合Ａは、３回の試行で全て評価が正解（○）である。集合Ａの手掛かり情報集合が得られている場合は評価結果を正解（○）であると設定する。この場合、情報抽出の精度改善という点では改良提案がない状態となる。

具体的には、図６の正誤判定の結果に示すように、異なる対象文書や同じ文書中での異なる文章などにおいても、集合Ａの手がかり情報により評価結果が正解となる。

例えば初回評価では事例「Ｓｉ」と「５，７００」の組について「正解（○）」とし、２回目以降のように「移動度」が異なる値となる場合にも正誤判定（評価）を設定してもよい。「材料」と「移動度」との表記がの類似である場合でも、全く同一でなければ、特徴量や手掛かり情報の精度の向上が望めるためである。好ましくは、同一パターンを評価する回数が多いよりは図６のように「材料」または「移動度」の異なるパターンについて評価できる方が好ましい。

図５に戻る。図５の集合Ｂでは、正誤判定（評価）で正解（○）と不正解（×）が同数出現している。ため、現在の手掛かり情報集合が情報抽出に適しているかを判別できない。すなわち、掛かり情報の追加か、現在の手掛かり情報の集合が所望の情報抽出に対して適さない可能性がある。この場合、情報抽出支援装置１０１は、正誤判定のための追加の手掛かり情報（特徴量）が必要であることを出力する。

また、図５の集合Ｃでは、正誤判定（評価）において不正解（×）の方が多いため、学習に用いたデータ自体またはラベル付けルールが適切でない可能性がある。この場合、情報抽出支援装置１０１は、学習に用いるデータの変更が必要であることを出力する。学習に用いたデータ自体に問題がある場合、新しいデータを用いた学習が必要であることの警告を出力してもよい。

また、評価の途中では図５の集合Ｄのように、正解（○）も不正解（×）も示されない場合があってもよい。情報抽出支援装置１０１は評価を促す内容を出力してもよい。

図２に戻る。ステップＳ２０４では、過去の抽出結果と抽出結果、対応する特徴集合、スコア、評価結果の変化に基づき特徴抽出、ラベル付けルールの変更案を提示する。

変更案は、例えば、記憶部に記憶された評価履歴を利用する。下記の変更案は遠距離教師あり学習（Ｄｉｓｔａｎｔ ｓｕｐｅｒｖｉｓｉｏｎ）のルールを設定する場合の例である。

（変更案１） １回の評価結果に基づく提案
・情報抽出結果ｅ， ｅの特徴集合Ａ， 評価結果が正解（○）である場合
ｃｏｕｎｔ（特徴集合Ａ， 評価結果○）＞閾値、かつ
ｃｏｕｎｔ（特徴集合Ａ， 評価結果○） ／ ｃｏｕｎｔ（特徴集合Ａ， 評価結果×）＞閾値
であれば、ルール「特徴集合がＡであれば正解（○）とする。

（変更案２） 複数回の評価結果に基づく改良提案（特徴の変化）
・情報抽出結果ｅ， ｅの特徴集合Ａ， 評価結果が正解（○）で
情報抽出結果ｅに対する特徴集合がＡ’となった場合、
ルール「特徴集合がＡ’であれば○」とする。

（変更案３） 複数回の評価結果に基づく改良提案（スコアの変化）
（３ａ） 同じ特徴でスコア、例えば確率値が減少した場合、「新しい手掛かり情報（特徴）の例が必要である」ことを出力する。
例えば、１回目の実行で情報抽出結果ｅ， ｅの特徴集合Ａ， 確率値０．９５， 評価結果が○であり、２回目の実行で確率値が０．７に下がった場合、集合Ａだけでは精度が下がったことになるため、「新しい特徴」の例を提示するなどしてもよい。
（３ｂ） 特徴が変わりスコア、例えば確率値が減少した場合、「精度低下要因としてｄｉｆｆ（Ａ， Ａ’）」を出力する。
例えば、１回目の実行で情報抽出結果ｅ， ｅの特徴集合Ａ， 確率値０．９５， 評価結果が○であり、２回目の実行で特徴集合がＡ’に変化、確率値が（例えば）０．７に下がった場合、特徴集合の変化が容易として考えられため、特徴集合間の差分を出力する。
また、汎用性の高いルールを生成するために、特徴集合Ａと特徴集合Ｂの共通部分（Ａ∩Ｂ）について正誤判定を行い、ルール化する候補としてもよい。

図２に戻る。ステップＳ２０５では、出力された変更案の１つ以上を反映する。

以上のように、出力された変更案の反映、正誤判定（評価）を複数回実行し、抽出された候補、手掛かり情報集合、ラベル付けされた正解／不正解の個数、実際の評価結果を記録する。記録した抽出候補、手掛かり情報集合に対する正誤判定結果の分布変化を算出し、分布変化に応じて手掛かり情報およびラベル付けルールの変更方法を出力する。評価・変更内容に応じ、評価すべき対象を決定することが可能になり、精度改善を効率的に進めることができるようになる。

以上、説明したように、特徴量または規則の変更をすることが可能になる。また、第１実施形態によれば、特徴量や規則の変更方法が分からない場合でも評価の対象を特定することが可能になるため、情報を抽出する側が熟練者でない場合でも精度の高い情報抽出が可能になる。

最後に、第１実施形態の情報抽出支援装置１０１に使用されるコンピュータのハードウェア構成の例について説明する。

［ハードウェア構成の例］
図７は第１乃実施形態の情報抽出支援装置１０１に使用されるコンピュータのハードウェア構成の例を示す図である。

情報抽出支援装置１０１に使用されるコンピュータは、制御装置５０１、主記憶装置５０２、補助記憶装置５０３、表示装置５０４、入力装置５０５及び通信装置５０６を備える。制御装置５０１、主記憶装置５０２、補助記憶装置５０３、表示装置５０４、入力装置５０５及び通信装置５０６は、バス５１０を介して接続されている。

制御装置５０１は、補助記憶装置５０３から主記憶装置５０２に読み出されたプログラムを実行する。主記憶装置５０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置５０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、メモリカード等である。

表示装置５０４は表示情報を表示する。表示装置５０４は、例えば液晶ディスプレイ等である。入力装置５０５は、コンピュータを操作するためのインタフェースである。入力装置５０５は、例えばキーボードやマウス等である。コンピュータがスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置５０４及び入力装置５０５は、例えばタッチパネルである。通信装置５０６は、他の装置と通信するためのインタフェースである。

コンピュータで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

またコンピュータで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコンピュータで実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

またコンピュータで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

コンピュータで実行されるプログラムは、上述の情報抽出支援装置１０１の機能構成（機能ブロック）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置５０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置５０２上にロードされる。すなわち上記各機能ブロックは主記憶装置５０２上に生成される。

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

また情報抽出支援装置１０１を実現するコンピュータの動作形態は任意でよい。例えば、情報抽出支援装置１０１を１台のコンピュータにより実現してもよい。また例えば、情報抽出支援装置１０１を、ネットワーク上のクラウドシステムとして動作させてもよい。

［装置構成の例］
図８は本実施形態の情報抽出支援装置１０１の装置構成の例を示す図である。図８の例では、情報抽出支援装置１０１は、複数のクライアント装置１ａ～１ｚ、ネットワーク２及びサーバ装置３を備える。

クライアント装置１ａ～１ｚを区別する必要がない場合は、単にクライアント装置１という。なお、情報抽出支援装置１０１内のクライアント装置１の数は任意でよい。クライアント装置１は、例えば、パソコン及びスマートフォンなどのコンピュータである。複数のクライアント装置１ａ～１ｚとサーバ装置３とは、ネットワーク２を介して互いに接続されている。ネットワーク２の通信方式は、有線方式であっても無線方式であってもよく、また、両方を組み合わせてもよい。

例えば、情報抽出支援装置１０１の抽出部１０２、特定部１０３、付与部１０４、学習推定部１０５及び出力部１０６をサーバ装置３により実現し、ネットワーク２上のクラウドシステムとして動作させてもよい。例えば、クライアント装置１が、ユーザから正誤判定の結果を受け付け、当該正誤判定の結果をサーバ装置３へ送信してもよい。そして、サーバ装置３が、出力部１０６により出力された変更方法をクライアント装置１に送信してもよい。

本発明の実施形態を説明したが、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ クライアント装置
２ ネットワーク
３ サーバ装置
１０１ 情報抽出支援装置
１０２ 抽出部
１０３ 特定部
１０４ 付与部
１０５ 学習推定部
１０６ 出力部

Claims (5)

1. 複数の単語を含む文書データから、所定のルールに従い当該文書データに関する第１情報を抽出する抽出部と、
   前記第１情報に関連する情報を手掛かり情報として特定する特定部と、
   予め決められた規則に基づいて前記第１情報に正誤を示すラベルを付与する付与部と、
   前記第１情報と、前記手掛かり情報と、前記ラベルとに基づいて新たな第１情報を抽出するための規則の学習を実行し、新たな手掛かり情報を用いて、前記新たな第１情報を生成する推論を実行する学習推論部と、
   前記ラベルと前記新たな第１情報についての正誤の結果である正誤判定とに基づいて、前記手掛かり情報及び前記規則の少なくとも一つの変更方法を出力する出力部と、
   を有する情報抽出支援装置。
2. 前記出力部は、前記変更方法と、前記抽出部の抽出結果についての正誤判定と、前記手掛かり情報との少なくとも一つを組み合わせて出力する請求項１に記載の情報抽出支援装置。
3. 前記手掛かり情報が情報抽出に適しているかを判別できない場合、前記出力部が、追加の手がかり情報が必要である旨を出力する請求項１に記載の情報抽出支援装置。
4. 抽出手段が、複数の単語を含む文書データから、所定のルールに従い当該文書データに関する第１情報を抽出し、
   特定手段が、前記第１情報に関連する情報を手掛かり情報として特定し、
   付与手段が、予め決められた規則に基づいて前記第１情報に正誤を示すラベルを付与し、
   学習推論手段が、前記第１情報と、前記手掛かり情報と、前記ラベルとに基づいて新たな第１情報を抽出するための規則の学習を実行し、新たな手掛かり情報を用いて、前記新たな第１情報を生成する推論を実行し、
   出力手段が、前記ラベルと前記新たな第１情報についての正誤の結果である正誤判定とに基づいて、前記手掛かり情報及び前記規則の少なくとも一つの変更方法を出力する、情報抽出支援方法。
5. コンピュータを、
   複数の単語を含む文書データから、所定のルールに従い当該文書データに関する第１情報を抽出する抽出部と、
   前記第１情報に関連する情報を手掛かり情報として特定する特定部と、
   予め決められた規則に基づいて前記第１情報に正誤を示すラベルを付与する付与部と、
   前記第１情報と、前記手掛かり情報と、前記ラベルとに基づいて新たな第１情報を抽出するための規則の学習を実行し、新たな手掛かり情報を用いて、前記新たな第１情報を生成する推論を実行する学習推論部と、
   前記ラベルと前記新たな第１情報についての正誤の結果である正誤判定とに基づいて、前記手掛かり情報及び前記規則の少なくとも一つの変更方法を出力する出力部として機能させるための情報抽出支援プログラム。

Images