JP4405500B2 - 傾向分析システムの評価方法および装置 - Google Patents

Description

本発明は傾向分析システムに関し、特に自己評価型の傾向分析システムに関する。

テキストマイニングは自然言語処理などによる情報抽出の結果に基づき主に文書集合内のキーワードおよび係り受けなどの情報を集計し傾向や知識を分析する傾向分析の１つの技術である。傾向分析システムを実際に導入するにあたっては導入先の状況に応じて言語リソースの整備やパラメータの調整を行い最適な分析ができるようにする必要がある。しかしながらこのようなチューニングは試行錯誤や経験に基づいて行われるため、チューニング結果の妥当性を測る術がない。またチューニングには多くの時間と人的リソースが必要となる。

一般に文書からの情報抽出や情報検索といった技術では抽出結果や検索結果に対する評価尺度があり、文書中の属性や文書自身に正解を付与した上でシステムや技術の評価が行われる。一方、文書集合からの関係、知識、傾向の抽出を目的とする傾向分析システムにおいては、得られた結果に対する有効性評価は実際に活用現場で使用することによって検証される。つまり従来の傾向分析システムでは定量的・定性的な評価を行う仕組みがない。そのため傾向分析システム内のコンポーネントの改良などによってどの程度システムが改善されるのか、といった客観的な検討が難しい。従来のシステム評価で用いられている正解率の算出は下記の式を用いている。
正解率＝（関係有を正しく抽出した数＋関係なしを正しく抽出した数）／システム抽出した数
正解率の算出方法には、上記のように正しい判定を考慮する方法とは別に誤りの判定を考慮する方法がある。誤判定には偽陽性、偽陰性の２つがある。従来の正解率ではこれらを同等に扱っているため、ユーザの活用現場の違いを正解率に反映できなかった。

特開２００５−２３７４４１

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、
・データ集合からの関係、傾向、知識の抽出を行う傾向分析システムを客観的に評価する装置を提供することである。
・データ集合などから属性間の関係を抽出する傾向分析システムにおいて、システムの定量的評価を行いシステムの自己チューニングを行うシステムを提供することである。
・属性間の関係、傾向、知識の情報に対する正解データを用いてデータ集合から関係情報、傾向情報、知識情報を抽出する機能を定量的に自ら己評価しチューニングする自己評価型傾向分析システムを提供することである。
・ システムの評価結果を定量的に求めるための指標としてシステムの偽陽性、偽陰性それぞれの間違いに対して利用者側が設定する許容範囲から重みを求め正解率を算出する方法を提供することである。
・指標を算出する際の重みを恣意的ではなく、システムの評価が公平に行えるよう、正解データに応じて統計的に妥当な値として求める方法を提供することである。

本発明はデータ集合などから属性間の関係（例えばＡとＢには関連がある）を抽出する傾向分析システムにおいて、既知の属性間の関係情報を含む正解データがあった場合に指標を用いてシステムの定量的評価を行いシステムの自己チューニングを行うシステムを提供する。評価指標としては、データ集合からシステムが抽出した関係・傾向情報が正解データで表されている関係情報の有無をどれだけカバーできているか判断する手法を用いてシステムの定量的評価を行う。

本発明では、ユーザ側で設定するシステムの偽陽性・偽陰性それぞれの間違いに対する許容範囲から、偽陽性および偽陰性の数に対するペナルティスコア（重み）を求め正解率を算出する。ペナルティスコアを恣意的に与えるとシステムを公平に評価できず不適切なチューニング、フィードバックを行う可能性があるため、本発明ではシステムの評価が公平に行えるよう、正解データに対して統計的に妥当なペナルティスコアを求める。本発明の傾向分析システムは、このペナルティスコアにより正解データによらず公平な正解率を求めること可能である。パラメータのチューニングやテキストマイニングにおける辞書の拡充などのシステムの変更を行った際に、システムが抽出する関係や傾向情報の有無の抽出（２値付与問題）の偽陽性・偽陰性に対する利用者のニーズに対してどれだけ改善したかを客観的に自己評価する。そして評価結果によりシステムをチューニングする。

図８に本発明の傾向分析システムを評価する装置を示す。本発明の装置は、まず関係しないデータであるにもかかわらず関係ありと判定する偽陽性の許容値と、関係するデータであるにもかかわらず関係なしと判定する偽陰性の許容値を受け取る許容値入力部８１０と、前記システムの正解率を算出する正解率算出部８２０であって、記憶装置８３０に記憶した既定のデータ集合のデータ間の関係の有無を正しく表した正解データ８６０を前記記憶装置８３０から読み取り、該正解データ８６０を用いて、前記システムの偽陽性の数に対する重み及び偽陰性の数に対する重みを、前記偽陽性の許容値と前記偽陰性の許容値から決定する、重み決定部８４０と、偽陽性の数とその重み、偽陰性の数とその重み、全データ数からシステムの正解率を計算する計算部８５０からなる。この正解率算出部８２０で算出された正解率をシステムの評価そのものとして用いてもよいし、パラメータ調整部において前記正解率に基づきシステムの正解率がさらに上がるようにシステムのパラメータを調整するようにしてもよい。

本発明によれば、傾向分析システムが出す間違い（偽陽性・偽陰性）に対する許容値（許容範囲）という利用者が理解しやすい閾値を与えることで、正解データによらず公平な正解率を求めることができ、客観的な評価に使えることができる。また本発明の傾向分析システムは利用者が求めるニーズを満たした評価指標を用いて自己評価を行い、パラメータチューニングを行うことができる。

図１に本発明の処理のフローチャートを示す。ステップ１１０で偽陽性、偽陰性に対する許容範囲を入力する。ステップ１２０で正解率用の重みを算出する。正解率および重み算出方法については後述する。ステップ１３０でこの重みが算出できるか判断し、算出できない場合にはステップ１３５で「許容範囲が不適切」として通知し再度許容範囲の入力に戻る。重みが算出できる場合にはステップ１４０でこの重みを用いた傾向分析システムの正解率算出用関数を作成する。ステップ１５０でこの正解率算出用関数を用いてシステムの正解率を算出する。以後システムと記載した場合には暗黙に傾向分析システムを指すものとする。システムの評価は正解データと前記重みを用いた正解率によってなされる。評価した結果のみが欲しい場合には処理はステップ１５０で終了となる。システムをチューニングする場合には処理は１６０に進む。ステップ１０でシステムのチューニングの終了条件を満たすかを判断する。満たしていない場合にはステップ１７０に進み、システムのチューニングがなされる。終了条件を満たしている場合にはそこで処理は終了する。

図６に正解データの例を示す。例えば遺伝子データについては特定の遺伝子集合について各遺伝子の関係が Pathway という形で提供される。本発明はこのような傾向情報の有無を記述した知識データを正解データとして利用する。図６はアルツハイマー病に関連した遺伝子群について一部の遺伝子間の関係をした Pathway である。図６においてエッジで結ばれた遺伝子間には関係があることを示している。この正解データを用いて傾向分析システムの評価を行う例を図７に示す。左端の傾向情報候補に対してシステムが出力した判定と正解データを比較することにより評価する。正解データと同じく正しくシステムが判定した項目もあれば誤りの判定もある。誤りの判定には、関係しない情報であるにもかかわらず関係ありと判定する偽陽性と、関係する情報であるにもかかわらず関係なしと判定する偽陰性がある。

次に本発明の正解率および重みの算出方法を示す。重みとはシステムの偽陽性・偽陰性それぞれの間違いの数に対して算出されるペナルティスコアである。この重みは、既定のデータ集合のデータ間の関係の有無を正しく表した正解データを用いて、入力として与えられる偽陽性の許容値と偽陰性の許容値から決定される。この決定の仕方は後述する。この重みを用いてシステムの正解率が算出される。正解率（Ｒ）は、偽陽性の数をＰ、その重みをＷＰ、偽陰性の数をＮ、その重みをＷＮ、全データ数をＳとして、以下の式により算出する。
Ｒ＝１−（Ｐ×ＷＰ＋Ｎ×ＷＮ）／Ｓ

偽陽性の数に対する重みと、前記偽陰性の数に対する重みは、システムの評価が公平に行えるよう、正解データに対して統計的に妥当な値となるよう決定される。統計的に妥当とは以下の２つの条件を満たす値である。
・同一性
システムの正解率に差異がない場合に既定の確率以上で差異がないと判断する条件
・識別可能性
システムの正解率に差異があった場合に既定の確率以上で差異があると判断する条件
なお識別可能性には偽陽性の誤りに対する許容値（偽陽性の許容値）からの識別可能性と、偽陰性の誤りに対する許容値（偽陰性の許容値）からの識別可能性がある。既定の確率としては例えば統計的検定で広く用いられる９５％などを用いる。これら同一性および識別可能性を領域として例示したものが図２である。図２においてＸ軸に重みＷＰ、Ｙ軸に重みＷＮとして線分２１０の内部が同一性を表し、線分２２０、２３０の外部が識別可能性を表している。同一性から求められる線分２１０は円となりその一例で√２を記載している。なお、線分２２０、２３０は一般に双曲線となる。これらの条件を満たす領域Ｄが重みの値である。この領域Ｄの重みを使用することにより重みは統計的に妥当な値として決定される。逆にこの領域Ｄの値を取ることで正解データによらず公平な正解率を求めることが可能になり傾向分析システムの客観的な評価が行える。

図３を用いて本発明の正解率を用いた傾向分析システムの評価について説明する。３１０はある傾向分析システムの正解データを用いた文書相関関係の出力結果である。総数５５件の文書に対して関係がある１２件のうち、システムが正しく関係ありと判断したものは５件、残り７件は関係なし（偽陰性）と判断している。一方、関係がない４３件のうち、システムが正しく関係なしと判断したものは３６件、残り７件は関係あり（偽陽性）と判断している。このシステムのマイニングパラメータやマイニングを行うのに使用する辞書の拡充によりシステムを変更したとする。その新しいシステムの文書相関関係の出力結果が３２０に示されている。この結果からわかるように総数５５件の文書に対して関係がある１２件のうち、システムが正しく関係ありと判断したものは７件、残り５件は関係なし（偽陰性）と判断している。一方、関係がない４３件のうち、システムが正しく関係なしと判断したものは３４件、残り９件は関係あり（偽陽性）と判断している。この３２０の新しいシステムは３１０のシステムと比較して改善がなされているかを考える。従来の正解率（Ｒ）は
Ｒ＝（関係有を正しく抽出した数＋関係なしを正しく抽出した数）／システム抽出した数により、両方ともＲ＝４１／５５＝０．７４５で全く同じ値となる。すなわちシステムが改善されたとは言えない。
ところが本発明の正解率は、例えばユーザが指定した偽陽性の許容値４と偽陰性の許容値２から算出される偽陽性の数Ｐの重み１．２０、偽陰性の数Ｎの重み０．７４２を用いて、
Ｒ＝１−（Ｐ×１．２０＋Ｎ×０．７４２）／５５
として計算される。すると３１０のシステムの正解率は０．７５３、新しい３２０のシステムは０．７６９となり、ユーザが想定している状況の下ではシステムは改善していると評価できるのである。本発明では偽陽性の許容値と偽陰性の許容値を入力としているが例えば偽陽性の許容値と偽陰性の許容値との比（上の例では２になる）を与えるようにしてもよい。このほか本発明の本質を逸脱することなく入力の与え方には多くのバリエーションが考えられる。

上記のシステムの改善の評価に従って傾向分析システムのパラメータを変更して正解率を上げるようにすることで傾向分析システムの自動チューニングが可能となる。例えばテキストマイングシステムでよく使用されるパラメータである信頼係数を変更する方法が考えられる。図４に本発明の評価装置を内蔵した自己評価型テキストマイニングシステムのチューニング処理フローを示す。ステップ４１０で正解率が９０％以上などの終了条件を入力する。次にステップ４２０で正解データを用いたテキストマイニングを行う。ステップ４３０でマイニング結果の評価を行い、正解率を算出する。ステップ４３０で正解率が終了条件に合致していればチューニングを終了する。終了条件に合致していなければステップ４５０でパラメータの変更を行う。ステップ４５０では正解率の増減にあわせてパラメータ（信頼係数など）を変更する。例えば信頼係数を減らした場合に正解率が上がったのであればさらに減らす。逆に信頼係数を増やし場合に正解率が上がったのであればさらに増やす。信頼係数を減らした場合に正解率が下がったのであれば信頼係数を増やす。逆に信頼係数を増やした場合に正解率が下がったのであれば信頼係数を減らすという具合である。信頼係数に限らず、辞書の拡充などその他のパラメータにもこの自動チューニングは応用できる。

図５に本発明の評価装置およびそれを内蔵した自己評価型傾向分析システムとして用いるのに好適な情報処理装置のハードウェア構成を示した図である。コンピュータ５０１は、ホストコントローラ５１０により相互に接続されるＣＰＵ５００、ＲＡＭ５４０、ＲＯＭ５３０及びＩ／Ｏコントローラ５２０を有するＣＰＵ周辺部と、Ｉ／Ｏコントローラ５２０により接続される通信インターフェイス５５０、ハードディスクドライブ５８０、及びＣＤ／ＤＶＤ等の円盤型メディア５９５を読み書きできるマルチコンボドライブ５９０、フレキシブルディスク５８５を読み書きできるＦＤドライブ５４５、サウンド入出力装置５６５を駆動するサウンドコントローラ５６０、表示装置５７５を駆動するグラフィックコントローラ５７０を備える。

ＣＰＵ５００は、ＲＯＭ５３０、ＢＩＯＳ及びＲＡＭ５４０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ５７０は、ＣＰＵ５００等がＲＡＭ５４０内に設けたバッファ上に生成する画像データを取得し、表示装置５７５上に表示させる。もしくはグラフィックコントローラ５７０はＣＰＵ５００等が生成する画像データを格納するバッファをその内部に含んでもよい。情報処理装置５０１が評価装置を含む自己評価型の傾向分析システムとして機能する場合には、記憶装置５８０に記録された正解データを用いて傾向分析システムの正解率を算出する。より具体的にはキーボード５１５等の入力装置から終了条件を入力し、記憶装置からマイニングプログラムおよび本発明のプログラムをメモリにロードして、記憶装置５８０に記録された正解データを読み込み、ＣＰＵ５００によりプログラムを実行し正解率を算出する。正解率が終了条件に合致していればチューニングを終了する。終了条件に合致していなければ正解率の増減にあわせてパラメータ（信頼係数など）を変更する。チューニングの結果は表示装置５７５に表示する。

通信インターフェイス５５０は、ネットワークを介して外部の通信機器と通信する。情報処理装置５０１が評価装置のみとして機能する場合には通信インターフェイス５５０を通して外部の傾向分析システムからの正解率算出のための出力情報を受け取り情報処理装置５０１において正解率を計算し、その結果は通信インターフェイス５５０を通して外部の傾向分析システムに送信する。なおネットワークは有線、無線、赤外線、ＢＬＵＥＴＯＯＴＨ等の近距離無線で接続しても本願の構成を何ら変更することなく利用可能である。記憶装置５８０は、コンピュータ５０１が使用する本発明のプログラム、アプリケーション、ＯＳ等のコード及びデータを格納する。マルチコンボドライブドライブ５９０は、ＣＤ／ＤＶＤ等のメディア５９５からプログラム又はデータを読み取り、これら記憶装置５８０から読み取られたプログラム、データはＲＡＭ５４０にロードされＣＰＵ５００により利用される。本発明のプログラムおよび傾向分析対象のデータ、正解データは外部記憶メディアから供給されてもよい。

外部記憶メディアとしては、フレキシブルディスク５８５、ＣＤ−ＲＯＭの他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを取り込んでもよい。上記の構成の一例から理解されるように、本発明に必要なハードウェアは通常のコンピュータ機能を有するものは如何なるものでも利用可能である。例えばモバイル端末、携帯端末、家電機器でも何らの支障なく利用可能である。

本発明に好適な情報処理装置５０１は、マイクロソフト・コーポレーションが提供するＷｉｎｄｏｗｓ（Ｒ）オペレーティング・システム、アップル・コンピュータ・インコーポレイテッドが提供するＭａｃＯＳ（Ｒ）、Ｘ Ｗｉｎｄｏｗ Ｓｙｓｔｅｍを備えるＵＮＩＸ（Ｒ）系システム（たとえば、インターナショナル・ビジネス・マシーンズ・コーポレーションが提供するＡＩＸ（Ｒ））のような、ＧＵＩ（グラフィカル・ユーザー・インターフェース）マルチウインドウ環境をサポートするオペレーティング・システムが動作する。また、本発明は、ハードウェア、ソフトウェア、またはハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実行において、所定のプログラムを有するデータ処理システムにおける実行が典型的な例として挙げられる。かかる場合、該所定プログラムが該データ処理システムにロードされ実行されることにより、該プログラムは、データ処理システムを制御し、本発明にかかる処理を実行させる。このプログラムは、任意の言語・コード・表記によって表現可能な命令群から構成される。

図５は本実施の形態を実現するコンピュータのハードウェア構成を例示するに過ぎず、本実施の形態を適用可能であれば、他の種々の構成を取ることができる。上記の構成要素は例示であり、そのすべての構成要素が本発明の必須構成要素となるわけではない。

本発明の処理のフローチャートである。 同一性、識別可能性を満足する重みの取る領域の例を説明する図である。 傾向分析システムの評価の説明である。 自己評価型テキストマイニングシステムのチューニング処理フローである。 ハードウェア構成例である。 各遺伝子間の関係をした Pathway である。 傾向分析システムの評価例である。 本発明の評価装置のブロック図である。

符号の説明

５０１ コンピュータ
５１０ ホストコントローラ
５００ ＣＰＵ
５４０ ＲＡＭ
５３０ ＲＯＭ
５２０ コントローラ
５５０ 通信インターフェイス
５８０ ハードディスクドライブ
５９５ 円盤型メディア
５９０ マルチコンボドライブ
５８５ フレキシブルディスク
５４５ ドライブ
５６５ サウンド入出力装置
５６０ サウンドコントローラ
５７５ 表示装置
５７０ グラフィックコントローラ
５０１ 情報処理装置
５８０ 記憶装置
５１５ キーボード
５９０ マルチコンボドライブドライブ
５９５ メディア

Claims (3)

1. 傾向分析システムを評価する装置であって、
   関係しないデータであるにもかかわらず関係ありと判定する偽陽性の許容値と、関係するデータであるにもかかわらず関係なしと判定する偽陰性の許容値とをメモリ上で受け取る許容値入力部と、
   前記傾向分析システムの正解率を算出する正解率算出部であって、
   ＣＰＵを使用して、記憶装置に記憶された正解データを前記記憶装置から読み取り、該読み取られた正解データを用いて、前記傾向分析システムの偽陽性の数に対する重み及び偽陰性の数に対する重みを、前記受け取った偽陽性の許容値と前記受け取った偽陰性の許容値とから決定する重み決定部であって、前記正解データは既定のデータ集合のデータ間の関係の有無を正しく表したものであり、前記偽陽性の数に対する重み及び前記偽陰性の数に対する重みそれぞれは、傾向分析システム間の正解率に差異がない場合に既定の確率以上で差異がないと判断する同一性条件、及び、傾向分析システム間の正解率に差異があった場合に既定の確率以上で差異があると判断する、前記受け取った偽陽性の許容値及び前記受け取った偽陰性の許容値それぞれからの識別可能性条件、の両方を満たす値であり、前記偽陽性の数に対する重み及び前記偽陰性の数に対する重みそれぞれは、Ｘ軸が偽陽性の数に対する重みであり、及びＹ軸が偽陰性の数に対する重みである場合において、前記同一性条件を示す円、前記偽陽性の許容値からの識別可能性条件を示す双曲線、及び前記偽陽性の許容値からの識別可能性条件を示す双曲線における共通領域にある値である、前記重み決定部と、
   前記ＣＰＵを使用して、前記偽陽性の数とそれに対する前記決定された重み、前記偽陰性の数とそれに対する前記決定された重み、及び全データ数を、正解率算出関数に当てはめて前記正解率を計算する計算部であって、前記正解率（Ｒ）は、前記偽陽性の数をＰ、それに対する前記決定された重みをＷＰ、前記偽陰性の数をＮ、それに対する前記決定された重みをＷＮ、前記全データ数をＳとして、正解率算出関数 Ｒ＝１−（Ｐ×ＷＰ＋Ｎ×ＷＮ）／Ｓ により算出される、前記計算部と
   を含む、前記正解率算出部と
   を含み、それによって、パラメータ調節部が、前記傾向分析システムのパラメータを前記算出された正解率の増減に基づき調整する、前記装置。
2. 傾向分析システムを評価する装置において、該傾向分析システムを評価する方法であって、前記装置に、
   関係しないデータであるにもかかわらず関係ありと判定する偽陽性の許容値と、関係するデータであるにもかかわらず関係なしと判定する偽陰性の許容値をメモリ上で受け取るステップと、
   前記傾向分析システムの正解率を算出するステップであって、
   ＣＰＵを使用して、記憶装置に記憶された正解データを前記記憶装置から読み取り、該読み取られた正解データを用いて、前記傾向分析システムの偽陽性の数に対する重み及び偽陰性の数に対する重みを、前記受け取った偽陽性の許容値と前記受け取った偽陰性の許容値とから決定するステップであって、前記正解データは既定のデータ集合のデータ間の関係の有無を正しく表したものであり、前記偽陽性の数に対する重み及び前記偽陰性の数に対する重みそれぞれは、傾向分析システム間の正解率に差異がない場合に既定の確率以上で差異がないと判断する同一性条件、及び、傾向分析システム間の正解率に差異があった場合に既定の確率以上で差異があると判断する、前記受け取った偽陽性の許容値及び前記受け取った偽陰性の許容値それぞれからの識別可能性条件、の両方を満たす値であり、前記偽陽性の数に対する重み及び前記偽陰性の数に対する重みそれぞれは、Ｘ軸が偽陽性の数に対する重みであり、及びＹ軸が偽陰性の数に対する重みである場合において、前記同一性条件を示す円、前記偽陽性の許容値からの識別可能性条件を示す双曲線、及び前記偽陽性の許容値からの識別可能性条件を示す双曲線における共通領域にある値である、前記決定するステップと、
   前記ＣＰＵを使用して、前記偽陽性の数とそれに対する前記決定された重み、前記偽陰性の数とそれに対する前記決定された重み、及び全データ数を、正解率算出関数に当てはめて前記正解率を計算するステップであって、前記正解率（Ｒ）は、前記偽陽性の数をＰ、それに対する前記決定された重みをＷＰ、前記偽陰性の数をＮ、それに対する前記決定された重みをＷＮ、前記全データ数をＳとして、正解率算出関数 Ｒ＝１−（Ｐ×ＷＰ＋Ｎ×ＷＮ）／Ｓ により算出される、前記計算するステップと
   を含む、前記算出するステップと
   を実行させ、それによって、パラメータ調節部が、前記傾向分析システムのパラメータを前記算出された正解率の増減に基づき調整する、前記方法。
3. 傾向分析システムを評価するためのコンピュータ・プログラムであって、該傾向分析システムを評価する装置に、請求項２に記載の方法の各ステップを実行させるコンピュータ・プログラム。

Images