JPWO2016016974A1 - データ分析装置、データ分析装置の制御方法、およびデータ分析装置の制御プログラム - Google Patents

Abstract

所定の事案と関係するデータを抽出する。本発明は、所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合に、当該未判断データに対する当該判断の基礎となる閾値を、当該所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出されたスコアから特定する閾値特定部と、閾値特定部によって特定された閾値と、未判断データについて算出されたスコアとを比較した結果に応じて、未判断データをユーザに報告すべきデータとして設定するデータ設定部とを備える。

Description

本発明は、新たに取得されたデータから所定の事案と関係するデータを抽出可能なデータ分析装置等に関するものである。

価格カルテルに加担した嫌疑により企業が独占禁止法（反トラスト法）違反を追求されたり、内部者の手引きにより機密情報が漏洩されたりなど、企業のリーガルリスクが増大している背景から、上記のような不正行為を検知するシステムが望まれている。例えば、特許文献１には、訴訟において証拠として提出するために収集された、デジタル化された文書情報を分析し、訴訟への利用が容易になるように分別する文書分別システムが開示されている。

一方、コンピュータ利用に関するビヘイビア（どのファイルにアクセスしたかなど）を記録する技術も、従来から提案されている。例えば、特許文献２には、情報ネットワークの利用者の行動を把握して、情報漏洩の予防対策に役立つ情報ファイル漏洩を検知するための表示方法が開示されている。

特開２０１３−１８２３３８号公報 特開２００７−３０４９４３号公報

特許文献１に開示された従来のシステムは、例えば、ネットワーク上を日々流通する電子メールから上記のような不正行為の予兆を検知することはできない。当該システムは、当該不正行為が起こった後に提起された訴訟において提出すべき関連文書を分析するものであるため、当該分析の対象となるすべての文書が事前に存在することを前提としているからである。

進行中の不正行為を捕捉する方法として、例えば、特許文献２に開示された表示方法のようにユーザのビヘイビアを記録し、問題視される所定のビヘイビア（「不正行為」として定義したビヘイビア）が発見された場合、管理者に警告を出す方法が考えられる。しかし、上記方法では、（ａ）上記所定のビヘイビアが発見された時点では、すでに不正行為が生じた後であることが多い、および（ｂ）不正行為を事前に検知するために警告の要件を緩めるほど警告が頻発し、監視が実効的でなくなるという問題が生じる。

また、特許文献１または２に開示された従来技術は、特定の不正行為に特化したものに過ぎず、汎用的でないため、特定の不正行為以外の事案に適用可能なものではない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、過去のデータを分析した結果に基づいて現在のデータを分析することによって、所定の事案と関係するデータを抽出可能なデータ分析装置等を提供することである。

上記課題を解決するために、本発明の一態様に係るデータ分析装置は、新たに取得されたデータから所定の事案と関係するデータを抽出可能なデータ分析装置であって、所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合に、当該未判断データに対する当該判断の基礎となる閾値を、当該所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出されたスコアから特定する閾値特定部と、閾値特定部によって特定された閾値と、未判断データについて算出されたスコアとを比較した結果に応じて、未判断データをユーザに報告すべきデータとして設定するデータ設定部とを備えている。

また、本発明の一態様に係るデータ分析装置において、閾値特定部は、既判断データについてそれぞれ算出されたスコアのうち、適合率に対して設定された目標値を超過可能なスコアを、閾値として特定することができる。

また、本発明の一態様に係るデータ分析装置は、未判断データについて算出されたスコアと、閾値特定部によって特定された閾値とを比較することによって、当該スコアが当該閾値を超過しているか否かを判定する超過判定部をさらに備え、データ設定部は、超過判定部によって超過していると判定された場合、未判断データをユーザに報告すべきデータとして設定することができる。

また、本発明の一態様に係るデータ分析装置は、既判断データに含まれるデータ要素を、所定の基準に基づいてそれぞれ評価する要素評価部と、要素評価部によって評価された結果に基づいて、スコアを算出するスコア算出部とをさらに備えてよい。

また、本発明の一態様に係るデータ分析装置において、要素評価部は、データ要素と当該データ要素を含む既判断データに対してユーザが判断した結果との依存関係を表す伝達情報量を、所定の基準の１つとして、当該データ要素を評価することができる。

また、本発明の一態様に係るデータ分析装置は、データ設定部によって設定されたデータが所定の事案と関係するか否かが、ユーザによって判断された結果を、所定の入力部を介して当該ユーザから取得する結果取得部をさらに備え、要素評価部は、結果取得部によって取得された結果に基づいて、データ設定部によって設定されたデータに含まれるデータ要素をそれぞれ評価することができる。

また、本発明の一態様に係るデータ分析装置は、要素評価部によって評価されたデータ要素と、当該データ要素が評価された結果とを対応付けて、所定の記憶部に格納する格納部をさらに備えてよい。

また、本発明の一態様に係るデータ分析装置において、未判断データは、複数の人物または組織をそれぞれ特定可能な固有データ要素をそれぞれ含み、データ設定部は、未判断データから固有データ要素をそれぞれ抽出し、第１固有データ要素と、当該第１固有データ要素とは異なる第２固有データ要素との対応関係を推定することによって、複数の人物または組織の間の繋がりの強さを可視化することができる。

また、本発明の一態様に係るデータ分析装置は、所定のデータ群から抽出したデータが、所定の事案と関係するか否かがユーザによって判断された結果を、所定の入力部を介して当該ユーザから取得することによって、既判断データを取得する既判断データ取得部をさらに備えてよい。

また、本発明の一態様に係るデータ分析装置は、データ設定部によって設定されたデータに、当該データが所定の事案と関係することを示す関係性情報を付与する関係付与部をさらに備えてよい。

また、本発明の一態様に係るデータ分析装置において、データは、コンピュータで処理可能となるようにデジタル化された文書であり、データ要素は、文書に含まれるキーワードであってよい。

また、本発明の一態様に係るデータ分析装置において、データは、コンピュータで処理可能となるようにデジタル化された音声であり、データ要素は、音声に含まれる部分音声であってよい。

上記課題を解決するために、本発明の一態様に係るデータ分析装置の制御方法は、新たに取得されたデータから所定の事案と関係するデータを抽出可能なデータ分析装置の制御方法であって、所定の事案と関係するか否かが判断されていない未判断データを新たに取得した場合に、当該未判断データに対する当該判断の基礎となる閾値を、当該所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出したスコアから特定する閾値特定ステップと、閾値特定ステップにおいて特定した閾値と、未判断データについて算出したスコアとを比較した結果に応じて、未判断データをユーザに報告すべきデータとして設定するデータ設定ステップとを含んでいる。

上記課題を解決するために、本発明の一態様に係るデータ分析装置の制御プログラムは、新たに取得されたデータから所定の事案と関係するデータを抽出可能なデータ分析装置の制御プログラムであって、コンピュータに、所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合に、当該未判断データに対する当該判断の基礎となる閾値を、当該所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出されたスコアから特定する閾値特定機能と、閾値特定機能によって特定された閾値と、未判断データについて算出されたスコアとを比較した結果に応じて、未判断データをユーザに報告すべきデータとして設定するデータ設定機能とを実現させる。

本発明の一態様によれば、データ分析装置、データ分析装置の制御方法、およびデータ分析装置の制御プログラムは、所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合に、当該未判断データに対する当該判断の基礎となる閾値を、所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出されたスコアから特定し、当該閾値と未判断データについて算出されたスコアとを比較した結果に応じて、未判断データをユーザに報告すべきデータとして設定する。

上記構成により、上記データ分析装置等は、過去のデータを分析した結果に基づいて現在のデータを分析することによって、所定の事案と関係するデータを抽出できるという効果を奏する。

本発明の実施の形態に係る文書分析システムの要部構成を示すブロック図である。 上記文書分析システムの一例を概略的に示す模式図である。 レビュー結果が付与された文書の数に対応する最小スコアを示す表であり、（ａ）は、目標適合率を１００％とした場合を示し、（ｂ）は、目標適合率を９０％とした場合を示す。 上記文書分析システムが実行する処理の一例を示すフローチャートである。

図１〜図４に基づいて、本発明の実施の形態を説明する。

〔文書分析システム１００の概要〕
文書分析システム（データ分析装置）１００は、デジタル文書を分析することによって、新たに取得された文書から所定の事案と関係する文書を抽出可能な情報処理システムである。文書分析システム１００は、以下で説明する処理を実行可能なコンピュータを含んでいればよく、例えば、サーバ装置、パーソナルコンピュータ、メインフレーム、ワークステーション、その他の電子機器などを用いて実現され得る。

図２は、文書分析システム１００の一例を概略的に示す模式図である。図２に示されるように、レビュア（ユーザ）は、文書が所定の事案と関係するか否かを判断し、当該判断した結果（レビュー結果５ａ）を文書分析システム１００に入力する。

ここで、上記「文書」は、コンピュータによって処理可能となるようにデジタル化されたデータであり、例えば、電子メール、技術文書、プレゼンテーション資料、表計算資料、決算報告書、打ち合わせ資料、契約書、組織図、事業計画書などが広く含まれ得る。図２は、文書分析システム１００がネットワーク上を日々流通する電子メールを取り込み、当該電子メールに含まれる文書を分析する例を示している。

また、上記「所定の事案」は、組織において上記文書を利用する一般ユーザが、不正行為、および／またはその予備的行為をとることによって生じる事件を含み、例えば、機密情報が外部に漏えいする事件、他社と談合した事件、決算を粉飾した事件、取引企業に架空請求して代金を着服した事件、その他企業にとって好ましくない事件など、当該組織が発生を未然に防止したいと考える事案を広く含む。ただし、上記所定の事案は上記の例に限定されず、関連するデータ（例えば、文書、音声、映像など）を生成し得る事案一般を広く含んでよい。

文書分析システム１００は、上記レビュー結果５ａに基づいて、上記文書（既判断データ）に含まれるキーワード（データ要素）を所定の基準（例えば、伝達情報量）に基づいてそれぞれ評価する。そして、文書分析システム１００は、当該評価された結果に基づいて、上記所定の事案との関係性の強さを示すスコアを上記文書についてそれぞれ算出し、適合率（上記所定の事案に関係すると判断された文書が、所定数の文書を含む文書群に占める割合）に対して設定された目標値（目標適合率）を超過可能な最小のスコアを、適合しきい値として特定する。

すなわち、文書分析システム１００は、レビュアから与えられたレビュー結果５ａ（過去のデータに対して人間が判断した結果）に基づいて上記適合しきい値を設定し、当該適合しきい値を超過するスコアを有する文書のみを、上記所定の事案と関係する可能性が高い文書として、レビュアに一覧結果５ｂ（当該文書を一覧してレビュアに提示可能な情報）を返すことができる。言い換えれば、文書分析システム１００は、過去のデータを分析した結果に基づいて現在のデータを分析することにより、所定の事案と関係するデータを抽出できる。これにより、文書分析システム１００は、例えば、不正行為が生じる予兆を検知できる。

〔文書分析システム１００の構成〕
図１は、文書分析システム１００の要部構成を示すブロック図である。図１に示されるように、文書分析システム１００は、制御部１０（データ抽出部１１、結果取得部１２、要素評価部１３、スコア算出部１４、スコア特定部１５、超過判定部１６、データ設定部１７、関係付与部１８、格納部１９）、受信部２０、入力部４０、表示部５０、および記憶部３０を備えている。

制御部１０は、文書分析システム１００が有する各種の機能を統括的に制御する。制御部１０は、データ抽出部１１、結果取得部１２、要素評価部１３、スコア算出部１４、スコア特定部１５、超過判定部１６、データ設定部１７、関係付与部１８、および格納部１９を含む。

データ抽出部（既判断データ取得部）１１は、所定の事案と関係するか否かがレビュアによって判断されるべき文書１ａを、所定の文書群（データ群）から所定数だけ抽出する。当該文書群は、ネットワーク上を流通するデータであってもよいし、記憶部３０にあらかじめ格納されたデータであってもよい。

データ抽出部１１は、抽出した文書１ａを表示部５０に出力することによって、当該文書１ａをレビュアに提示することができる。これにより、レビュアは、例えば、文書１ａが「所定の事案と関係する」または「所定の事案と関係しない」を示すレビュー結果５ａを当該文書１ａにそれぞれ付与できる。また、データ抽出部１１は、当該文書１ａを結果取得部１２および要素評価部１３に出力する。

結果取得部（既判断データ取得部）１２は、文書１ａがデータ抽出部１１から入力された場合、当該文書１ａが所定の事案と関係するか否かについてレビュアが判断した結果（レビュー結果５ａ）を、入力部４０を介して取得し、当該レビュー結果５ａを要素評価部１３およびスコア特定部１５に出力する。

要素評価部１３は、所定の事案と関係するか否かがレビュアによって判断された文書１ａに含まれるキーワード（データ要素）を、所定の基準に基づいてそれぞれ評価する。要素評価部１３は、例えば、上記キーワードと当該キーワードを含む文書１ａに対してレビュアが判断した結果（レビュー結果５ａ）との依存関係を表す伝達情報量を、上記所定の基準の１つとして当該キーワードの重みを算出することによって、当該キーワードを評価することができる。これにより、文書分析システム１００は、キーワードを正確に評価することができるため、所定の事案と関係するデータを正確に抽出できる。

または、要素評価部１３は、上記キーワードに所定の重みを割り当てることにより、当該キーワードを評価してもよい。この場合、要素評価部１３は、例えば、上記キーワードに「１」の重みを割り当てることができる。

なお、上記「キーワード」は、意味を有する文字列（形態素）である。例えば、「文書を分別する」という文章には、「文書」および「分別」というキーワードが含まれる。要素評価部１３は、上記キーワードと当該キーワードの重みとのペアであるキーワード情報５ｃを、スコア算出部１４および格納部１９に出力する。

スコア算出部１４は、要素評価部１３によって評価された結果（キーワード情報５ｃ）に基づいて、所定の事案との関係性の強さを示すスコア５ｄを文書１ａについてそれぞれ算出し、当該スコア５ｄをスコア特定部１５に出力する。また、受信部２０から文書１ｂ（所定の事案と関係するか否かが未だ判断されていないデータ）が新たに取得された場合、スコア算出部１４は、当該文書１ｂについてスコア５ｅを算出し、当該スコア５ｅを超過判定部１６に出力する。

スコア算出部１４は、文書に出現するキーワードの重みを合算することによって、当該文書のスコアを計算できる。例えば、文書に「価格を調整する」という文章が含まれていることにより、「価格」および「調整」というキーワードが要素評価部１３によってそれぞれ評価された結果、「１.２」および「２.２」という重みが設定された場合、スコア算出部１４は、当該文書のスコアを「３.４」（１.２＋２.２）と計算できる。

具体的には、スコア算出部１４は、所定のキーワードが文書に含まれるか否かを示すキーワードベクトルを生成する。上記キーワードベクトルは、当該キーワードベクトルのそれぞれの要素が「０」または「１」の値をとることによって、当該要素に対応付けられた所定のキーワードが、上記文書に含まれるか否かを示すベクトルである。例えば、上記文書に「価格」というキーワードが含まれている場合、スコア算出部１４は、上記キーワードベクトルの上記「価格」に対応する要素を「０」から「１」に変更する。そして、スコア算出部１４は、以下の式のように、上記キーワードベクトル（縦ベクトル）と重みベクトル（各キーワードに対する重みを要素にした縦ベクトル）との内積を計算することにより、上記文書のスコアＳを計算する。

ここで、ｓはキーワードベクトルを表し、Ｗは重みベクトルを表す。なお、Ｔは行列・ベクトルを転置する（行と列とを入れ替える）ことを表す。

または、スコア算出部１４は、以下の式にしたがってスコアＳを算出してもよい。

ここで、ｍ_ｊは、ｊ番目のキーワードの出現頻度を表し、ｗ_ｉは、ｉ番目のキーワードの重みを表す。なお、スコア算出部１４は、文書１ａおよび／または文書１ｂに含まれる第１キーワードが評価された結果（第１キーワードの重み）と、当該文書１ａおよび／または文書１ｂに含まれる第２キーワードが評価された結果（第２キーワードの重み）とに基づいて、スコア５ｄおよび／またはスコア５ｅを算出してよい。また、スコア算出部１４は、文書１ａおよび／または文書１ｂにそれぞれ含まれるセンテンスごとに、スコア５ｄおよび／または５ｅを算出してよい（いずれも後で詳細に説明する）。

スコア特定部（閾値特定部）１５は、所定の事案に関係すると判断された文書１ａが、所定数の文書を含む文書群に占める割合を示す適合率に対して設定された目標値（目標適合率）を超過可能な最小のスコアを、適合しきい値６として特定する。具体的には、スコア算出部１４からスコア５ｄが入力された場合、スコア特定部１５は、当該スコア５ｄを降順に並べ替える。次に、スコア特定部１５は、最大のスコア５ｄ（スコアのランクが１位）を有する文書１ａから順番に当該文書１ａに付与されたレビュー結果５ａを走査し、「所定の事案と関係する」というレビュー結果５ａが付与された文書の数が、現時点において走査が終了した文書の数に占める割合（適合率）を、順次計算する。

例えば、レビュー結果５ａが付与された文書１ａの数が１００である場合に、スコアのランクが１位から２０位までの文書について走査を終了したところ、「所定の事案と関係する」というレビュー結果５ａが付与された文書の数が１８であった場合、スコア特定部１５は、適合率を０.９（１８／２０）と計算する。または、スコアのランクが１位から４０位までの文書について走査を終了したところ、「所定の事案と関係する」というレビュー結果５ａが付与された文書の数が３５であった場合、スコア特定部１５は、適合率を０.８７５（３５／４０）と計算する。

スコア特定部１５は、文書１ａに対する適合率をすべて計算し、目標適合率を超過可能な最小のスコアを特定する。具体的には、スコア特定部１５は、最小のスコア５ｄ（スコアのランクが１００位）を有する文書１ａから順番に当該文書１ａに対して計算された適合率を走査し、当該適合率が目標適合率を超過した場合、当該適合率に対応するスコアを、上記目標適合率を維持可能な最小スコア（適合しきい値６）として超過判定部１６および格納部１９に出力する。

超過判定部１６は、要素評価部１３によって評価された結果（キーワード情報５ｃ）に基づいて、所定の事案と関係するか否かが未だ判断されていない文書１ｂについて算出されたスコア５ｅが、適合しきい値６を超過しているか否かを判定し、当該判定した結果（判定結果５ｆ）をデータ設定部１７に出力する。

データ設定部１７は、超過判定部１６によって超過していると判定された場合、当該文書１ｂをレビュアに報告すべき文書として設定する。データ設定部１７は、例えば、上記適合しきい値６を超過した文書１ｂにフラグを立てることによって、当該文書１ｂをレビュアに報告すべき文書に設定する。データ設定部１７は、設定した文書を特定可能な設定情報５ｇを関係付与部１８に出力する。

関係付与部１８は、データ設定部１７によって設定された文書１ｂに、当該文書１ｂが所定の事案と関係することを示す関係性情報（文書分析システム１００によるレビュー結果）を付与する。関係付与部（表示処理部）１８は、一覧結果５ｂを表示部５０に出力することにより、データ設定部１７によって設定された文書１ｂ（所定の事案と関係すると文書分析システム１００によって判断された文書）を一覧可能に表示できる。

格納部１９は、要素評価部１３からキーワード情報５ｃが入力された場合、当該キーワード情報５ｃに含まれるキーワードと、当該キーワードが評価された結果（重み）とを対応付けて、記憶部３０に格納する。これにより、文書分析システム１００は、過去のデータを分析した結果（キーワードが評価された結果としての重み）に基づいて現在のデータを分析することによって、所定の事案と関係するデータを抽出できる。また、格納部１９は、スコア特定部１５から適合しきい値６が入力された場合、当該適合しきい値６を記憶部３０に格納する。

入力部（所定の入力部）４０は、レビュアから入力（レビュー結果５ａ）を受け付ける。図１は、文書分析システム１００が入力部４０を備えた構成（例えば、入力部４０としてキーボード、マウスなどが接続された構成）を示すが、当該入力部４０は、当該文書分析システム１００と通信可能に接続された外部の入力装置（例えば、クライアント端末）であってもよい。

受信部２０は、所定の通信方式にしたがう通信網を介して、ネットワークから文書１ａおよび／または文書１ｂを受信する。外部の機器（例えば、一般ユーザが使用する端末）との通信を実現する本質的な機能が受信部２０に備わってさえいればよく、通信回線、通信方式、または通信媒体などは限定されない。受信部２０は、例えばイーサネット（登録商標）アダプタなどの機器で構成できる。また、受信部２０は、例えばIEEE802.11無線通信、Bluetooth（登録商標）などの通信方式や通信媒体を利用できる。

表示部５０は、レビュアが操作可能なインターフェース画面を表示するデバイスである。図１は、文書分析システム１００が表示部５０を備えた構成（例えば、表示部５０として液晶ディスプレイなどが接続された構成）を示すが、当該表示部５０は、当該文書分析システム１００と通信可能に接続された外部の表示装置（例えば、クライアント端末）であってもよい。

記憶部（所定の記憶部）３０は、例えば、ハードディスク、ＳＳＤ（silicon state drive）、半導体メモリ、ＤＶＤなど、任意の記録媒体によって構成される記憶機器であり、文書１ａ、キーワード情報５ｃ、適合しきい値６、および／または文書分析システム１００を制御可能な制御プログラムを記憶する。なお、図１は、文書分析システム１００が記憶部３０を内蔵する構成を示すが、当該記憶部３０は、当該文書分析システム１００と通信可能に接続された外部の記憶装置であってもよい。

〔文書分析システム１００の性能検証〕
図３は、レビュー結果５ａが付与された文書の数に対応する最小スコアを示す表であり、（ａ）は、目標適合率を１００％とした場合を示し、（ｂ）は、目標適合率を９０％とした場合を示す。

図３の（ａ）に例示されるように、所定の事案と関係するか否かがレビュアによって判断された文書の数が１００である場合（同図の表において「サンプル数」が「１００」である行を参照）、目標適合率１００％を達成可能な最下位のランクは１１位であり、当該ランクに対応するスコア（適合率１００％を達成可能な最小スコア）は、０.１１０である。文書分析システム１００は、上記最小スコアを適合しきい値として設定し、当該適合しきい値を超過するスコアを有する文書１ｂは、適合率１００％を維持可能な文書（すなわち、所定の事案と関係する文書）とみなす。

上記適合しきい値の妥当性を検証するために、レビュアによってレビュー結果５ａが付与された７９９４の文書から、上記適合しきい値を超過するスコアを有する文書を取り出した。なお、上記文書は、文書分析システム１００の性能を検証するために用意された特別な文書であり、当該文書分析システム１００が分析の目的とする文書は、あくまでも、所定の事案と関係するか否かが未だ判断されていない文書１ｂであることに注意する。

上記の結果、７６６の文書が上記適合しきい値を超過し、このうちの６０５の文書に「所定の事案と関係する」というレビュー結果５ａが付与されていた。すなわち、わずか１００の文書に対してレビュー結果５ａを与えさえすれば、文書分析システム１００は、約８０００の文書に対して７９％（605/766=0.790）の精度（適合率）で所定の事案と関係する文書を抽出できることが定量的に証明された。

図３の（ａ）に示されるように、所定の事案と関係するか否かがレビュアによって判断された文書の数が増えるほど、文書分析システム１００の精度（適合率）が上昇し、目標適合率に近づくことが分かる（同図の「全体サンプル」に含まれる「適合率」の列を参照）。図３の（ｂ）に示されるように、目標適合率を９０％に下げた場合も、上記傾向は成立する。

以上のように、文書分析システム１００は、全体のサンプル数を確定できない任意の文書の一部に、レビュアによって判断された結果（レビュー結果５ａ）を与えさえすれば、残りの大部分の文書を高い精度で分別できる。すなわち、文書分析システム１００は、過去のデータを分析した結果に基づいて現在のデータを分析することによって、所定の事案と関係するデータを抽出できる。これにより、文書分析システム１００は、例えば、機密情報を外部に漏えいさせたり、他社に談合を持ちかけたりするなどの法的リスクが高まる予兆を、人手をかけることなく検知できる。

〔文書分析システム１００が実行する処理〕
図４は、文書分析システム１００が実行する処理の一例を示すフローチャートである。なお、以下の説明において、カッコ書きの「〜ステップ」は、データ分析装置の制御方法に含まれる各ステップを表す。

まず、データ抽出部１１は、所定の事案と関係するか否かがレビュアによって判断されるべき文書１ａを、所定の文書群から所定数だけ抽出する（ステップ１、以下「ステップ」を「Ｓ」と略記する）。次に、結果取得部１２は、文書１ａが所定の事案と関係するか否かについてレビュアが判断した結果（レビュー結果５ａ）を、入力部４０を介して取得する（Ｓ２）。次に、要素評価部１３は、上記所定の事案と関係するか否かがレビュアによって判断された文書に含まれるキーワードを、所定の基準に基づいてそれぞれ評価する（Ｓ３）。そして、スコア算出部１４は、要素評価部１３によって評価された結果（キーワード情報５ｃ）に基づいて、上記所定の事案との関係性の強さを示すスコア５ｄを文書１ａについてそれぞれ算出し（Ｓ４）、スコア特定部１５は、上記所定の事案に関係すると判断された文書１ａが、所定数の文書を含む文書群に占める割合を示す適合率に対して設定された目標値（目標適合率）を超過可能な最小のスコアを、適合しきい値６として特定する（Ｓ５、閾値特定ステップ）。

次に、スコア算出部１４は、要素評価部１３によって評価された結果（キーワード情報５ｃ）に基づいて、上記所定の事案との関係性の強さを示すスコア５ｅを文書１ｂについてそれぞれ算出する（Ｓ６）。超過判定部１６は、要素評価部１３によって評価された結果（キーワード情報５ｃ）に基づいて、上記所定の事案と関係するか否かが未だ判断されていない文書１ｂについて算出されたスコア５ｅが、適合しきい値６を超過しているか否かを判定し（Ｓ７）、超過していると判定される場合（Ｓ７においてＹＥＳ）、データ設定部１７は、当該文書１ｂをレビュアに報告すべき文書として設定する（Ｓ８、データ設定ステップ）。最後に、関係付与部１８は、データ設定部１７によって設定された文書１ｂに、当該文書１ｂが所定の事案と関係することを示す関係性情報（文書分析システム１００によるレビュー結果）を付与する（Ｓ９）。

なお、上記制御方法は、図４を参照して前述した上記処理だけでなく、制御部１０に含まれる各部において実行される処理を任意に含んでよい。

〔共起に基づくスコア計算〕
前述したように、スコア算出部１４は、文書に含まれる第１キーワードが評価された結果と、当該文書に含まれる第２キーワードが評価された結果とに基づいてスコアを算出できる。すなわち、スコア算出部１４は、第１キーワードが文書に出現した場合、当該文書において第２キーワードが出現する頻度（すなわち、第１キーワードと第２キーワードとの相関、共起ともいう）を考慮して、文書のスコアを計算できる。

この場合、スコア算出部１４は、第１キーワードと第２キーワードとの相関（共起）を表す相関行列（共起行列）Ｃを用いて、（上記〔数１〕ではなく）以下の式にしたがってスコアＳを計算できる。

なお、上記相関行列Ｃは、所定の文書を所定数だけ含む学習用データセットを用いて、あらかじめ最適化されている。例えば、ある文書において「価格」というキーワードが出現する場合、当該キーワードに対する他のキーワードの出現数を０〜１の間に正規化した値（すなわち、最尤推定値）が、上記相関行列Ｃのそれぞれの要素に格納されている（したがって、上記相関行列Ｃの各列に対する総和は１になる）。

以上のように、文書分析システム１００は、キーワード間の相関関係を考慮してスコアを算出できるため、より高い精度で所定の事案と関係するデータを抽出できる。

〔センテンスごとのスコア計算〕
前述したように、スコア算出部１４は、文書にそれぞれ含まれるセンテンスごとにスコアを算出できる。この場合、スコア算出部１４は、文書に含まれるセンテンスに所定のキーワードが含まれるか否かを示すキーワードベクトルを、当該センテンスごとに生成する。そして、スコア算出部１４は、下記の式にしたがってスコアを文書ごとに算出する。

ここで、ｓ_ｓは、ｓ番目のセンテンスに対応するキーワードベクトルである。なお、上記〔数４〕にしたがうスコアの算出においては、共起を考慮している（相関行列Ｃを用いている）ことに注意する。

ＴＦｎｏｒｍは、下記の〔数５〕に示されるように計算できる。

ここで、上記〔数５〕において、ＴＦ_ｉはｉ番目のキーワードの出現頻度（Term Frequency）を表し、ｓ_ｊｉは上記ｉ番目のキーワードベクトルのｊ番目の要素を表し、ｃ_ｊｉは相関行列Ｃのｊ行ｉ列の要素を表す。

上記〔数４〕および〔数５〕をまとめると、スコア算出部１４は、以下の〔数６〕を計算することによって文書ごとに上記スコアを算出する。

ここで、上記〔数６〕において、ｗ_ｉは上記重みベクトルｗのｉ番目の要素である。

以上のように、文書分析システム１００は、センテンスの文意を正しく反映したスコアを算出できるため、より高い精度で所定の事案と関係するデータを抽出できる。

〔フェーズ分析〕
文書分析システム１００は、所定の事案が属するフェーズを推定し、当該フェーズに応じてスコアを算出できる。ここで、上記「フェーズ」は、上記所定の事案が進展する各段階を示す（上記所定の事案の進展に応じて分類する）指標である。

例えば、上記所定の事案が「他社との談合」という不正行為事件であり、文書分析システム１００は、ネットワーク上を日々流通する電子メールが当該不正行為事件に関係するか否かを判断することにより、当該不正行為事件の予兆を検知することを目的とする場合、上記フェーズには、「他社と競合に関する情報を収集する準備フェーズ」、「顧客・競合と関係を構築する関係構築フェーズ」、「顧客へ価格を提示し、フィードバックを得て、当該フィードバックに関して競合とコミュニケーションを取る競合フェーズ」などが含まれ得る。

また、時系列情報および生成過程情報が記憶部３０に格納されている。ここで、上記「時系列情報」は、上記フェーズの時間的な序列を示す情報であり、例えば、「準備フェーズ」から「関係構築フェーズ」を経て「競合フェーズ」に至ることを示す時間発展モデルであってよい。また、上記「生成過程情報」は、あるフェーズにおいて各キーワードが生成される過程をモデル化した情報であり、例えば、フェーズごとに定義された多項分布モデルであってよい。

結果取得部１２は、文書１ａが所定の事案と関係するか否かについてレビュアが判断した結果と、当該文書１ａが上記所定の事案のいずれのフェーズに属するかを判断した結果とを、レビュー結果５ａとして取得し、要素評価部１３は、文書１ａに含まれるキーワードを上記フェーズごとにそれぞれ評価する（各キーワードの重みを決定する）。

スコア算出部１４は、文書１ｂに対してスコア５ｅを算出する場合、上記生成過程情報に基づいて当該文書１ｂがいずれのフェーズにあるかを推定する。具体的には、当該生成過程情報に基づいて各フェーズに対する尤度を算出し、当該尤度を最大化するフェーズを当該文書１ｂのフェーズとして推定する。そして、スコア算出部１４は、推定したフェーズに対応する重みを用いて、文書１ｂのスコアをそれぞれ算出する。このとき、スコア算出部１４は、当該フェーズに対応する相関行列Ｃを用いてもよい。

関係付与部１８は、データ設定部１７によって設定された文書１ｂを一覧可能に表示するとともに、上記推定したフェーズを表示できる。このとき、関係付与部１８は、上記時系列情報に基づいて、当該推定したフェーズが次のフェーズに発展する可能性・時期などを予測し、当該予測した結果をあわせて表示することができる。

以上のように、文書分析システム１００は、フェーズに応じてスコアを正確に算出できるため、より高い精度で所定の事案と関係するデータを抽出できる。

〔重みの再計算〕
データ設定部１７によって設定された文書１ｂ（所定の事案と関係すると文書分析システム１００によって判断された文書）が、関係付与部１８によって一覧可能に表示された後、結果取得部１２は、当該判断に対するフィードバックをレビュアから受け付けることができる。すなわち、レビュアは、文書分析システム１００によって判断された結果が妥当であるか否かを、上記フィードバックとしてそれぞれ入力できる。そして、要素評価部１３は、上記フィードバックに基づいて各キーワードを再評価できる。

言い換えれば、要素評価部１３は、文書分析システム１００の判断に対して新たに得られたフィードバックに基づいて重みを再計算できる。これにより、文書分析システム１００は、分析の対象とする文書に適合した重みを獲得し、当該重みに基づいて正確にスコアを算出できるため、より高い精度で所定の事案と関係するデータを抽出できる。

〔人物・組織相関の表示〕
データ設定部１７は、文書１ｂに出現する固有名詞（例えば、人物の名前、企業の名前、場所の名前など、固有データ要素）を抽出し、所定の固有名詞（第１固有データ要素）と他の固有名詞（第２固有データ要素）との対応関係を推定することによって、複数の人物または組織の間の繋がりの強さを可視化することができる。

例えば、人物Ａから人物Ｂに送信された電子メールを文書１ｂとして分析した結果、当該文書１ｂに「私からＣさんに連絡しておきます」という文章が含まれていた場合、データ設定部１７は、「人物Ａ」、「人物Ｂ」、および「人物Ｃ」を抽出し、「人物Ａ」を示すノードから「人物Ｂ」を示すノード、および「人物Ｃ」を示すノードのそれぞれに矢印を接続したチャートを表示できる。この場合、データ設定部１７は、人物・組織間の相関の強さに応じて矢印の太さが異なるように、上記チャートを表示してよい。

以上のように、文書分析システム１００は、文書を分析した結果に基づいて、人物・組織間の相関関係を把握容易に表示できるため、不正行為事件を発生させる主体を漏れなく特定できる。

〔サーバ装置が機能の一部または全部を提供する構成〕
以上では、データを分析する機能を提供可能な制御プログラム（データ分析装置の制御プログラム）が、主に文書分析システム１００（データ分析装置）において実行される構成（スタンドアロン構成）を説明した。一方、上記制御プログラムの一部または全部がサーバ装置において実行され、当該実行された処理の結果が上記文書分析システム１００（ユーザ端末）に返される構成（クラウド構成）であってもよい。すなわち、本発明のデータ分析装置は、ユーザ端末とネットワークを介して通信可能に接続されたサーバ装置として機能することができる。これにより、サーバ装置は、上記文書分析システム１００が機能を提供する場合に、当該文書分析システム１００が奏する効果と同じ効果を奏する。

〔ソフトウェアによる実現例〕
文書分析システム１００の制御ブロック（特に、制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、文書分析システム１００は、各機能を実現するソフトウェアである制御プログラムの命令を実行するＣＰＵ、上記制御プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記制御プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記制御プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記制御プログラムは、当該制御プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記制御プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記制御プログラムは、例えば、Python、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。また、前記制御プログラムによって実現される各機能を実現する各部を備えた情報処理装置（例えば、文書分析システム１００）と、前記各機能とは異なる残りの機能を実現する各部を備えたサーバ装置とを含む分析システムも、本発明の範疇に入る。

〔文書以外のデータに適用する例〕
本発明のデータ分析装置を実施する一形態として、文書を分析する文書分析システム１００を説明したが、当該データ分析装置は、文書以外のデータも分析可能である。

例えば、本発明のデータ分析装置は、音声を分析する音声分析システムの形態でも実施可能である。この場合、上記音声分析システムは、（１）音声を認識することによって当該音声に含まれる会話の内容を文字（文書データ）に変換し、上記文書分析システム１００と同様に当該文書データを処理してもよいし、（２）音声データをそのまま処理してもよい。

上記（１）の場合、上記音声分析システムは、任意の音声認識アルゴリズム（例えば、隠れマルコフモデルを用いた認識方法など）を用いることによって、音声データを文書データに変換し、当該文書データに対して、文書分析システム１００が実行する処理と同様の処理を実行する。これにより、上記音声分析システムは、上記文書分析システム１００と同様の効果を奏する。

上記（２）の場合、上記音声分析システムは、音声データに含まれる部分音声を抽出することによって、当該音声データが所定の事案と関係するか否かを分別できる。例えば、「価格を調整する」という音声データが得られた場合、音声分析システムは「価格」および「調整」という部分音声を当該音声データから抽出し、当該部分音声を評価した結果に基づいて、未分別の音声データに関連性情報を与えることができる。この場合、音声分析システムは、時系列データの分類アルゴリズム（例えば、隠れマルコフモデル、カルマンフィルタ、ニューラルネットワークなど）を利用して、音声データを分別できる。これにより、上記音声分析システムは、上記文書分析システム１００と同様の効果を奏する。

または、本発明のデータ分析装置は、映像（動画）を分析する映像分析システムの形態でも実施可能である。この場合、上記映像分析システムは、映像データに含まれるフレーム画像を抽出し、任意の顔認識技術を用いることによって、当該フレーム画像に含まれる人物を特定できる。また、上記映像分析システムは、任意のモーション認識技術（例えば、パターンマッチング技術を応用するものであってよい）を用いることによって、上記映像データに含まれる部分映像（上記映像に含まれる全フレーム画像のうちの一部を含む映像）から上記人物のモーション（動作）を抽出できる。そして、上記映像分析システムは、上記人物および／またはモーションに基づいて、上記映像データを分別できる。これにより、上記映像分析システムは、上記文書分析システム１００と同様の効果を奏する。

すなわち、本発明のデータ分析装置は、時系列で情報が展開するデジタルデータ（文書、音声、映像など）を分析することができる。これにより、上記データ分析装置は、過去のデータ（文書、音声、映像など）を分析した結果に基づいて現在のデータを分析することによって、所定の事案と関係するデータを抽出できる（例えば、不正行為が生じる予兆を検知できる）という効果を奏する。

〔付記事項〕
本発明は上述したそれぞれの実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても、本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。

例えば、本発明は以下のようにも表現できる。すなわち、所定の事案と関係するか否かがユーザによって判断されたデータに含まれるデータ要素を、所定の基準に基づいてそれぞれ評価する要素評価部と、要素評価部によって評価された結果に基づいて、所定の事案との関係性の強さを示すスコアを、データについてそれぞれ算出するスコア算出部と、所定の事案に関係すると判断されたデータが、所定数のデータを含むデータ群に占める割合を示す適合率に対して設定された目標値を超過可能な最小のスコアを、適合しきい値として特定するスコア特定部と、要素評価部によって評価された結果に基づいて、所定の事案と関係するか否かが未だ判断されていないデータについて算出されたスコアが、適合しきい値を超過しているか否かを判定する超過判定部と、超過判定部によって超過していると判定された場合、当該データをユーザに報告すべきデータとして設定するデータ設定部とを備えたデータ分析装置。

または、本発明は以下のようにも表現できる。すなわち、所定の事案との関係性の強さを示す指標として、当該所定の事案と関係するか否かがユーザによって判断された既判断データについてそれぞれ算出されたスコアのうち、適合率に対して設定された目標値を超過可能な最小のスコアを特定するスコア特定部と、所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合、当該未判断データについて算出されたスコアが、スコア特定部によって特定された最小のスコアを超過しているか否かを判定する超過判定部と、超過判定部によって超過していると判定された場合、未判断データをユーザに報告すべきデータとして設定するデータ設定部とを備えたデータ分析装置。

または、本発明は以下のようにも表現できる。すなわち、所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合に、当該未判断データに対する当該判断の基礎となる基礎情報を、当該所定の事案と関係するか否かがユーザによって判断された既判断データから特定する情報特定部と、情報特定部によって特定された基礎情報に基づいて、未判断データをユーザに報告すべきデータとして設定するデータ設定部とを備えたデータ分析装置。

また、上記データ分析装置において、スコア算出部は、要素評価部によって評価された結果に基づいて、所定の事案との関係性の強さを示すスコアを、当該所定の事案と関係するか否かがユーザによって判断された文書にそれぞれ含まれるセンテンスごとに算出し、超過判定部は、要素評価部によって評価された結果に基づいて、所定の事案と関係するか否かが未だ判断されていない文書にそれぞれ含まれるセンテンスについて算出されたスコアが、適合しきい値を超過しているか否かを判定することができる。

本発明は、パーソナルコンピュータ、サーバ装置、メインフレーム、ワークステーション、その他の電子機器に広く適用することができる。

１ａ：文書（既判断データ）、１ｂ：文書（未判断データ）、５ａ：レビュー結果（ユーザによって判断された結果）、５ｄ：スコア、５ｅ：スコア、６：適合しきい値、１１：データ抽出部（既判断データ取得部）、１２：結果取得部（既判断データ取得部）、１３：要素評価部、１４：スコア算出部、１５：スコア特定部（閾値特定部）、１６：超過判定部、１７：データ設定部、１８：関係付与部、１９：格納部、３０：記憶部（所定の記憶部）、４０：入力部（所定の入力部）、１００：文書分析システム（データ分析装置）

Claims (14)

1. 新たに取得されたデータから所定の事案と関係するデータを抽出可能なデータ分析装置であって、
   前記所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合に、当該未判断データに対する当該判断の基礎となる閾値を、当該所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出されたスコアから特定する閾値特定部と、
   前記閾値特定部によって特定された閾値と、前記未判断データについて算出されたスコアとを比較した結果に応じて、前記未判断データをユーザに報告すべきデータとして設定するデータ設定部とを備えたデータ分析装置。
2. 前記閾値特定部は、前記既判断データについてそれぞれ算出されたスコアのうち、適合率に対して設定された目標値を超過可能なスコアを、前記閾値として特定することを特徴とする請求項１に記載のデータ分析装置。
3. 前記未判断データについて算出されたスコアと、前記閾値特定部によって特定された閾値とを比較することによって、当該スコアが当該閾値を超過しているか否かを判定する超過判定部をさらに備え、
   前記データ設定部は、前記超過判定部によって超過していると判定された場合、前記未判断データをユーザに報告すべきデータとして設定することを特徴とする請求項１または２に記載のデータ分析装置。
4. 前記既判断データに含まれるデータ要素を、所定の基準に基づいてそれぞれ評価する要素評価部と、
   前記要素評価部によって評価された結果に基づいて、前記スコアを算出するスコア算出部とをさらに備えたことを特徴とする請求項１から３のいずれか一項に記載のデータ分析装置。
5. 前記要素評価部は、前記データ要素と当該データ要素を含む既判断データに対して前記ユーザが判断した結果との依存関係を表す伝達情報量を、前記所定の基準の１つとして、当該データ要素を評価することを特徴とする請求項４に記載のデータ分析装置。
6. 前記データ設定部によって設定されたデータが前記所定の事案と関係するか否かが、前記ユーザによって判断された結果を、所定の入力部を介して当該ユーザから取得する結果取得部をさらに備え、
   前記要素評価部は、前記結果取得部によって取得された結果に基づいて、前記データ設定部によって設定されたデータに含まれるデータ要素をそれぞれ評価することを特徴とする請求項４または５に記載のデータ分析装置。
7. 前記要素評価部によって評価されたデータ要素と、当該データ要素が評価された結果とを対応付けて、所定の記憶部に格納する格納部をさらに備えたことを特徴とする請求項４から６のいずれか一項に記載のデータ分析装置。
8. 前記未判断データは、複数の人物または組織をそれぞれ特定可能な固有データ要素をそれぞれ含み、
   前記データ設定部は、前記未判断データから前記固有データ要素をそれぞれ抽出し、第１固有データ要素と、当該第１固有データ要素とは異なる第２固有データ要素との対応関係を推定することによって、前記複数の人物または組織の間の繋がりの強さを可視化することを特徴とする請求項１から７のいずれか一項に記載のデータ分析装置。
9. 所定のデータ群から抽出したデータが、前記所定の事案と関係するか否かが前記ユーザによって判断された結果を、所定の入力部を介して当該ユーザから取得することによって、前記既判断データを取得する既判断データ取得部をさらに備えたことを特徴とする請求項１から８のいずれか一項に記載のデータ分析装置。
10. 前記データ設定部によって設定されたデータに、当該データが前記所定の事案と関係することを示す関係性情報を付与する関係付与部をさらに備えたことを特徴とする請求項１から９のいずれか一項に記載のデータ分析装置。
11. 前記データは、コンピュータで処理可能となるようにデジタル化された文書であり、
    前記データ要素は、前記文書に含まれるキーワードであることを特徴とする請求項１から１０のいずれか一項に記載のデータ分析装置。
12. 前記データは、コンピュータで処理可能となるようにデジタル化された音声であり、
    前記データ要素は、前記音声に含まれる部分音声であることを特徴とする請求項１から１０のいずれか一項に記載のデータ分析装置。
13. 新たに取得されたデータから所定の事案と関係するデータを抽出可能なデータ分析装置の制御方法であって、
    前記所定の事案と関係するか否かが判断されていない未判断データを新たに取得した場合に、当該未判断データに対する当該判断の基礎となる閾値を、当該所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出したスコアから特定する閾値特定ステップと、
    前記閾値特定ステップにおいて特定した閾値と、前記未判断データについて算出したスコアとを比較した結果に応じて、前記未判断データをユーザに報告すべきデータとして設定するデータ設定ステップとを含むデータ分析装置の制御方法。
14. 新たに取得されたデータから所定の事案と関係するデータを抽出可能なデータ分析装置の制御プログラムであって、
    コンピュータに、
    前記所定の事案と関係するか否かが判断されていない未判断データが新たに取得された場合に、当該未判断データに対する当該判断の基礎となる閾値を、当該所定の事案と関係するか否かがユーザによって判断された既判断データについて、当該所定の事案との関係性の強さを示す指標としてそれぞれ算出されたスコアから特定する閾値特定機能と、
    前記閾値特定機能によって特定された閾値と、前記未判断データについて算出されたスコアとを比較した結果に応じて、前記未判断データをユーザに報告すべきデータとして設定するデータ設定機能とを実現させるデータ分析装置の制御プログラム。

Images