JP5439100B2 - 文書解析システム - Google Patents

Description

本発明は、文書データを解析する文書解析システムに関する。

近年、インターネットの普及に伴ってユーザが利用可能な情報が爆発的に増加している。特に、ＣＧＭ（Ｃｏｍｓｕｍｅｒ Ｇｅｎｅｒａｔｅｄ Ｍｅｄｉａ）と呼ばれるユーザ自身がコンテンツを作成、追加していくメディアが活用されるようになってからは、情報の増加速度は一層大きくなっている。
ＣＧＭとして代表的なものにはブログやＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）があり、どちらもユーザが個人的な体験や日記を書いたり、自分が気になったニュースやサイトなどのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を寸評付きで紹介したりして、幅広い話題を時系列で比較的頻繁に更新するのが特徴である。

ＣＧＭで扱われる情報は非常に分野の幅が広く、また書き手との知り合い関係や話題同士のつながりからさまざまなネットワークが作られることが多い。ＣＧＭには、このように雑多ながらも膨大な量の情報がゆるやかな関係でつながり、時間とともに蓄積されている。また、肥えた目を持っていたり巧い文章を書いたりするユーザには注目が集まり、そこから伝達された情報が社会に影響を与える例も増えている。

近年では、このような整頓されていない大規模な電子情報を分析することや、情報をろ過することによって有用な情報を取り出すため、情報検索技術を基礎として様々な技術が研究されている。特にデータの発信源がユーザ自身であるＣＧＭでは、その分析によってユーザの嗜好の変化や流行を把握し、マーケティング等に利用することが期待されている。

上述の大規模情報の分析手法として広く使われているのは、キーワードマッチングによる検索結果を利用したものである。あるキーワードとの関連を文書内でマッチング検索がヒットした回数によって判断し、またマッチングした文書が多いほどそのキーワードは注目されていると判断する。分析するためのキーワードはあらかじめデータベースとして準備されているか、あるいは分析対象となる文書で繰り返し利用される語句をキーワードとして抽出して用意する。

これに加えて、近年ではベクトル演算を用いた検索技術（概念検索技術）が利用されている（例えば、特許文献１参照）。この技術では、上述の分析手法で利用するキーワードに対してそれぞれ基本となるベクトルを規定しておく。このベクトルはそのキーワードが利用される分野や概念を示す意味情報を持つ。そして、分析対象となる文書に対して様々なキーワードでマッチング検索を行い、その結果と各キーワードの持つベクトルを元に対象文書全体がもつ文書ベクトルを決定する。
この技術により、単語単位ではなく文書単位で概念を比較することができるようになった。検索を実行する際にも単語ではなく文章を入力として、その文章から得られたベクトルと各文書ベクトルを比較し、その概念が近い文書を得ることが出来る。また、ベクトルで表される概念の関連性を示すことで、キーワードマッチングの回数よりも文書間の関係を詳細に分析することが出来る。

特開２００２−１５００１号公報

しかし、概念検索は、検索対象の文書の数が多かったり、一文書辺りの単語数が多かったりする場合は、検索対象の文書ベクトルの生成に時間を要する。
また、論旨の一貫した学術論文等の文書については正確な文書ベクトルが得られやすいが、話題が移り変わることが多い日記などの文書においては、正確な文書ベクトルが得られにくい。

この発明の目的は、大量の文書が常に増加していくという特徴や、話題が多様で体験談や感想が書かれていることが多いという特徴を持つ文書データの集合において、より正確に話題の内容や筆者の意図を分析することができる文書解析システムを提供することである。

好ましくは、本発明に係る文書解析システムは、
分析対象である複数の文書データと、キーワードと関連分野とを含む複数のキーワードデータ、および評価語句と関連分野と当該評価語句に対する肯定的評価または否定的評価の段階を客観的に示す評価値とを含む複数の評価語句データを記憶する記憶手段と、
前記記憶手段に記憶されている前記各文書データに含まれる各単語に対して、前記記憶手段に記憶されている前記キーワードデータに含まれる各キーワードのマッチング検索を行い、前記文書データごとに当該各文書データに含まれる各キーワードと当該各キーワードが出現する出現回数とを求めるマッチング検索手段と、
前記各文書データから前記マッチング検索手段によって求められた各キーワードが現れる位置それぞれに対して前後の位置に含まれる評価語句を抽出し、当該各キーワードと当該抽出された各評価語句の関連分野が一致している場合に、前記評価語句データに含まれる評価値を取得し、当該取得した各評価値を、前記抽出された各評価語句と前記マッチング検索手段によって求められた各キーワードとの位置関係および前記抽出された各評価語句の文書内の位置に基づいて補正し、当該補正された各評価値に基づいて当該各キーワードに対する評価が数値化された文書内における当該各キーワードの評価値を求める文書内分析手段と、
前記文書内分析手段によって求められた文書内における各キーワードの評価値に基づいて、２以上の文書データについて当該各キーワードを評価するための評価値を求める文書間分析手段と、
を備えることを特徴とする。

本発明によれば、大量の文書が常に増加していくという特徴や、話題が多様で体験談や感想が書かれていることが多いという特徴を持つ文書データの集合において、より正確に話題の内容や筆者の意図を分析することができる。

本発明の実施形態に係る文書解析システムの構成の一例を示す図である。 文書解析システムの運用に関わるユーザや管理者の関係を示すブロック図である。 文書解析システムが実行する分析プログラムにおいて、各処理が入出力に利用するデータと処理の流れとを示した図である。 本発明の実施形態で作成されるデータのうち、文書群データの構成の一例を表す図である。 本発明の実施形態で作成されるデータのうち、検索データ（キーワードデータと評価語句データ）と市場分析データの構成の一例を表す図である。 文書内分析処理部で実行する文書内分析処理のフローチャートを示す図である。 文書間分析処理部で実行する文書間分析処理の概要を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。

ＣＧＭにおける流行の伝達の様子を分析した所、複数のユーザが作るネットワーク内で類似した話題の日記や体験談が書かれ、各々のユーザがその話題について評価しながら話題が伝播することが分かった。表現の方法はユーザによって様々であるが、評価に利用される語句は、肯定的評価であるか否定的評価であるかを軸に、客観的な評価に数値化することができる。

本実施形態では、体験談や日記に多く見られる感想や評価を表す語句に注目し、そこから周囲のキーワードに対する書き手の感想を分析する手法を導入する。
この手法では、感想や評価を表す語句を、その語句の利用される分野や、その語句が示す肯定的評価と否定的評価の段階を客観的に表した数値と共にデータベースに事前に登録する。そして、分析対象の文書にその語句が含まれている場合に、その語句から付近のキーワードを評価することができると判断する。また、感想や評価を表す語句の文章中の位置も考慮して文章全体を分析する。たとえば、タイトルに含まれている語句や、文章の締めで使われている語句は強調していると判断して文章全体を分析する。
この分析を蓄積された文書それぞれに対して行って各キーワードに対する文書ごとの評価を得る。そして、複数の文書について各キーワードに対する評価を様々な面から集計することによって、ユーザ全体の流行やその変化を捉る。

本実施形態に係る文書解析システムによれば、例えば、分野を特定せず広くユーザを集めているＳＮＳを対象とし、ユーザの嗜好や流行を分析してその情報をユーザやＳＮＳの管理者、文書解析システムの運営者に還元することができる。

図１は、本発明の実施形態に係る文書解析システム１００の構成の一例を示す。
文書解析システム１００は、処理装置１１０と、記憶装置１２０と、入力装置１３０と、出力装置１４０とを備える。

処理装置１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１とメモリ１１２とを有している。
メモリ１１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含む。メモリ１１２には、分析プログラムが記憶装置１２０等から読み込まれる。この分析プログラムはマッチング検索処理部１１３と文書内分析処理部１１４と文書間分析処理部１１５とで構成される
ＣＰＵ１１１は、メモリ１１２に読み込まれた分析プログラムを実行する。

記憶装置１２０には、分析対象となる文書群に関するデータ１２１と検索用データ１２２と文書間分析結果データ１２３とが格納される。
文書群に関するデータ１２１は、分析する文書それぞれに対し、文書データ１２４とマッチング検索結果データ１２５と文書内分析結果データ１２６とを含む。ここで、文書データ１２４はユーザの日記の内容などの分析対象の文書そのものである。また、マッチング検索結果データ１２５は、マッチング検索処理部１１３が文書データに含まれるキーワードを検索した結果のデータである。文書内分析結果データ１２６は、文書内分析処理部１１４が評価語句により分析した結果のデータである。文書データ１２４とマッチング検索結果データ１２５と文書内分析結果データ１２６の詳細については後述する。
検索用データ１２２は、キーワードデータ１２７と評価語句データ１２８とを含む。キーワードデータ１２７は検索に利用する単語（キーワード）とその単語が関連する関連分野の情報等を含む。評価語句データ１２８はユーザが感想や評価に利用する単語（評価語句）と、その単語が関連する関連分野と、その単語の評価を客観的に示す評価値等を含む。キーワードデータ１２７と評価語句データ１２８の詳細については後述する。
文書間分析結果データ１２３は、文書間分析処理部１１５が２以上の文書データ１２４について分析した結果のデータである。文書間分析処理部１１５の詳細については後述する。

図２は、文書解析システム１００の運用に関わるブロック図である。
文書解析システム１００の運用には、ＳＮＳに参加するユーザが使用するユーザ端末２０１とＳＮＳシステム２０２が関わる。

ＳＮＳに参加するユーザは、ユーザ端末２０１を用いて日記や体験を記した文書データを作成する。ユーザ端末２０１は、ユーザが作成した文書データをＳＮＳシステム２０２に送信する。ユーザ端末２０１は文書解析システム１００が関わっていない場合と同様であり、ユーザは文書解析システム１００を意識することはない。

ＳＮＳシステム２０２の管理者は、通常のＳＮＳシステム２０２の管理業務に加え、文書解析システム１００に対して検索対象となるユーザが作成した文書を提供する。ＳＮＳシステム２０２は、ユーザが作成した文書データを蓄積し、分析対象である文書データを文書解析システム１００に送信する。また、ＳＮＳシステム２０２は、ＳＮＳの閲覧情報やコミュニティに関わる情報などＳＮＳの管理統計情報の一部を文書解析システム１００に送信する。これらの情報を用いることにより、文書解析システム１００はより詳細な分析結果を出力することができる。

文書解析システム１００は、ＳＮＳシステム２０２から送信された文書データに対して分析プログラムを適用して分析し、分析した結果を出力する。分析の結果は、ユーザ端末２０１を使用するユーザやＳＮＳシステム２０２の管理者、または文書解析システム１００の運営者に対して開示される。分析の結果は、流行の把握や更なる話題の提供、関連ビジネスに利用される。

図３は、文書解析システム１００が実行する分析プログラムにおいて、各処理が入出力に利用するデータと処理の流れとを示す。
まず、マッチング検索処理部１１３が、文書データ１２４とキーワードデータ１２７を入力としたマッチング検索処理を行い、マッチング検索結果データ１２５を作成する。マッチング検索は、文書データ１２４に含まれる各単語に対してキーワードデータ１２７に含まれる各キーワードのマッチング検索を行い、マッチング結果を得る。キーワードマッチングは通常の検索処理であり、説明は省略する。

次に、文書内分析処理部１１４が、文書データ１２４とマッチング検索結果データ１２５とキーワードデータ１２７と評価語句データ１２８を入力とした文書内分析処理（詳細については後述する。）によって文書内分析結果データ１２６を作成する。
次に文書間分析処理部１１５が、文書内分析結果データ１２６とキーワードデータ１２７、さらに得られた場合にはＳＮＳの閲覧データ３０１等を入力として、文書間分析処理（詳細については後述する。）によって文書間分析結果データ１２３を作成し、出力する。

図４は、分析を行う際に入力または作成され、記憶装置１２０に格納される対象文書群データ１２１についてその内容の一例を示す。
文書データ１２４は、図1中の文書データ１２４の一例である。ＳＮＳに記録されるユーザの書き込みデータから分析に必要な部分がコピーされたものであり、文書ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）・タイトル・内容・ユーザ名・作成時間などの属性を持つ。

マッチング検索結果データ１２５は、図1中のマッチング検索結果データ１２５の一例である。マッチング検索処理部１１３によって作成され、ある文書に対して特定のキーワードがどれだけ出現しているかを通常のマッチング検索で調査した結果を示す属性を持つ。

文書内分析結果データ１２６は、図1中の文書内分析結果データ１２６の一例である。文書内分析処理部１１４によって作成され、マッチング結果検索データ１２５に加えて、そのキーワードに対して得られた評価を集計した結果の属性を持つ。例では、肯定的な評価が得られた数と、否定的な評価が得られた数、さらに全ての評価を集計した合計評価値を格納している。

図５は、分析を行う際に入力または作成され、記憶装置１２０に格納される検索用データ１２２（キーワードデータ１２７と評価語句データ１２８）と文書間分析結果データ１２３についてその内容の一例を示す。
キーワードデータ１２７は、図1中のキーワードデータ１２７の一例である。検索や分析に利用するキーワードをリストにしたものである。キーワードデータ１２７は、キーワードの内容と、評価語句データとの関連を示す関連分野などの属性を持つ。例では、関連分野を単語で示しているが、分野間の関連をさらに詳細に分析する場合には、関連分野をベクトルで表しても良い。

評価語句データ１２８は、図1中の評価語句データ１２８の一例である。体験談や日記で利用される、ユーザの印象を表す言葉をリストにしたものである。評価語句の内容（単語）と、キーワードとの関連を示すための関連分野、さらにその言葉が示す印象を数値化した評価値を属性に持つ。例では、評価値は一次元の数値とし、０以上のものは肯定的な評価を、０以下のものは否定的な評価を表している。評価値の絶対値が大きい程印象が強く、肯定的または否定的な方向に評価が強い事を示す。
また、同じ評価語句であっても、利用される関連分野によって印象の違いがあるため、評価語句の関連分野毎に評価値が設定されている場合もある。たとえば、「まずい」という評価は多くの場合に否定評価とされるが、特に食事・グルメの評価に使われる場合は強い否定評価と取る事ができる。通信関係における「重い」などの表現も同様と考えられる。

文書間分析結果データ１２３は、図1中の文書間分析結果データ１２３の一例である。文書間分析処理部１１５によって作成され、多数の文書内分析結果データの統計を元にユーザ全体の傾向を示す。文書間分析結果データデータ１２３は、分析したい事柄によって大きく内容が変化する事もある。例では、キーワードの登場文書数、肯定的な評価が得られた数の合計と否定的な評価が得られた数の合計、評価の平均値やそこから分析した分析結果等の属性を持っている。

図６は、文書内分析処理部１１４で実行する文書内分析処理のフローチャートである。
文書内分析処理は、文書データ１２４、マッチング検索結果データ１２５、キーワードデータ１２７、評価語句データ１２８を分析して文書内分析結果データ１２６を作成する。
ＣＰＵ１１１は、まず、記憶装置１２０から分析対象の文書データ１２４、キーワードデータ１２７、マッチング検索結果データ１２５、評価語句データ１２８を読みこむ（Ｓ１０１）。ＣＰＵ１１１は、キーワードデータ１２７とマッチング検索結果データ１２５から文書データ１２４に含まれるキーワードが分かるので、そのうち1つを選び、そのキーワードが文書に現れる位置を確認する。ＣＰＵ１１１は、キーワードが現れる位置それぞれに対して、文書の前後の位置に含まれる評価語句を検索し、抜き出す（Ｓ１０３）。

通常は複数の評価語句が得られる。ＣＰＵ１１１は、そのうち1つの評価語句に対して評価語句とキーワードの関連分野が一致しているか否かを判別する（Ｓ１０５）。ＣＰＵ１１１は、一致していた場合（Ｓ１０５：Ｙｅｓ）、評価語句データから評価語句とキーワードの一致した関連分野における評価値を取得する（Ｓ１０６）。

ＣＰＵ１１１は、取得した評価値を、評価語句とキーワードとの位置関係、評価語句の文書内の位置により補正する。（Ｓ１０７）。評価語句とキーワードとの位置関係による補正は、評価語句とキーワードが文の構成から見て関係が大きいかどうかを示すものである。ＣＰＵ１１１は、評価語句データ１２８から取得された評価値を、例えば、評価語句とキーワードの間の単語数が少ない（評価語句とキーワードの距離が近い）ほど大きく、読点などが間に入ると小さく補正する。文書内の位置による補正とは、段落や節の中における文の位置が影響する印象の強さを示すものである。ＣＰＵ１１１は、段落や節の先頭または末尾にある評価語句を、他のものより大きく補正する。

ＣＰＵ１１１は、文書内分析結果データ１２６に各キーワードの評価結果を記録する（Ｓ１０８）。文書内分析結果データ１２６に何を記録するかは、分析の目的と文書内分析結果データの構成によって変化する。図４に示した文書内分析結果データ１２６の例では、ＣＰＵ１１１は、肯定評価の数と否定評価の数をカウントし、さらに補正された各評価値の合計を記録する。

ステップＳ１０５において関連分野で一致するものが無い場合（Ｓ１０５：Ｎｏ）、ＣＰＵ１１１は何もせず、次の評価語句を選ぶ。ＣＰＵ１１１は、ステップＳ１０４からステップＳ１０９までの処理を抜き出した全ての評価語句に対して繰り返す（Ｓ１０４）。

さらに、ＣＰＵ１１１は、ステップＳ１０２からステップＳ１１０までの処理を、文書データに含まれる全てのキーワードに対して繰り返す（Ｓ１０２）。

ここで、文章を分析する一例を示す。「○○マーケットに行ってきました。会場が広くて歩き疲れるほど。途中で△△ワインという地元産の有名銘柄を発見。試飲もできるところがすばらしい。しかし、目当ての銘菓□□は売り切れでした、残念。」という内容の日記文書があり、この文に対するマッチング検索結果としてキーワードの「○○マーケット」「△△ワイン」「銘菓□□」が抽出されているとする。

文書内分析処理では、評価語句として「広い」「疲れる」「有名」「すばらしい」「残念」が抽出される。キーワード「○○マーケット」の関連分野は「ショッピング」で、この文で得られた評価語句の関連分野は全てショッピングを含み、「有名」「すばらしい」は強い肯定評価、「広い」は弱い肯定評価、「疲れる」「残念」は否定評価である。それぞれの評価値をキーワードとの距離等の重みを考慮して加算し、この文の「○○マーケット」に対する合計評価として記録する。これを「△△ワイン」「銘菓□□」にたいして同様に繰り返す。

図７は、文書間分析処理部１１５で実行する文書間分析処理の概要を示す。
文書間分析処理部１１５では、文書内分析結果データ１２６をキーワードごとや期間ごと等に集計したものを元に市場で流行しているキーワードやその変化を分析する。市場の分析は目的によって様々な手段があるため、ここでは代表的な３つの手段のみを挙げる。
図４の例に挙げた文書内分析結果データ１２６を集計することで、これまで蓄積された文書で話題となったキーワードと、そのキーワードが登場する文書数、さらに評価が肯定的なものと否定的なものの回数、全ての文書での評価の平均値等を得ることができる（３０１）。

ここでキーワードの登場文書数とその推移に注目することで、市場における話題性の分析ができる（３０２）。登場文書数が多いもの、特に所定の時間内に登場文書数が増加しているキーワードは、旬の話題であることを示しており、逆に所定の時間内に登場文書数が低下しているキーワードは市場の関心が低く推移していることを示す。

また、キーワードの平均評価値やその分布、推移に注目することで、市場における評価度の分析ができる（３０３）。平均評価値が高いものは市場で肯定的な評価を得られていることを示す。そして、さらに平均評価値の分布を調査することでキーワードに対する市場の受け入れられ方を分析することができる。例えば、平均評価値が肯定的（すなわち、＋）で、各文書データの評価が同じ程度に分布が固まっている場合はそのキーワードが市場全体に広く評価され、受け入れられていることを示す。評価値の合計が肯定的で、各文書データの評価は肯定的なものから否定的なものまで広く分布している場合、一部のコアなファンがいる分野であることを推測できる。後者の場合は、さらに肯定的な評価がどのようなユーザに集まっているかを調べることで、さらなる市場ニーズの分析につながる。但しこの場合は、ＳＮＳシステムの管理者から各文書データの書き手であるユーザデータを得る必要がある。

さらに、ＳＮＳシステムの管理者の協力がある場合、各文書データの閲覧数やその推移に注目することで、市場の注目度の分析が出来る（３０４）。閲覧数の高いものは市場の注目度が高いといえる。なお、話題性と注目度の違いは市場ニーズの潜在性である。ＣＧＭに参加するユーザは積極的に情報を発信するため直接的、活動的なユーザと判断することができ、それらのユーザの嗜好を話題性から図ることができる。一方、注目度からやや消極的なユーザや、間接的なユーザの関心の度合いを測ることが出来る。

ここに挙げた分析や、さらに他の観点からの分析を組み合わせ、市場で関心を集めているキーワードや、ニーズがありビジネスにつながりそうなキーワードを抽出することが出来る。

以上説明したように、本発明によれば、次のような効果を得ることができる。
（１）体験談や日記の多い文章に対して、その文章と特定キーワードの関連性と、キーワードに関する書き手の肯定的評価と否定的評価を分析する事が出来る。
（２）多数のユーザによる上記の評価を集計・分析することによって、ユーザの嗜好性や流行の変化、ユーザの注目するキーワードを把握し、ユーザに対して話題を還元したり、ビジネスに利用したりする事が出来る。

以上、本発明の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれると理解されるべきである。

１００…文書解析システム、１１０…処理装置、１１１…ＣＰＵ、１１２…メモリ、１１３…マッチング検索処理部、１１４…文書内分析処理部、１１５…文書間分析処理部、１２０…記憶装置、１２１…文書群に関するデータ、１２２…検索用データ、１２３…文書間分析結果データ、１２４…文書データ、１２５…マッチング検索結果データ、１２６…文書内結果データ、１２７…キーワードデータ、１２８…評価語句データ、１３０…入力装置、１４０…出力装置、２０１…ユーザ端末、２０２…ＳＮＳシステム、３０１…ＳＮＳの閲覧データ

Claims (1)

1. 分析対象である複数の文書データと、キーワードと関連分野とを含む複数のキーワードデータ、および評価語句と関連分野と当該評価語句に対する肯定的評価または否定的評価の段階を客観的に示す評価値とを含む複数の評価語句データを記憶する記憶手段と、
   前記記憶手段に記憶されている前記各文書データに含まれる各単語に対して、前記記憶手段に記憶されている前記キーワードデータに含まれる各キーワードのマッチング検索を行い、前記文書データごとに当該各文書データに含まれる各キーワードと当該各キーワードが出現する出現回数とを求めるマッチング検索手段と、
   前記各文書データから前記マッチング検索手段によって求められた各キーワードが現れる位置それぞれに対して前後の位置に含まれる評価語句を抽出し、当該各キーワードと当該抽出された各評価語句の関連分野が一致している場合に、前記評価語句データに含まれる評価値を取得し、当該取得した各評価値を、前記抽出された各評価語句と前記マッチング検索手段によって求められた各キーワードとの位置関係および前記抽出された各評価語句の文書内の位置に基づいて補正し、当該補正された各評価値に基づいて当該各キーワードに対する評価が数値化された文書内における当該各キーワードの評価値を求める文書内分析手段と、
   前記文書内分析手段によって求められた文書内における各キーワードの評価値に基づいて、２以上の文書データについて当該各キーワードを評価するための評価値を求める文書間分析手段と、
   を備えることを特徴とする文書解析システム。

Images